A pesar de ser un jugador extraordinario, Rexach pasó su mejor etapa azulgrana en el banquillo, acompañando primero a Luis Aragonés (1987/88) y, más tarde, a Johan Cruyff (1988-1996).
Con el primero, al que sustituyó en algún partido, ganó la Copa del Rey de 1988 ante la Real Sociedad de San Sebastián (1-0), y con Cruyff logró infinidad de títulos, entre los que destacan las cuatro Ligas consecutivas y la preciada Copa de Europa de 1992. Al holandés también lo sustituyó, concretamente durante su infortunada ausencia debido a la operación de corazón a la que fue sometido en febrero de 1991. Entre los partidos que mejor recuerdo dejaron al aficionado barcelonista cuando Rexach dirigió circunstancialmente el equipo destaca por encima de todos el contundente 0-6 conseguido en San Mamés ante el Athletic Club. Más tarde, en 1996, y en unas circunstancias totalmente diferentes, Rexach sustituyó a Cruyff después de que éste fuera destituido.
A finales de la temporada 2000/01, Charly se volvió a hacer cargo del equipo después de que la directiva decidiera sustituir el entrenador que había comenzado el curso, Llorenç Serra Ferrer. Aquel año logró clasificar al equipo para disputar la edición siguiente de la Liga de Campeones después de superar al Valencia en el Camp Nou en el último partido de Liga, gracias a un espectacular gol de chilena in extremis de Rivaldo. La temporada siguiente, la 2001/02, Carles Rexach volvió a clasificar al equipo entre los cuatro primeros de la Liga y se quedó a las puertas de disputar la final de la Liga de Campeones, tras la eliminación en las semifinales contra el Real Madrid.
Con el comienzo de la segunda etapa de Louis van Gaal (2002/03), Carles Rexach dejó su responsabilidad al frente del primer equipo y se convirtió en el secretario técnico del Club, cargo que abandonó el 30 de junio de 2003.
