Figlio di un operaio, ha iniziato da bambino a suonare da solo il mandolino, sino a quando uno zio gli ha regalato una fisarmonica, che ha imparato a suonare con un contadino del luogo, poi con il maestro Ubaldo Ferrari, esibendosi nelle feste di campagna. Il parroco gli pagò le spese per recarsi a Parma a studiare organo con mons. Mario Dellapina, che convinse il padre a iscriverlo in Conservatorio. A 20 anni si diplomò con la lode in pianoforte e composizione, mentre continuava a suonare nelle balere. Nel 1958 sostituì il pianista ammalato in un concerto vocale alla Corale Verdi e, al termine, era rimasto a suonare per alcuni amici e frequentatori: tra questi vi era il maestro Podestà, che lo scritturò come sostituto per un'opera che stava mettendo in scena a Salsomaggiore: il soprano era una debuttante, Maria Callas. Nel coro vi era un corista della RAI di Milano, il cui direttore del coro Roberto Benaglio aveva bisogno di un vice, dovendosi recarsi a dirigere al Teatro Bellini di Catania. Il corista gli presentò Gandolfi, che diventò il suo sostituto per 10 anni: a Catania, al Massimo di Palermo e dal 1963 al 1967 al Teatro alla Scala di Milano. Durante l'estate dirigeva un coro di dilettanti a Torre del Lago. Nel 1968 il Teatro Colon di Buenos Aires, e nel 1971 la Scala lo chiamarono come direttore del coro. Dal 1970 alternò la direzione dei cori con quella orchestrale: in questa veste diresse alla Scala, al San Carlo di Napoli, all'Opera di Roma, alla Zarzuela e al Teatro Reale di Madrid, al Comunale di Bologna, al Verdi di Trieste, al Margherita di Genova, al Regio di Parma, al Colon di Buenos Aires, al Municipal di Rio, a Parigi, Berlino, Praga, negli Stati Uniti. Alla Scala restò fino al 1983, anno in cui si trasferì al Teatro del Liceo di Barcellona come consulente artistico, direttore del coro e d'orchestra, dove restò fino al 1990. Ha inciso diversi dischi con la Decca, la Fonit Cetra, la Deutsche Grammophon. Assieme a Marco Faelli ha firmato il libro Magia del coro (Palermo: Epos, 2004).