Ved siden av økonomijournalistikken viet Kaplan seg over en lang tid til Gustav Mahler, og med tiden ble han en ledende autoritet på den østerrikske komponisten. I 1982, i samband med 15-årsjubileum, dirigerte Kaplan for første gang Mahlers andre symfoni for et særlig utvalgt publikum. En tid etter fremførte han verket ved en konsert for allmenheten i Carnegie Hall med The American Symphony Orchestra. Konserten fikk stor oppmerksomhet og berømmelse. New York's Daily News rangerte ham som en av de beste fremførelser av Mahlers andre noen sinne.