I en alder av syv år ble Fischer og hans to eldre brødre, Raoul og George, sendt til den sveitsiske internatskolen La Châtaigneraie nær morens hjemby Vevey. På videregående skole inngikk han en pakt med en barndomsvenn: En av dem ville bli lege og den andre vitenskapsmann, og så kunne de kurere verdens sykdommer. Mens han var på videregående skole ble Fischer tatt opp ved Genèves musikkonservatorium, og da vurderte han også å bli en profesjonell musiker.