Rohrer begynte på ETH Zürich i 1951, hvor han studerte sammen med Wolfgang Pauli. Doktoravhandlingen handlet om måling av lengdeendringer i superledere ved magnetfeltinduserte superledende overganger, et prosjekt startet av Jörgen Lykke Olsen. I løpet av forskningen fant han ut at han måtte gjøre det meste av forskningen om natten, etter at byen hadde stilnet, fordi målingene var så følsomme for vibrasjoner.