Faren arbeidet i postverket og familien flyttet en rekke ganger i Harrers barndom. Harrer var lidenskapelig opptatt av idrett og ble akademisk utformester og østerriksk golfmester. Dessuten drev han med nordisk skiidrett, fjellklatring, tennis, håndball og friidrett.