Ambrozic ble født i Slovenia og navnet er i slovensk form . I mai 1945 flyktet familien til Østerrike, der han fullførte vanlig skolegang i forskjellige flyktningleirer, i Vetrinj (Viktring bei Klagenfurt), Peggez (ved Lienz) og Spittal an der Drau, der han maturerte.