Herczog kom til Sveits som barn i 1956, da mange flyktet under oppstanden i Ungarn, og han ble utdannet i arkitektur ved Eidgenössische Technische Hochschule Zürich.