Narodil se a vyrostl v Maďarsku; na Západ emigroval po vpádu sovětských vojsk roku 1956, spolu se svým spolužákem László Kovácsem, ze kterého se rovněž stal významný kameraman. Odvezli sebou i jedinečný dokumentární filmový materiál o invazi, který pořídili v ulicích Budapešti. V roce 1962 získal Zsigmond americké občanství. Ze začátku v USA snímal hlavně béčkové horory, dveře do první ligy Hollywoodu mu otevřel až producent a režisér Robert Altman.