Han var sønn av diplomat Johannes Irgens (1869–1939) og Lilla Minda Marie Gulbranson (1872–1938). Faren var utenriksminister på 1910-tallet.