Irgens ble født i Kristiania (Oslo). Han studerte i Paris, og ble diakonviet 27. september 1925 av biskop Johannes Olav Smit. I 1926 ble han presteviet, og han studerte så ved Accademia Ecclestiastico i Roma, den pavelige diplomatskole.