Hans farfar var biskop Ole Irgens. Han fikk seks sønner som vokste opp, hvorav Christian Andreas Irgens, Ole Irgens, Harald Irgens og Johannes Irgens ble riddere av St. Olavs Orden. Hans kone, Susanna Cathrine Møller (1796-1861), fikk i tillegg syv døtre i første ekteskap (totalt 15 barn).