Kjeld Stub Irgens var sønn av sognepresten Jens Stub Irgens og hans kone Sophie Cathinka. Irgens var i fjern familie med biskopen Ole Irgens, politikeren Ole Irgens og politikeren Johannes Irgens.