Han var sønn av kjøpmann Albert Peter Sagen og Lydia Catharina f. Middelthun. Moren døde på Sagens dåpsdag. Faren var en venn av dikteren Claus Fasting, som sto fadder ved Sagens dåp. Gutten vokste opp som enebarn. Faren hadde giftet seg igjen da sønnen var to år gammel, men det kom ingen barn i det ekteskapet.