Faren var veiingeniør og stortingsmann Peter Rasmus Krag. På grunn av arbeidet med vei- og utbyggingsprosjekter flyttet han stadig rundt i landet, og familiens seks barn har på grunn av dette alle forskjellige fødesteder. Blant hans søsken finner vi blant annet storebroren og sørlandsforfatteren Thomas Peter Krag (1868–1913), og forretningsmannen Nils Aall Krag (1863-1926).