Han var sønn av presten Hans Peter Schnitler Krag (1794–1855) og Hermana Thomine Rognebye (1798–1878), og hadde flere kjente brødre (se Krag (slekt)). I 1861 giftet han seg i Stavanger med Anna Marie Petersen (1843–1919). Idrettspresident Hjalmar Krag (1867–1954) var deres sønn.