Krag var sønn av skolereformator i Nidaros, presten Peter Schnitler Krag (1759–1818) og moren Sophie Christine Schnitler. Han var bror til Sophonias Christian Krag (1803–1865) og hadde selv tre navngjetne sønner, Peter Rasmus Krag (1825–91), Hans Hagerup Krag (1829–1907) og Ole Herman Krag (1837–1916).