Han ble født i 1844 i Flakstad i Lofoten, der faren Jørgen Sverdrup Krog (1805–1847) var sogneprest fra 1841. Faren døde da han var tre år, og han vokste opp med moren Ingeborg Anna Dass Brinchmann (1813–1872). Han var bror av kvinnesaksforkjemper Gina Krog (1847–1916) og av Valentine Fredrikke Amanda Krog (1841–1856) som døde som 14-åring. Like etter farens død flyttet familien til hans hjemsted Karmøy, og i 1855 videre til Christiania. I folketellingen i 1865 bodde Fredrik, Gina og moren i en fornem bygård som da hadde adressen 17–19, der hvor Domus Juridica står i dag, og moren livnærte seg av å leie ut rom, bl.a. til studenter.