Krohg stammet fra en bondeslekt fra gården Krogen i Høland, derfra navnet, hvis skrivemåte omkring 1800 ble endret fra til , for å skilles fra den adelige slekt von Krogh. Både hans far Georg Anton Krohg og hans farbror Nikolaj Frederik Krohg var offiserer, og begge har knyttet sine navn på en fortjenstfull måte til den store nybygning av Norges veinett som fant sted i siste halvdel av 1700-tallet.