Just Høeg var sønn av rikskansler Just Høeg Banner (1584–1646) og Anne Jørgensdatter Lunge (født i 1610 på Vestervig kloster, død i 1652). Han var bare seks år gammel da faren døde, og da han var tolv år gammel døde også moren.