Han var sønn av Sigurd Høst (1866–1939) og Isabella Vibe (1870–1937). Moren var barnebarn av greskfilologen Ludvig Vibe (1803–1881) som også hadde vært språklektor ved hovedstadens universitet hundre år tidligere. Faren Sigurd var fra Flora, men var også franskfilolog som i likhet med Gunnar skrev lærebøker, foruten å være agent og venn med kunstnerne Nikolai Astrup og Edvard Munch. Gunnar var halvbror til kunsthistorikeren Inger Alver Gløersen (1892–1982).