Han var sønn av Tobias Øgrim, bror av fysikeren Otto Øgrim og dermed onkel til Tron Øgrim. Han var gift med Wanda Lunde (1920–2005), søster til diplomaten Ivar Lunde. De hadde tre barn, journalisten Helge Øgrim (1950–), Ottar Øgrim (1953-) og musikeren Tellef Øgrim (1958–).