Øgrim var sønn av Tobias Immanuel Øgrim, som blant annet var leder for Frelsesarmeen i Norge. Otto Øgrim var far til forfatteren Tron Øgrim og professor Leikny Øgrim. Han var bestefar til rapperne Elling og Aslak Borgersrud i Gatas Parlament og til journalist og politiker Liv Gulbrandsen.