Ola var eldre bror av sjøoffiseren Thore Horve, som etter krigen var sjef for Sjøforsvaret. Han hadde også en eldre søster som het Mathilde og en yngre søster som het Inger.