Han ble født på Flår i Undrumsdal som sønn av amtsagronom, gårdbruker og ordfører Ole Karenius Bærøe og hustru Hansine Kathrine Farup. Han mistet faren som liten gutt. Farfaren Lars Randby Bærøe var ordfører, stortingsmann og gårdbruker på Bærøe i Hobøl. Morfaren Peder Thrane Farup drev storgården Tronstad i Hurum.