Han var sønn av skipsreder Richardt Martin Olsen og Sibille Maren Andersen fra Bogen i Stokke. Faren eide Øvre Gokstad gård i Sandar. Moren var datter av skipsreder Even Andersen Haughem. Peder Bogen giftet seg i 1894 med Christine Iversen, datter av bokhandler og ordfører Hans Severin Iversen i Sandefjord. Ekteparet fikk fem barn sammen.