Han var sønn av skipsfører Bernt Berger og Hanna Henriette Poulsen. Bror av norskamerikaneren Bernt Berger (1866–1919).