Han var sønn av Cort Reimers Berle (1822–82) og Maria Jacobine Keyser (1826–1917). Faren var skoleinspektør i Halden. Selv giftet han seg i 1893 med Johanne Kristine Petersen (1865–1959) som var datter av teologiprofessor Fredrik Petersen. Broren Halfdan Berle (1861–1927/9) ble arkitekt.