Berge ble gift i 1898 med skuespiller Anna Berge (pikenavn: Rohde) (ekteskapet oppløst i 1909) og var bror til skuespiller Borgny Hammer.