Von Bergen var sønn av den tyske konsulen i Siam, Werner von Bergen, og hans spanske hustru Isabel født de Alcalá. Han ble oppdrtt som lutheraner. Han tilbrakte de første barndomsår i Bangkok, Saigon og Guatemala til han kom til internatskole i Roßleben i 1881. Etter at han ble uteksaminert fra gymnasiet i 1888, studerte han jus ved Universitetet i Berlin.