Nacido en Hoheneggelsen, en las cercanías de Hildesheim, Hannover, Ohlendorf era hijo de un granjero.