Otto Ohlendorf ble født 4. februar 1907 i Hoheneggelsen nær Hildesheim i Tyskland, i en protestantisk kristen gårdbrukerfamilie. Foreldrene var Martha og Heinrich Ohlendorf, og han var det andre av deres fire barn. Han giftet seg i 1934 med Käthe Wolpers, og de hadde fem barn.