Ohlendorf var nær venn av SS-offiseren Adolf Eichmann og det var Eichmann som anbefalte Ohlendorf til å lede Einsatzgruppe D. Ohlendorf skal ofte ha kranglet med Reichsführer-SS Heinrich Himmler og sjef for Reichssicherheitshauptamt, Reinhard Heydrich. Himmler beskrev Ohlendorf som en defaitist og antimilitarist og uutholdelig prøysser uten humoristisk sans; i Himmlers øyne var Ohlendorf i alle fall ikke en soldat, og bare en «forbannet intellektuell». Til fysioterapeuten Felix Kersten sa Himmler at Ohlendorf anså seg selv som nasjonalsosialismens «ridder av den hellige gral».