En 1935 tuvo serias desaveniencias con Hitler supuestamente por la emisión de las Leyes de Núremberg; pero probablemente el motivo real fue por un escándalo de índole sexual y despilfarro de fondos, Esser fue despedido de su cargo.