Nach dem Überfall auf Polen war er in dem besetzten Land zunächst Leiter des volksdeutschen Selbstschutzes. Ab Ende 1939 war er Leiter der Gestapo in Kalisch. Im Dezember 1939 aus dem Amt entlassen und rangmäßig degradiert. Hintergrund war ein Vorfall am 1. November 1939, als er stark betrunken versuchte eine junge Polin zu vergewaltigen. Dabei zielte er mit einer Waffe auf den Freund der Polin, einen deutschen Funktionsträger. Anwesende deutsche Zeugen zeigten den Vorfall an. Der Fall wurde untersucht und am 4. Februar 1940 vor einem SS-Gericht verhandelt. Neben der rangmäßigen Degradierung wurde ein zweijähriges Verbot für Alkoholkonsum ausgesprochen. Am 8. Februar 1940 meldete sich Reichsführer SS Heinrich Himmler schriftlich bei Dolp und wies ihn darauf hin, dass die Missachtung des Alkoholverbots Dolps Ausschluss aus der SS zur Folge haben würde.