Im Zweiten Weltkrieg nahm er zunächst an der Besetzung der Niederlande teil und wurde am 1. August 1940 Kommandeur das I. Bataillon des Fallschirm-Jäger-Regiment 2. Am 1. März 1941 wurde er zum Major befördert. Es folgte seine Teilnahme am Unternehmen Merkur sowie am Unternehmen Barbarossa, bevor er nach Nordafrika und anschließend ein zweites Mal nach Russland verlegte. Am 16. Dezember 1943 wurde Kroh Kommandeur des Fallschirm-Jäger-Regiment 2. Er kam Anfang 1944 nach Frankreich, wurde dort am 6. April zum Oberst befördert und am 1. Juni 1944 mit der Führung der 2. Fallschirmjäger-Division beauftragt.