Po rozpoczęciu operacji Barbarossa, oddział Choltitza atakował z Rumunii jako część Grupy Armii Południe na odcinku ukraińskim. Jako część 11. Armii Ericha von Mansteina walczył podczas oblężenia Sewastopola. Podczas walki liczba jego żołnierzy została zredukowana z 4,800 do 349, a sam Choltitz został raniony w ramię. Krótko po tym został awansowany na generała majora i został dowódcą 260 Dywizji Piechoty w 1942. Następnego roku awansował na stopień generała porucznika i dowodził 11 Dywizją Pancerną, którą kierował podczas bitwy na łuku kurskim.