I krigen mot Sovjetunionen var Choltitzs med på beleiringen av Sevastopol i juni 1942. Samme år ble han generalmajor og i 1943 generalløytnant. Han var også i tillegg assisterende kommandant av 260. infanteridivisjon og kommandant for 48. Panzerkorps. Fra mars 1944 tjenestegjorde han ved fronten i Italia og fra juni 1944 på vestfronten.