von Choltitz innehade under andra världskriget en rad befälspositioner. Åren 1940–1942 ledde han det 16. infanteriregementet och efter att i två månader ha anfört 260. Infanterie-Division gavs han befälet över XVII Armeekorps. Under 1943 ledde von Choltitz 11. Panzer-Division och utsågs av Adolf Hitler personligen i augusti 1944 till Wehrmachtkommendant för Paris. Hitler ansåg honom lämpad att förstöra de viktigare monumenten i den franska huvudstaden. Den exakta listan på objekt som skulle förstöras är osäker, men det gällde åtminstone broarna över Seine, Triumfbågen samt troligen även Eiffeltornet, mindre troligt men ej helt uteslutet Notre Dame och Napoleon I:s grav. Under de 16 dagar som återstod till Paris befrielse den 25 augusti 1944 bröt dock von Choltitz avsiktligt mot ett antal av Hitlers uttryckliga order. Framför allt genomförde von Choltitz ingen förstörelse och efter viss tvekan valde han att låta de inringade tyska trupperna som fanns kvar i staden kapitulera efter endast en kort symbolisk eldstrid vid sitt högkvarter. Han bistod därefter även de fria franska trupperna, som först intog staden, att övertyga utspridda tyska trupper att kapitulera genom att åka runt i en högtalarförsedd bil genom centrala Paris, en order som åtlyddes av de flesta arméenheter.