Von 1936 bis 1943 war Dornberger Chef der Raketenabteilung des Heereswaffenamtes. 1943 wurde er zum Generalmajor ernannt und Kommandeur der Heeresversuchsanstalt Peenemünde. Dornberger war von 1943 bis 1945 auch zuständig für das Training und die Logistik der V2-Einheiten. Ab September 1943 gehörte Dornberger dem Beirat der Mittelwerk GmbH an, die in der Stollenanlage im Kohnstein bei Nordhausen Häftlinge des KZ Mittelbau-Dora zur Raketenproduktion einsetzte. Auch wenn Dornberger 1969 unter Eid angab, dass in Peenemünde keine Zwangsarbeiter eingesetzt wurden, straft ihn ein von ihm unterzeichnetes Besprechungsprotokoll vom 4. August 1943 Lügen: „Das Verhältnis der deutschen Arbeiter zu den KZ-Häftlingen soll 1:15, höchstens 1:10 betragen“. Es gab 1943 insgesamt 4 Orte zur A4-Serienfertigung, die KZ-Häftlinge kamen aus: KZ Buchenwald (HVA-Peenemünde ab Juni), KZ Dachau („Friedrichshafener Zeppelinwerke“ ab Juni/Juli), KZ Mauthausen (Rax-Werke in der Wiener Neustadt ab Juni/Juli) und KZ Sachsenhausen (DEMAG-Aufbauten für Panzer in Berlin-Falkensee ab März). Dornberger unterschrieb dazu ein Protokoll aus der Besprechung mit Gerhard Degenkolb und Heinz Kunze mit dem Inhalt, dass die Serienfertigung in allen 4 Werken „grundsätzlich mit Sträflingen durchgeführt werde.“ Am 29. Oktober 1944 wurde Dornberger nach dem Einsatz der V2 an der Westfront mit dem Ritterkreuz des Kriegsverdienstkreuzes mit Schwertern ausgezeichnet.