Kurz nachdem die Forschungsanlagen fertiggestellt worden waren, wurden diese im August 1943 erstmals von britischen Bombern zu zerstören versucht (Operation Hydra). Seine Frau und seine Tochter wurden evakuiert und zogen zu Rudolphs Mutter Ida nach Stepfershausen. Technisches Gerät, Zwangsarbeiter und KZ-Häftlinge der A4-Testanlagen wurden in den Folgemonaten in unterirdische Stollen des Kohnsteins bei Nordhausen verlagert, wo Häftlinge des KZ Mittelbau-Dora unter inhumanen Arbeits- und Lebensbedingungen bei der Raketenproduktion eingesetzt wurden. Rudolph war für den Transport der Ausrüstung zuständig und bekam anschließend als Betriebsdirektor der Mittelwerk GmbH die Verantwortung für die A4-Produktion und den Häftlingseinsatz übertragen. Im Zusammenhang mit dem Ausbau des Kohnsteins, der Errichtung des KZ und der anschließenden Fertigung der A4-Rakete sowie ferner der Flugbombe Fieseler Fi 103 („Vergeltungswaffe V1“) und von Teilen eines Düsenjägers kamen nach offizieller Zählung in den SS-Akten etwa 12.000 Zwangsarbeiter ums Leben. Neuere Schätzungen verorten die Zahl der tatsächlichen Todesopfer im Zusammenhang mit Mittelbau-Dora auf bis zu 20.000. Das wären mehr Todesfälle während der Entwicklungs- und Konstruktionszeit der Waffe als durch den tatsächlichen Einsatz der „V2“; deren Opfer, wohl überwiegend Zivilisten, werden auf etwa 8000 Menschen geschätzt.