Høytorp fort ble overtatt av Wehrmacht. Bygningsmassen ble brukt som rekonvalesentleir for sårede soldater, og det ble bygget fire «tyskerbrakker» og ny vaktstue nede ved Momarken. Selve fortet var av liten interesse for tyskerne. Det ble snart ribbet for strategiske metaller, som kobber og messing. Tårnkanonene ble i 1942/43 pigget løs og sendt til kystfort på Vestlandet. 12 cm kanonene kom til Eigerøya, 7,5 cm kanonene til Storøy utenfor Haugesund. Høsten 1944 ble fortet ribbet for alt av metall; ovner, ståldører, vindusskodder og piggtrådsperringer ble fjernet og sendt til omsmelting i Tyskland.