På det meste skal over tusen mann ha tjenestegjort på Rauøy samtidig. Anlegget skal ha bestått av opptil hundre bygninger, hvorav omtrent halvparten var brakker. 20 hus står fortsatt igjen. De fleste av disse ble bygget på slutten av 1930-tallet eller av okkupasjonsmakten. Under hele den kalde krigen var enten Bolærne eller Rauøy fort beredskapsfort hvor hovedstridsmidlene skulle være klare til å åpne ild på 30 minutters varsel, i 1981 ble kravet redusert til 4 timer.