Deler av murene og vollene på Staverns Fort ble fjernet og andre fornyet i anleggsperioden slik at det gamle fortet ble en del av Fredriksvern Verft. Av de opprinnelige bygningene finnes fortsatt kommandantboligen (1751), vaktstua, to smier, smedens bolig, magasin, to proviantmagasin, sjaluppskuret, galeiskurene og krutthuset.