Som en del av den normanniske kontrollen over England og Wales var FitzOsbern en av de mest ivrigste normanniske festningsbyggere. De tidligste festningene som er tilskrevet ham er blant annet Carisbrooke på Wight og i sørlige Wales blant annet Chepstow Castle i Chepstow (Striguil), Wigmore Castle i Wigmore, Clifford Castle i landsbyen Clifford og Monmouth Castle i Monmouth, foruten å bygge eller utbedre befestningene av byer som Hereford og Shrewsbury.