Selv om festningen ligger på det samme stedet som en tidligere befestning er dette mer et slott enn festning ved å være et storstilt landgods i Tudorstil med borggård. Som et produkt av de fredfylte 1500-tallet ble Oxwich bygget av sir Rice Mansel for å gi luksuriøs bekvemmelighet og bosted. Han ga den etterligning av en militær porthvelving komplett med familiens våpenskjold. Hans arbeid var begrenset til den sørlige blokken og var fullført mellom 1520-tallet og tiåret etter. Ved Mansels død overtok hans sønn Edward Mansel eiendommen og mellom 1560 og 1580 skapte han en langt mer storstilt fleretasjes bygning som inneholdt en imponerende herresete og en elegant langhall i fasjonabel elisabethansk arkitektur. Tårnet på seks etasjer i sørøst som fortsatt står var antagelig for boliger av familien og tjenerne. Etter familien flyttet ut på 1630-tallet forfalt slottet og den sørlige blokken ble benyttet som et våningshus.