Mellom 1829 og 1840 ble mye av arealet rundt Caswell Bay kjøpt opp av John James, en tidligere sjelesørger i Bishopston, til datteren og svigersønnen, Charles Morgan. I 1846 solgte Morgan-familien en del av eiendommen på østsiden av bukta til John Dillwyn Llewelyn, en av det 19. århundres pionerer innen fotografi, som var en fast gjest i bukta. Llewelyn bygde et feriehus, Caswell Cottage, som eksisterte fram til rundt 1960, og lå der hvor dagens offentlige parkeringsplass ligger. I 1854 ønsket Prins Albert å få to av fotografiene hans fra området etter å ha sett dem på en utstilling. Llewelyns tretten år gamle barnebarn druknet mens han svømte i bukta i 1878, likskuet ble holdt i Caswell Bay Hotel.