De tre Morgan-døtrene, Emma, Agnes og Alice hadde Caswell Bay som sitt hjem fra 1877 og bygde mange av husene som ennå eksisterer, inkludert deres eget hjem, Bay House som ligger på høyden over midten av bukta. Søstrene plantet også mange av buktas karakteristiske furutrær.