El primer edificio religioso construido tras la fundación de Milford Haven fue la iglesia de Santa Caterina y Simón Pedro, considerada la iglesia principal del pueblo debido a su ubicación central y su contribución por Charles Francis Greville, el fundador de Milford Haven.