El edificio sigue el estilo del palladianismo, y en el proyecto participaron importantes arquitectos, como Alessandro Galilei, Sir Edward Lovett Pearce y William Chambers.El diseño de Castletown es parecido al de la Leinster House en Dublín, y ambas influyeron al arquitecto irlandés James Hoban para construir la Casa Blanca en Washington.