Charlemont House fue originalmente la casa de James Caulfeild, el primer Duque de Charlemont y fue diseñada por Sir William Chambers.