Lord Castlereagh erbte den Titel seines Vaters nur ein Jahr vor seinem eigenen Tod. Der nächste Besitzer des Hauses war sein Halbbruder Charles Vane (1778–1854). Er heiratete zweimal und seine zweite Ehe vergrößerte das Familienvermögen deutlich. Seine zweite Gattin war Lady "Frances Anne Vane-Tempest". Sie war die bekannteste Erbin ihrer Zeit. Dies veranlasste die Neueinrichtung und den Ausbau des nun neu benannten Mount Stewart. Während die Londonderrys £ 150.000 in die Neueinrichtung ihres Familiensitzes investierten, spendeten sie nur £ 30 für die Bekämpfung der großen Hungersnot in Irland in den 1840er-Jahren, obwohl ihre Ländereien von der Hungersnot direkt betroffen waren. Dies wirft ein Schlaglicht auf die Unmenschlichkeit, die damals in Irland vorherrschte. Dieser Umbau führte zum heutigen Äußeren von Mount Stewart. Das kleine georgianische Haus und der kleine Portikus am Westflügel wurden abgerissen und das Haus auf 11 Joche erweitert. An der Eingangsfassade wurde in der Mitte ein riesiger Portikus angebaut und ein kleinerer „halber Portikus“ wurde an der anderen Seite hinzugefügt.