ウェストンバート・ハウス
ロバートは、このコレクションを収容するために、1851年から1853年にかけてロンドン、パークレーンにドーチェスター・ハウスを建設し、建築家としてルイス・ヴァラミィ (英語版) を採用した 。
この時期ロバートはグロスターとウィルツの治安判事 (Magistrate) となり、1843年にはウィルツの州長官 (High Sheriff) となった。1854年12月、彼は初めてグロスターシャー・イースト選出の国会議員となった 。1854年8月、ロバートは46歳でメアリー・アン・リンゼイと結婚した。メアリーは25歳で、ジェームズ・リンゼイ中将の娘だった 。その後5年間でホルフォード夫妻は、マーガレット・イヴリン・アリスの3人の娘をもうけた。一家の財産の相続人となるジョージ (英語版) は、1860年にやっと生まれた。
1863年から1870年にかけて、ロバートは現在のウェストンバート・ハウスを建設した。それはヴィクトリア朝に建てられた、最も高価な邸宅の一つであると評された。ロバートは1872年に引退するまで国会議員の仕事を続けた 。彼はウェストンバート・ハウスと樹木園のために植物の収集を続け、ジョージもまた庭園や植物に関心を持って、父の収集の手伝いをした。
ロバートの引退後、夫妻はウェストンバート・ハウスとドーチェスター・ハウスの両方で時間を過ごした。1875年、フランスの外交官チャールズ・ガヤードはウェストンバートを訪問し、その体験を次のように語っている。