James Matheson, 1. Baronet, der sein Vermögen mit dem Opiumhandel im Fernen Osten gemacht hatte, erwarb die Insel Lewis 1844 zum Preis von 190.000 £. Bereits kurze Zeit später begannen Planungen für den Neubau eines Herrenhauses am Standort der Seaforth Lodge. Nachdem die feierliche Grundsteinlegung sicher auf den 30. November 1847 datiert werden kann, sind in der Literatur verschiedene Angaben bezüglich der Fertigstellung verzeichnet. So wurden die Arbeiten entweder 1851, 1854 oder 1860 abgeschlossen. Die Diskrepanzen sind vermutlich auf unterschiedliche Definitionen des Endzeitpunkts zurückzuführen und spiegeln die über Jahrzehnte andauernde Anlage von Außengebäuden wider. Die Gesamtkosten beliefen sich auf rund 60.000 £. In einer zweiten, teils parallel laufenden Bauphase, ließ Matheson das junge Lews Castle in eine ausgedehnte Parkanlage einbetten. Diese Maßnahme erforderte neben dem Einzug von Acker- und Weideflächen die Evakuierung und Einebnung verschiedener Höfe und landwirtschaftlich geprägter Weiler, wodurch Matheson sich den Unmut der Bevölkerung zuzog. Auf der anderen Seite bedeuteten die Baumaßnahmen die Schaffung von Arbeitsplätzen und Bereitstellung von Nahrungsmittel in einer durch die Hungersnot infolge von Kartoffelfäule gezeichneten Zeit. Auch wurde die Verkehrsinfrastruktur im Zuge der Arbeiten vollständig überarbeitet und modernisiert, sodass die öffentlichen Straßen das erweiterte Anwesen säumten. Die Arbeiten schlugen mit 49.000 £ zu Buche. Matheson verstarb 1878 und die Insel Lewis wurde innerhalb der Familie vererbt.