Det nyeste og mest synlige blant bygningene i Jarlshof er et middelalderske våningshus som ble omgjort til et festningshus av Robert Stewart, jarl av Orkney, og modernisert tidlig på 1600-tallet av sønnen Patrick Stewart, som omdøpte det til " Old House of Sumburgh ”. På slutten av 1600-tallet ble den forlatt.