Steinkirken er tilegnet den hellige Matteus, og ble bygget av William Sinclair (1410–1484), greve av Caithness og baron av Rosslyn. Han var fra Sinclair-familien, en adelsfamilie av normannerslekt. Byggingen startet i 1446, da kirken offisielt ble grunnlagt, og ble avsluttet i 1484, da taket ble satt på. William Sinclair skal være begravet her, men steinkisten er av nyere dato.