Möglicherweise befand sich bereits ein kleiner Festungsbau am Standort, als die Äbte der benediktinischen Dunfermline Abbey dort im 16. Jahrhundert ein L-förmiges Gebäude errichten ließen. Dieses bildet die Keimzelle des heutigen Pinkie House. Es lag unweit des Schlachtfelds der bedeutenden Schlacht bei Pinkie Cleugh. Alexander Seton, 1. Earl of Dunfermline erwarb die Ländereien von Pinkie im Jahre 1597, als er zum Lord Fyvie erhoben wurde. Da Seton mit der Erziehung des Kronprinzen und späteren Königs Karl I. befasst war, verbrachte dieser einige Zeit in Pinkie House. Als dieser 1637 zu seiner Krönung nach Schottland reiste, übernachtete er in Pinkie House. Eigens für diesen Anlass wurde ein Raum eingerichtet, der heute als "King’s Room" bekannt ist. Seton verstarb 1623 in Pinkie House. Vor seinem Ableben, um 1620, veranlasste er die Erweiterung von Pinkie House, wodurch sich die Fläche des Herrenhauses nahezu verdoppelte.