Het huidige Elcho Castle werd vermoedelijk rond 1560, maar mogelijk iets eerder, gebouwd door de familie "Wemyss of that Ilk". Onder de voorouders van de bouwer was David Wemyss, die een van de edelen was die de Declaration of Arbroath tekenden. In diens tijd moet er ook al een kasteel hebben gestaan op de plaats van het huidige Elcho Castle, aangezien in december 1429 David Wemyss of that Ilk en Hugh Fraser of Lovat in "Elthok" een verbond sloten. In 1448 bevestigde Jacobus II van Schotland dat de landerijen van Easter Elcho het bezit waren van Sir Davids zoon. In 1513 stierf een afstammeling, die eveneens David Wemyss genaamd was, in de Slag bij Flodden Field, waarbij ook Jacobus IV van Schotland omkwam. In deze periode waren de landerijen van Wester Elcho in het bezit van Elcho Priory, een convent van cisterciënzer nonnen, dat gesticht was in de vroege dertiende eeuw. In 1550 verkeerde de priorij onder leiding van priores Euphemia Leslie in financiële problemen. John Wemyss, die in 1544 Lord was geworden, leende de nonnen geld en schonk hun proviand. In 1552 kreeg hij de functie van baljuw. Ten tijde van de reformatie in 1560 had hij vrijwel alle landerijen van Elcho Priory in zijn bezit. De priores stierf in 1570 en de priorij sloot niet lang daarna.