В 1463 году сэр Сильвестр Раттрей был послом в Англии и унаследовал от своей матери большие поместья по всему Фортингаллу в Атолле. Это вызвало недовольство Стюартов, графов Атолла. Сильвестру Раттрею наследовал его сын — Джон Раттрей, 11-й лэрд Раттрей (ум. 1513), который был посвящен в рыцари в 1488 году королем Шотландии Яковом IV Стюартом и погиб в битве при Флоддене в 1513 году. Его старший сын Джон Раттрей умер в 1479 году на службе в Нидерландах как профессиональный солдат, но он оставил двух сыновей и двух дочерей. Старшая дочь — Гризель Раттрей вступила с (1507—1542). Граф Атолл заявил, что половину баронства Раттрей принадлежит ему по праву, как приданое. Граф хотел использовать сестру своей жены — Элизабет, чтобы попытаться получить свою долю вотчины Раттрей. Второй сын сэра Джона Раттрея — Патрик Раттрей, 12-й вождь клана Раттрей (ум. 1533), был изгнан из клана, замка и земель Раттрей в 1516 году графом Атолла и был вынужден скрыться на пустошах Кинбаллоха, где он построил новый замок Крэйгхолл. Но Джон Стюарт, 3-й граф Атолл, убил его в 1533 году.