Die Festung fiel in die Hände der Familie Home. 1503 beherbergten sie dort Margaret Tudor, die Tochter von Heinrich VII. auf dem Weg zu ihrer Hochzeit mit König Jakob IV. von Schottland. Nach der Niederlage der Schotten und dem Tod von König Jakob IV. in der Schlacht von Flodden Field 1513, in der zahlreiche Homes fielen, entbrannte ein Streit um die Macht zwischen Regent Albany und verschiedenen anderen Adligen, darunter auch Alexander Home, 3. Lord Home, "Chamberlain of Scotland". Fast Castle wurde 1515 in diesem Chaos zerstört, Alexander Home wurde 1516 hingerichtet und seine Ländereien galten als verwirkt.