Графы Касл Стюарт вели своё происхождение по мужской линии от шотландского королевского дома Стюартов. Они являлись прямыми потомками сэра Уолтера Стюарта (ум. 1425), хранителя замка Дамбартон, младшего сына Мердока Стюарта, 2-го герцога Олбани, сына Роберта Стюарта, 1-го герцога Олбани, младшего сына короля Шотландии Роберта II. Один из сыновей Уолтера, сэр получил титул лорда Эйвондейла в 1459 году и стал (1460—1482). Другой сын Уолтер Стюарт (до 1425 — до 1488) стал бароном Морфи в 1479 году. Его внук Эндрю Стюарт получил возрожденный титул лорда Эйвондейла (ок. 1499), угасший после смерти его кузена в 1488 году. Лорд Эндрю Эйвондейл был одним из многочисленных шотландских пэров, которые погибли в битве с англичанами при Флоддене в 1513 году.