Семья Рутвен происходит от сэра (ум. 1528), который в 1488 году получил титул лорда Рутвена, став пэром Шотландии. Его сын и наследник, Уильям Рутвен, мастер Рутвен, погиб в сражении при Флоддене в 1513 году. В 1528 году после смерти лорда Рутвена ему наследовал его внук, (ум. 1552), сын мастера Рутвена. 2-й лорд Рутвен был лордом внеочередной сессии (1539—1552) и лордом-хранителем малой печати Шотландии (1547—1552). Его преемником стал его сын, (ок. 1520—1566), был лидером заговорщиков, которые убили Дэвида Риччо, личного секретаря королевы Марии Стюарт. После его убийства Патрик бежал в Англию, где скончался в 1566 году. Его сменил его сын, вышеупомянутый Уильям Рутвен, 4-й лорд Рутвен, который в 1581 году получил титул графа Гоури.