Первый дом Стаффорд был ветвью англо-нормандского рода Тосни (Тоэни). Его родоначальником было Роберт де Стаффорд (ум. ок. 1088), брат Рауля II де Тосни, одного из соратников Вильгельма I Завоевателя и участника битвы при Гастингсе. Неизвестно, принимал ли Роберт участие в нормандском завоевании Англии, но он получил ряд поместий в Англии. Поскольку норманны во время завоевания столкнулись с ожесточённым сопротивлением, то для контроля за завоёванными землям Роберт построил замок Стаффорд, давший название роду. Его сын Николас во время правления короля Генриха I был шерифом в Стаффордшире.