Роберт де Уиллоуби был сыном сэра Уильяма де Уиллоуби и Элис Бек. Его семья владела поместьями в Линкольншире, в числе которых был манор "Уиллоуби". Не позже 1304 года Роберт получил часть владений своего деда по матери Джона Бека, 1-го барона Бек, в том числе поместье Эрзби, ставшее его резиденцией. Роберт участвовал в шотландской войне (1298, 1300—1305 годы) в составе свиты своего двоюродного деда Энтони Бека, епископа Даремского.