Первое упоминание о названии клана и этой фамилии датируется XI веком. Роберта ле Диспенсер упоминается как арендатор земли в так называемой «Книге Страшного суда», датируемая 1086 годом. Роберт ле Диспенсер, возможно, был один из нормандских рыцарей, сражавшихся бок о бок с Вильгельмом Завоевателем, который захватил Англию и разгромил короля Англии Гарольда II в битве при Гастингсе в 1066 году. Роберт и его брат Урс впервые появляются в Англии после битвы при Гастингсе. Они оба были бенефициариямии короля Англии Вильгельма Завоевателя в течение многих лет. Роберт де Диспенсер был официально назначен королевским «диспенсер» или королевским стюардом. В латинизированной форме Робер ле Диспенсер записывался как Robertus Dispensator — Робертус Диспенсатор.