Роберт де Холланд был сыном рыцаря и крупного землевладельца из Ланкашира, носившего то же имя, и его жены Элизабет де Сэмлисбери (дочери и наследницы сэра Уильяма Сэмлисбери). Он родился примерно в 1283 году и уже в 1298 году участвовал в походе в Шотландию и битве при Фолкерке. Предположительно начиная с этого времени Роберт был связан с графом Томасом Ланкастерским — членом королевского дома и наиболее могущественным лордом Англии. Томас привлекал Холланда к управлению своими обширными землями, держал его при себе в качестве советника и участника военных кампаний, награждал за службу поместьями. Благодаря этому Роберт сосредоточил в своих руках земли, приносившие годовой доход в 550 фунтов. Около 1308 года Ланкастер организовал для Холланда очень выгодный брак — с одной из трёх дочерей Алана ла Зуша, 1-го барона ла Зуш из Эшби, влиятельного барона из Лестершира. Сыновей у ла Зуша не было, и после его смерти Роберт получил ряд поместий, приносивших доход в 720 фунтов в год. Таким образом, Холланд стал богатым и влиятельным вельможей. 25 марта 1314 года его впервые вызвали в парламент как лорда, и с этого момента начинается история баронии Холланд.