（Mary , Lady Grantham），外祖父是第二代哈德威克伯爵（2nd Earl of Hardwicke），在家中排行第二。起初，罗宾逊受教于一间位于森伯里（Sunbury）的预备学校。到了1796年，他转到哈罗公学就读，并于后来进入剑桥大学圣约翰学院深造。他深造期间，小威廉·皮特是剑桥大学选区的代表议员。罗宾逊在大学时，修读古典文学，曾经赢得威廉·布朗爵士奖（Sir William Browne's Medal）。自大学毕业后，他进入林肯律师学院，却没有取得律师资格，因为他不打算从事法律工作。