校，后来又考入剑桥大学圣约翰学院，不过只读了一年就离开。史都华的父亲同名罗伯特·史都华，是一位地主，后来曾三度先后获英国国王乔治三世策立为"卡苏里子爵"（1795年）、"伦敦德里伯爵"（1796年）和"伦敦德里侯爵"（1816年）。自父亲在1796年立为伯爵后，其礼节性衔头卡苏里子爵遂为史都华所採用，而一直到1821年父亲去世，他才袭取得伦敦德里侯爵头衔。史都华在1794年与第二任白金汉郡伯爵的女儿，艾蜜莉·荷巴特（Emily Hobart）成婚，艾蜜莉以身为十九世纪初伦敦上层社会着名的社交界领袖之一着