故事发生在虚构的唐顿庄园，也就是本姓考利（Crawley）的世襲貴族葛量洪伯爵（The Rt Hon The Earl of Grantham）夫婦的祖傳府第，圍繞著他們的家族和仆人们的種種形式的生活。整個系列也描寫多個現實中的歷史事件，第一季第一集的故事時間設定於1912年4月，以鐵達尼號沉没事故為引子，而第二季的故事開場是第一次世界大戰爆發後的1916年索姆河戰役，其後包括西班牙流感。第三季為愛爾蘭獨立戰爭導致形成愛爾蘭自由邦。第四季的茶壺山醜聞案、1923年英國大選及阿姆利則慘案。第五季的啤酒館政變。第六季也是最終季描寫了兩次世界大戰期間工人階級的崛起，並暗示英國貴族無可避免的衰落。