ตัวละครทั้งหมดอยู่ในดาวน์ตันแอบบีย์ ซึ่งเป็นคฤหาสน์ชนบทสมมุติในเทศมณฑลยอร์กเชอร์ แสดงให้เห็นถึงชีวิตของคนในครอบครัวชนชั้นสูงครอว์ลีย์และคนรับใช้ของพวกเขาหลังสมัยเอ็ดเวิร์ด กับความเปลี่ยนแปลงครั้งใหญ่ที่มีผลกระทบต่อชีวิตของพวกเขาและในสังคมชนชั้นสูงอังกฤษ เหตุการณ์ดังกล่าวปรากฏตลอดทุกฤดูกาลเช่น ข่าวการจมของเรือไททานิกในฤดูกาลแรก, เกิดสงครามโลกครั้งที่หนึ่ง, เกิดโรคไข้หวัดใหญ่ระบาดในปี ค.ศ. 1918 และเรื่องอื้อฉาวมาร์โคนีในฤดูกาลที่ 2, เกิดสมัยระหว่างสงคราม และการก่อตัวของเสรีรัฐไอริชในฤดูกาลที่ 3, เรื่องอื้อฉาวทีพอตโดมในฤดูกาลที่ 4 การเลือกตั้งของสหราชอาณาจักร ค.ศ. 1923, การสังหารหมู่ที่อมฤตสาร์ และเกิดการกบฏโรงเบียร์ในฤดูกาลที่ 5