Serial ini mengambil latar di Yorkshire antara tahun 1912 dan 1925 dan berkisah tentang keluarga bangsawan Crawley beserta para staf rumah tangganya, di mana peristiwa-peristiwa besar dalam sejarah akan memberikan pengaruh dalam kehidupan mereka dan kasta sosial di Inggris. Peristiwa yang digambarkan dalam serial ini antara lain berita tenggelamnya RMS Titanic di seri pertama; terjadinya Perang Dunia I, pandemik flu Spanyol, dan skandal Marconi di seri kedua; Perang Kemerdekaan Irlandia yang berujung pada pembentukan Negara Bebas Irlandia di seri ketiga; skandal Teapot Dome di seri keempat; serta pemilihan umum Britania Raya tahun 1923, Pembantaian Jallianwala Bagh dan Beer Hall Putsch di seri kelima. Seri keenam dan terakhir memperkenalkan kebangkitan kasta pekerja pada masa antar perang dan mengisyaratkan kemunduran aristokrasi di Inggris.