Handlingen i serien er lagt til fiktive Downton Abbey, jarlen av Granthams herregård. Første sesong foregår fra begynnelsen av kong George Vs regjeringstid, to år før første verdenskrig, og frem til juli/august 1914. Serien følger livene til den aristokratiske Crawley-familien og dens tjenere.