Filmen handler om livet til Cecil Gaines (spilt av Forest Whitaker), som gjennom å tjenestegjøre som butler i over tre tiår (fra 1957 til 1986) i Det hvite hus for syv forskjellige amerikanske presidenter, fikk et unikt innblikk fra innsiden mens radikale endringer skjedde både innenfor politikk og rase-rettigheter. I 1926 er Cecel Gaines syv år gammel, og vokser opp på en bomullsplantasje i Macon, Georgia. Gårdens eier voldtar moren hans, Hattie. Faren hans konfronterer eieren, men blir drept.