I 1937, i en alder av atten år, forlater Cecil plantasjen. Desperat og skrubbsulten bryter han seg inn i et konditori for å skaffe seg matt. Den gamle eieren, Maynard, synes synd på Cecil, og gir den unge mannen en jobb. Cecil lærer seg servering, og Maynard anbefaler Cecil til en ledig stilling ved et hotell i Washington, D.C. Cecil møter Gloria, og de gifter seg. De får etterhvert to sønner: Louis og Charlie. I 1957 blir Cecil ansatt ved Det hvite hus under Dwight D. Eisenhower (spilt av Robin Williams) og hans administrasjon. Freddie Fallows blir den nye sjefen hans, og introduserer Cecil blant annet for butler Carter Wilson (spilt av Cuba Gooding Jr.) og medarbeider James Holloway. Cecil blir vitne til Eisenhowers motvilje mot å bruke soldater for å håndheve avregulering av rase-skillet mellom hvite og mørkhudende studenter ved amerikanske skoler.