I 2009 hevdet Oliver at han var av delvis sudansk herkomst via hans tipp-tipp oldefar Johannes. Men etablert forskning for beviste at det var liten eller ingen mulighet for en sudansk tilkobling. I juli 2000 giftet Oliver seg med tidligere modell Juliette Norton. Paret møtte hverandre for første gang i 1993, og de har fem barn: Poppy Honey Rosie Oliver (født 18. mars 2002), Daisy Boo Pamela Oliver (født 10. april 2003), Petal Blossom Rainbow Oliver (født 3. april 2009), Buddy Bear Maurice Oliver (født 15. september 2010) og River Rocket Oliver (født 18. august 2016).