Está casado desde el año 2000 con Juliette Norton, una exmodelo, con quien tiene tres hijas con nombres de flores: Poppy Oliver (2002), Daisy Oliver (2003), Petal Oliver (2009) y dos hijos Buddy Bear Fredy Oliver (2010) y River Rocket Oliver (2016).