Oliver lebt mit seiner Frau Kate Norley in New York City. Norley ist Irak-Veteranin, die während ihres Einsatzes als Sanitäterin tätig war. Die beiden lernten sich 2008 beim Parteitag der Republikaner kennen, wo Oliver einen Beitrag für "The Daily Show" aufnahm. Das Paar heiratete im Oktober 2011. Im November 2015 wurde der gemeinsame Sohn geboren.