Oliver vive en Nueva York con su esposa Kate Norley, una veterana de la Guerra de Iraq que sirvió como médico del Ejército de los Estados Unidos. Oliver dijo que se conocieron en la Convención Nacional Republicana de 2008; él estaba haciendo un segmento para "The Daily Show" y Norley estaba haciendo campaña con "Vets for Freedom". Ella y otros veteranos escondieron a Oliver, al resto de correspondientes, y al operador de cámara de la seguridad. Los dos se casaron en octubre de 2011. HBO anunció que el 12 de noviembre de 2015 la pareja había tenido un hijo llamado Hudson, sin especificar la fecha de su nacimiento.