Hijo de una familia de comerciantes, durante la Segunda Guerra Mundial su padre fue detenido y su madre se retiró al pueblo de Quincié-en-Beaujolais, en donde Bernard Pivot fue a la escuela.