Su padre, Joseph-François Baudelaire, exseminarista, antiguo preceptor, fue también profesor de dibujo, pintor y funcionario jefe del Despacho de la Cámara de los Pares.