Su padre había sido embajador en Madrid cuando Isabel II era joven y nadie había pensado aún en el general Prim, pero abandonó la carrera diplomática caprichosamente por el despecho que sintió al ver que no le ofrecían la embajada de París, puesto al que creía tener pleno derecho en razón de su nacimiento, de su indolencia, del excelente inglés de sus despachos y de su desmesurada pasión por los placeres.