Era hijo de Francisco Agustín Silvela, ministro de Gobernación y de Gracia y Justicia, vicepresidente del Congreso de los Diputados y magistrado del Tribunal Supremo, y de Luisa de Le Vielleuze y Sotés.