Era filho do casal açoriano José da Silva Tavares e de Joana Maria dos Santos, que radicou-se em Herval do Sul. Teve quatro irmãos e foi o único deles que tomou partido dos imperiais na Guerra dos Farrapos. Foi pai do Barão de Itaqui, Joca Tavares, e do Barão de Santa Tecla, Joaquim da Silva Tavares.