José Ballivián nació en la ciudad de La Paz, Virreinato del Río de la Plata el 5 de mayo de 1805, en el seno de una aristocrática familia de La Paz, siendo sus padres Jorge Ballivián e Isidora Segurola, hija del Brigadier Sebastián de Segurola-Çelayarán y Oliden.