Fue el tercer hijo varón de la familia constituida por don Carlos Pastore y doña María Coronada Goiburú Ibarra, y nieto de doña Carlota Morteo, virtuosa dama que acogió al pequeño Carlos mientras completaba sus estudios secundarios en Asunción.