Hijo de un excombatiente del bando republicano de la guerra civil española, Gallardo estudió en Lérida desde los seis hasta los diecisiete años en un colegio de Maristas, "nacionalcatolicista a tope", según sus propias palabras.