Jorge Rafael Videla var den tredje av fem sønner av oberst Rafael Eugenio Videla Bengolea (1888–1951) og hans hustru María Olga Redondo Ojea (1896–1986) og fikk sitt navn etter to eldre brødre som døde av meslinger i 1923. Videlas familie tilhørte prominensen i provinsen San Luis, og mange av hans forfedre hadde innehatt høye embeter i det offentlige. Bestefaren Jacinto hadde vært guvernør av San Luis fra 1891 og 1893, og hans tippoldefar Blas Videla hadde kjempet i uavhengighetskrigene og så blitt ledere av unitarianerpartiet i San Luis.