Videla war das dritte von fünf Kindern des Militäroberst Rafael Eugenio Videla (1886–1952). Einer seiner Vorfahren, Blas Videla († 1831), nahm 1810 an den argentinischen Unabhängigkeitskämpfen teil (Mai-Revolution) und war später Vorsitzender der argentinischen Einheitspartei. Videla heiratete 1948 Alicia Raquel Hartridge Lacoste, Tochter eines Botschafters, und hatte mit ihr sieben Kinder.