Lupita Tovar var den eldste av ni barn, og vokste opp i fattigslige kår. Flere av søsknene døde som barn. Faren var Egidio Tovar, og kom fra Tehuacán i Puebla, og moren var Mary Tovar (født Sullivan), irsk-meksikansk, fra Matías Romero.