Vidor var født i Galveston i Texas hvor han overlevde den store Galveston-orkanen i 1900. hans bestefar, Charles Vidor, var en flyktning fra den ungarske revolusjonen i 1848 og bosatte seg i Galveston tidlig på 1850-tallet.