King Vidor syntyi Galvestonissa Texasissa 1894. Lapsena hän selvisi hengissä tuhoisasta Galvestonin hurrikaanista syyskuussa 1900. Nuorena hän työskenteli paikallisessa elokuvateatterissa ensin lipunrepijänä ja myöhemmin koneenkäyttäjänä. Hän ehti työskennellä amatöörivalokuvaajana ennen kuin ryhtyi kuvaamaan uutiselokuvia paikallisista tapahtumista.