Welles ble født i Kenosha i Wisconsin og hadde en uvanlig barndom. Hans foreldre presset på for at hans eldre bror Dickie skulle bli en kjent person. Dickie Welles passet ikke i foreldrenes tiltenkte rolle og endte tilslutt opp som uteligger. Orson ble da foreldrenes nye vidunderbarn, og det passet han utmerket, selv om hans forhold til andre mennesker tok skade av foreldrenes ensidige fokusering på å gjøre han til et vidunderbarn.