Brynners far var av delvis sveitsisk opphav, moren Marousia var russisk. Brynners far Boris skal ha hatt sveitsisk pass, noe moren også fikk da de giftet seg. Moren studerte skuespill i St. Petersburg. Familien bodde i St. Petersburg til søsteren ble født, deretter flyttet de til Vladivostok. Selv likte Brynner å fortelle fantasifulle historier om sin bakgrunn, blant annet at moren var sigøyner og at han var født som «Taidje Khan» på Sakhalin i 1917. Faren forlot dem da Yul Brynner var 3–4 år gammel. Moren flyttet med barna til Harbin der faren allerede var med sin nye kone. Der bodde de åtte år og Yul Brynner gikk på en russisk skole. I 1930-årene flyttet de til Paris (av frykt for krig mellom Japan og Kina) der Brynner var akrobat i et sirkus i flere år, men etter en ryggskade gikk han over til å spille teater. I Frankrike skal han 15 år gammel også ha opptrådt som gitarist i et sigøynerorkester. I 1938 flyttet Brynner og moren tilbake til Harbin av frykt for krig i Europa. I 1940 flyttet han så med moren til New York, der søsteren allerede var. Han snakket russisk og fransk flytende, og noe kinesisk, men knapt engelsk da han kom til USA. Han fikk amerikansk statsborgerskap et par år senere.