Banner nacque da genitori ebrei a Stanislau, all'epoca in Austria-Ungheria (oggi la città si chiama Ivano-Frankivsk ed è in Ucraina). Studiò legge presso l'Università di Vienna, che abbandonò per tentare la carriera di attore. Nel 1938, quando Adolf Hitler annesse l'Austria alla Germania nazista, Banner, che all'epoca si esibiva con una compagnia di recitazione in Svizzera, emigrò negli Stati Uniti, dove imparò rapidamente l'inglese.