Jolson kom til USA som barn og sang i en synagoge der hans far var kantor. I Washington D.C. begynte han og broren Hirsch begynte å opptre i vaudeville-forestillinger. Først var han innom sirkus, og senere svertet han ansiktet og opptrådte på kaféer for svarte og i varietéer.