Segall ble født i Vilnius, men studerte kunst ved det kongelige prøyssiske akademiet i Berlin fra han var 15 år gammel. Han ble frustrert over retningslinjene for undervisningen der, som han fant for stivbeint og akademisk, så han dro til Dresden og utviklet en egen stil som besto av en blanding av sin jødiske åndsarv med kubistisk anstrøk.