Ernst Toller var yngste sønn av korngrossisten Mendel Toller og hans hustru Ida, født Cohn. Ida drev kolonialvarehandelen i familiens besittelse. Familien tilhørte den relativt velhavende borgerlig-jødiske kretser i Samotschin, men led også under tidens antisemittisme. Dette foranlediget faren til å endre sitt fornavn til Max.