Roller ble født i Brno i Mähren. Han studerte først malerkunst ved kunstakademiet i Wien under Christian Griepenkerl og Eduard Peithner von Lichtenfels, men ble etter hvert misfornøyd med akademiets tradisjonalisme. I 1897 grunnla han Wiener Sezession sammen med Koloman Moser, Joseph Maria Olbrich, Josef Hoffmann, Gustav Klimt og andre kunstnere som avviste den utbredte akademiske kunststilen. Han ble professor i tegnekunst ved Universität für angewandte Kunst Wien (Kunstgewerbeschule) i 1899, og president for Wiener Sezession i 1902.