I sin tidlige karriere var Roller mest aktiv som grafisk designer og tegner. Han designet en rekke omslag og vignetter for sidene i Sezession-tidsskriftet , samt plakatene for den fjerde, fjortende og sekstende Sezession-utstillingen. Han tegnet også oppsettet til utstillingene selv. Noen av verkene hans, spesielt bokstavene, påvirket senere psykedelisk konsertplakatkunst.