Han er nå vokalist i det svenske rockebandet Glorious Bankrobbers, som han var med å starte i 1983 sammen med Jonas Pettersson og Mikael Jansson på gitar, Staffan Björkman på bassgitar og Jörgen Bergman på trommer. Mikael, Staffan og Jörgen sluttet bandet og ble ersattet av bassisten Pelham og trummeslageren Oden før innspillingen av det første albumet, "Glorious Bankrobbers" 1984' (producert av Kee Marcello). Glorious Bankrobbers turnerte i Sverige og spilte også i Norge og Finland og ble ansett for å være et av Sveriges mest eksplosive liveband på den tiden. Pelham sluttet i bandet 1987 og Lake hoppade in på bassgitar. Mikael fra den første oppsettningen av Glorious Bankrobbers ble med igjen og albumet ble innspilt in våren 1989. Tittelsporet ble vist på MTV:s Headbangers ball flere ganger. Albumet ledet til spillejobber på klubber og folkparker fra Malmö og opp til Tromsø. Glorious Bankrobbers var også support-band til Yngwie Malmsteen på Johanneshov isstadion. I november 1990 dro bandet til New York og gjorde en promotionturné på Manhattan/Queens/Staten Island (Cat Club, CBGBs, Spoodee Yodies, Wolf Club, Bond Street Cafe, Red Spot). Et livealbum fra Glorious Bankrobbers ble utgitt 1991. Glorious Bankrobbers ble oppløst 1991–1992 og Olle flyttet til Norge og Backstreet Girls.