Toivonen begynte sin profesjonelle fotballkarriere hos den lokale klubben Degerfors IF i 2005, som da kjempet om å unngå nedrykk fra Superettan. I forkant av 2006-sesongen ble Toivonen hentet til Örgryte IS, som da spilte i Allsvenskan under ledelse av trener Zoran Lukić. Lukić spådde ved Toivonens ankomst at han hadde kvaliteter nok til å kunne spille på det svenske herrelandslaget innen 2008. Han etablerte seg raskt på førstelaget, og spilte totalt 25 seriekamper og scoret seks mål i sin første sesong, men klarte ikke å forhindre at klubben rykket ned. Han ble også tildelt prisen som årets beste gjennombrudd ved den svenske fotballgallaen i september 2006.