Ved sesongslutt 2011/2012 gikk kontrakten med Schalke 04 ut, noe som gjorde han fri til å velge andre klubber. Gavranović signerte deretter under på en fireårskontrakt med FC Zürich i slutten av mai samme år.