Gavranović forlot både Neuchâtel Xamax og Yverdon-Sport den 1. februar 2010, da han skrev under på en kontrakt med den tyske klubben FC Schalke 04. Under Mesterligaen 2010/2011 scoret Gavranović ett mål under Schalkes sammenlagtseier over Valencia CF i åttendedelsfinalen, og hjalp klubben videre til kvartfinalen. Han scoret også i kvartfinalen i DFB-Pokal i kampen mot 1. FC Nürnberg i januar 2011, og var med i troppen som til slutt vant turneringen etter finaleseier over MSV Duisburg i mai 2011. Med unntak av disse målene slet han med å etablere seg hos Schalke 04, i sterk konkurranse med blant andre Klaas-Jan Huntelaar og Raúl González, og fikk kun ti målløse seriekamper, før han i 2011/2012-sesongen ble lånt ut til Mainz 05.