Faits: A. X._ (ci-après aussi: le contribuable ou le recourant), ressortissant suisse né en 1945, a été domicilié dans le canton de Genève jusqu'au 22 août 2007, date à laquelle il a quitté le territoire suisse pour s'installer en Grèce. A partir du 1er novembre 1981, X._ a été employé par la société Y._ SA, puis par la société Z._ SA, sise à A._ (ci-après: la société). Le 21 juin 2007, X._ et la société ont conclu une convention aux termes de laquelle ils mettaient fin au contrat de travail avec effet au 31 août 2010, date à laquelle le premier aurait 65 ans révolus. Jusqu'à cette date, la société verserait au prénommé l'intégralité de son salaire, soit un montant total annuel brut de 600'000 fr. A partir du 1er septembre 2010, X._ serait mis au bénéfice des prestations des institutions de prévoyance de la société. Pour l'année 2007, un bonus de 1'200'000 fr. était garanti et serait versé à X._ au 31 janvier 2008. Un bonus du même montant lui serait versé pour 2008 au 31 janvier 2009, pour 2009 au 31 janvier 2010 et pour 2010 au 31 août 2010. Par ailleurs, la société libérait X._ de son obligation de travailler avec effet au 30 juin 2007. De son côté, ce dernier s'engageait envers la société à observer ses obligations non seulement de fidélité, mais aussi de confidentialité, en particulier à ne divulguer d'aucune manière à des tiers des informations dont il aurait pu avoir connaissance en raison des rapports de travail. Il restait soumis à ces obligations "après la fin des rapports contractuels au 31 août 2010". Il s'abstenait enfin, "jusqu'à la fin des rapports contractuels" de faire concurrence à la société de quelque manière que ce soit. La société était en droit d'interrompre immédiatement le versement du salaire et des bonus en cas de violation de l'une ou l'autre des obligations susmentionnées. A la demande de la société, l'Administration fiscale cantonale du canton de Genève lui a indiqué, par courrier du 25 août 2008, que le salaire du contribuable devait être imposé à la source. La société devait donc retenir et verser l'impôt dû, avec effet à partir du 1er septembre 2007. B. Le 30 janvier 2009, l'Administration fiscale cantonale a établi un bordereau rectificatif d'impôt à la source pour la période allant du 1er septembre au 31 décembre 2007, d'un montant de 65'834 fr. 15. Ce montant était calculé sur un revenu imposable de 193'915 fr., obtenu de la manière suivante : 200'040 fr. (revenu du contribuable) + 240 fr. (autres revenus) ./. 6'365 fr. (déduction 3e pilier A) = 193'915 fr. Le revenu de 200'040 fr. s'obtenait comme suit : 1'641'560 fr. (salaire brut total versé pendant toute l'année 2007 selon un certificat de salaire du 3 mars 2008, montant incluant un bonus de 1'040'000 fr.) ./. 1'441'520 fr. (salaire brut versé durant la période allant du 1er janvier au 31 août 2007 selon un autre certificat de salaire du 10 octobre 2007) = 200'040 fr. Sur réclamation du contribuable, ce prononcé a été confirmé par décision du 19 mai 2009. Le contribuable a déféré cette décision à la Commission cantonale de recours en matière administrative du canton de Genève (dont les compétences ont été reprises entre-temps par le Tribunal administratif de première instance du canton de Genève), qui a rejeté le recours le 11 octobre 2010. A l'encontre de cette décision, le contribuable a recouru au Tribunal administratif du canton de Genève - devenu entre-temps la chambre administrative de la Cour de justice du canton de Genève. Par arrêt du 21 juin 2011, cette autorité a rejeté le recours. En se fondant sur la Convention du 16 juin 1983 entre la Confédération suisse et la République hellénique en vue d'éviter les doubles impositions en matière d'impôts sur le revenu (RS 0.672.937.21; ci-après: CDI-GR), elle a considéré que la rémunération en cause relevait des rapports de travail entre le contribuable et la société et ne constituait pas la contre-prestation d'une prohibition de faire concurrence au sens des art. 340 ss CO. Par conséquent, elle tombait sous le coup non de l'art. 21, mais de l'art. 15 CDI-GR. Que le contribuable ait été libéré de son obligation de travailler ne changeait rien au fait que c'était l'emploi exercé en Suisse qui était la source des montants en cause. Dès lors, en vertu de la disposition précitée, la Suisse était compétente pour imposer ceux-ci. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 21 juin 2011 et de renvoyer le dossier à l'autorité de première instance pour qu'elle rende une nouvelle décision dans le sens des considérants. Il soutient que la rémunération en cause constitue une indemnité de non-concurrence. Or, selon la pratique suisse, la compétence pour imposer une telle indemnité serait définie par les dispositions des conventions de double imposition correspondant à l'art. 21 du Modèle de convention fiscale concernant le revenu et la fortune de l'OCDE (disponible dans sa version du 22 juillet 2010 à l'adresse "http://www.oecd-ilibrary.org/taxation/ modele-de-convention-fiscale-concernant-le-revenu-et-la-fortune version-abregee-2010_mtc_cond-2010-fr" [consulté le 28 mars 2012]; ci-après: MOCDE). En vertu de ces dispositions, l'Etat de la résidence serait compétent, soit en l'occurrence la Grèce. Il est vrai que selon la pratique d'autres Etats, comme la Belgique et l'Allemagne, et d'après certains auteurs, une indemnité de non-concurrence tomberait sous le coup des normes calquées sur l'art. 15 MOCDE. L'application de ces dispositions ne conduirait toutefois pas à un autre résultat, car, en vertu de celles-ci, l'imposition devrait intervenir là où l'ancien employé exécute son obligation de non-concurrence, soit au lieu de sa résidence. L'Administration fiscale cantonale et l'Administration fédérale des contributions proposent de rejeter le recours. L'autorité précédente s'en remet à justice quant à sa recevabilité et persiste au surplus dans les considérants et le dispositif de son arrêt.