Faits:
A. X._ est domicilié à Londres où il bénéficie de l'imposition sur le principe de remittance basis. Le 10 mai 2007, il a reçu une prestation en capital versée par la Fondation Pictet de libre passage. Un impôt à la source de CHF 116'865.96 a été retenu au titre de l'impôt fédéral direct ainsi que de l'impôt cantonal et communal.
Le 5 septembre 2007, X._ a demandé à l'Administration fiscale du canton de Genève (ci-après l'Administration cantonale) le remboursement de l'impôt à la source prélevé. Il a joint à cette requête un formulaire comprenant une attestation des autorités fiscales britanniques du 29 août 2007 selon laquelle celles-ci avaient connaissance du versement en capital précité.
Le 20 novembre 2007, l'Administration cantonale a demandé à X._ de lui faire parvenir une attestation des autorités fiscales britanniques certifiant que le capital avait été effectivement transféré en Grande-Bretagne. Le 12 juin 2008, X._ a informé l'Administration cantonale qu'il estimait que le transfert du capital n'était pas pertinent pour déterminer si l'impôt à la source devait lui être restitué.
B. Par décision du 7 mai 2009, l'Administration cantonale a maintenu l'imposition de X._ au motif que les autorités fiscales de Grande-Bretagne n'avaient pas attesté que le capital avait été transféré en tout ou en partie dans ce pays.
Le 14 mai 2009, X._ a recouru contre la décision de l'Administration cantonale. Par décision du 12 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a admis ce recours et ordonné à l'Administration cantonale de restituer à X._ l'impôt à la source de CHF 116'865.96 plus intérêts au taux légal.
Par acte du 16 décembre 2010, l'Administration cantonale a recouru contre cette décision. La Chambre administrative de la Cour de justice (ci-après la Cour de justice) a statué le 12 avril 2011. Elle a admis le recours, annulé la décision de la Commission cantonale de recours et confirmé la décision de l'Administration cantonale du 7 mai 2009.
C. Le 23 mai 2011, X._ a déposé un recours en matière de droit public auprès du Tribunal fédéral contre la décision de la Cour de justice. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, à la confirmation de la décision de la Commission cantonale de recours du 12 novembre 2010 et à ce qu'il soit ordonné à l'Administration cantonale de lui restituer l'impôt à la source de CHF 116'865.96 plus intérêts au taux légal.
La Cour de justice a renoncé à déposer des observations. Par courrier du 8 août 2011, l'Administration cantonale a conclu au rejet du recours, avec suite de frais. Par courrier du 13 octobre 2011, l'Administration fédérale des contributions a pris les mêmes conclusions.

Considérant en droit:
1. Le recours porte sur une décision finale (<ref-law>) d'une autorité judiciaire supérieure ayant statué en dernière instance cantonale dans une cause de droit public et qui ne tombe pas sous le coup d'une clause d'exception de l'article 83 LTF. Le recours en matière de droit public est par conséquent ouvert (cf. art. 82 let. a et 86 al. 1 let. d et al. 2 LTF). Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification. Il a ainsi qualité pour recourir (cf. <ref-law>). Déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 et <ref-law>), le recours en matière de droit public est recevable.
En revanche, dans la mesure où le recourant demande la confirmation de la décision de la Commission cantonale de recours du 12 novembre 2010, son recours n'est pas recevable en raison de l'effet dévolutif complet du recours déposé auprès de la Cour de justice (<ref-ruling> consid. 1.2 p. 543, 136 II 470 consid. 1.3 p. 474).
2. 2.1 En présence d'un état de fait relevant de la double-imposition internationale, il convient d'établir en premier lieu si le droit interne prévoit une imposition (cf. XAVIER OBERSON, Précis de droit fiscal international, 3e éd. 2009, n° 120 p. 43). Ce n'est que lorsqu'il est établi qu'un impôt est dû en application du droit interne qu'il convient de se demander, dans un second temps, si cet impôt est limité par une convention de double-imposition (cf. PETER LOCHER, Einführung in das internationale Steuerrecht der Schweiz, 3e éd 2005, p. 95). Une convention de double-imposition ne peut ainsi ni créer ni élargir une imposition mais seulement restreindre une imposition prévue par le droit national (<ref-ruling> consid. 3 in fine p. 366; arrêt 2A.421/2000 du 11 mai 2001 consid. 3c).
2.2 Il n'est en l'espèce pas contesté que la perception d'un impôt à la source sur la prestation de libre-passage reçue par le recourant est prévue par le droit interne suisse.
Conformément à l'art. 5 al. 1 let. e LIFD (RS 642.11) à de l'art. 4 al. 2 let. e de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), les personnes physiques qui, au regard du droit fiscal, ne sont ni domiciliées ni en séjour en Suisse sont assujetties à l'impôt à raison du rattachement économique lorsqu'elles perçoivent des revenus provenant d'institutions suisses de droit privé ayant trait à la prévoyance professionnelle ou d'autres formes reconnues de prévoyance individuelle liée. En ce qui concerne l'impôt fédéral direct, l'assujettissement fondé sur un rattachement économique est limité aux parties du revenu qui sont imposables en Suisse (cf. <ref-law>). Bien que la LHID ne le mentionne pas expressément, le même principe s'applique aux impôts cantonaux et communaux (cf. MAJA BAUER-BALMELLI/MARKUS NYFFENEGGER, in Kommentar zum Schweizerischen Steuerrecht I/1, 2e éd. 2002, n° 17 ad <ref-law>).
Lorsque le bénéficiaire d'une prestation en capital provenant d'une institution suisse de droit privé de prévoyance professionnelle est domicilié à l'étranger, cette prestation est soumise à un impôt à la source (<ref-law>, art. 35 al. 1 let. g LHID et art. 11 al. 1 de la loi genevoise sur l'imposition à la source des personnes physiques et morales du 23 septembre 1994 [LISP; RSG D 3 20]). L'impôt à la source est retenu et versé à l'autorité compétente par le débiteur de la prestation imposable (<ref-law> et <ref-law>).
2.3 Ni la LIFD, ni la LHID, ni la LISP genevoise ne prévoient un remboursement de l'impôt perçu à la source. En revanche, selon l'art. 11 de l'ordonnance du 19 octobre 1993 sur l'imposition à la source dans le cadre de l'impôt fédéral direct (OIS; RS 642.118.2), l'impôt à la source prélevé sera remboursé sans intérêt lorsque le bénéficiaire de la prestation en capital en fait la demande dans les trois ans depuis l'échéance de la prestation (let. a) et joint à sa demande une attestation de l'autorité fiscale compétente de l'autre État contractant, certifiant qu'elle a connaissance du versement de ce capital (let. b). L'art. 10 al. 2 du règlement genevois d'application de la loi sur l'imposition à la source des personnes physiques et morales (RISP; RSG D 3 20.01) précise cette règle comme suit:
"Lorsque l'imposition s'avère contraire à des dispositions d'une convention de double-imposition, l'impôt à la source prélevé est remboursé sans intérêt si le bénéficiaire de la prestation en capital en fait la demande dans les trois ans depuis l'échéance de la prestation en joignant à sa demande une attestation de l'autorité fiscale compétente de l'autre État contractant certifiant qu'elle a connaissance du versement de ce capital."
L'art. 10 al. 2 RISP décrit ainsi explicitement ce qui est sous-entendu dans l'<ref-law>, à savoir que, dans la mesure où ni le droit fédéral harmonisé ni la législation relative à l'impôt fédéral direct ne prévoient le remboursement de l'impôt à la source, un tel remboursement ne peut se fonder que sur des dispositions d'une convention de double-imposition applicable le cas échéant.
2.4 En l'espèce, le recourant a formé le 5 septembre 2007 une demande de remboursement de l'impôt à la source prélevé le 11 mai 2007. Le délai de trois ans des <ref-law> et 10 al. 2 RISP est ainsi respecté. En outre, le recourant a annexé à sa demande une attestation des autorités fiscales britanniques du 29 août 2007 selon laquelle elles avaient connaissance du versement en capital en cause.
Le litige porte donc sur la question de savoir si le prélèvement de l'impôt à la source par la Suisse sur la prestation de libre-passage versée au recourant s'avère contraire à des dispositions d'une convention de double-imposition, cette condition devant être réalisée pour que le recourant puisse être remboursé.
3. 3.1 La présente affaire doit être examinée sous l'angle des dispositions de la Convention de double-imposition avec le Royaume-Uni de Grande-Bretagne du 8 décembre 1977 (RS 0.672.936.712; ci-après CDI-GB). Au moment de la perception de l'impôt dont le remboursement est demandé, le recourant résidait en effet en Grande-Bretagne (art. 1 CDI-GB). On se fondera par ailleurs sur la teneur de ce texte en vigueur avant la modification du 26 juin 2007, entrée en force le 22 décembre 2008 (RO 2009 843), puisque le recourant réclame le remboursement d'un impôt à la source perçu le 11 mai 2007, soit avant l'entrée en vigueur de cette modification de la CDI-GB.
3.2 L'art. 18 § 1 CDI-GB prévoit ce qui suit (RO 1978 1476):
"Sous réserve des dispositions du paragraphe 2 de l'article 19, les pensions et autres rémunérations similaires au titre d'un emploi antérieur ainsi que les rentes payées à un résident d'un État contractant ne sont imposables que dans cet État."
Pour sa part, l'art. 27 § 1 CDI-GB a la teneur suivante:
"Lorsque, en vertu d'une disposition de la présente Convention, un dégrèvement de l'impôt suisse est accordé pour un revenu ayant sa source en Suisse, et que, suivant la législation en vigueur dans le Royaume-Uni, une personne physique n'est soumise à l'impôt pour ce revenu que pour la partie transférée ou touchée dans le Royaume-Uni et non pour le montant total, le dégrèvement qui doit être accordé en Suisse d'après la Convention ne s'applique qu'à la partie de ce revenu transférée ou touchée dans le Royaume-Uni."
Le recourant et la Cour de justice divergent sur l'interprétation à donner à l'art. 27 § 1 CDI-GB et sur ses effets sur l'art. 18 § 1 CDI-GB. D'après la Cour de justice, dès lors que le droit fiscal britannique prévoit que les revenus réalisés hors du territoire de la Grande-Bretagne n'y sont imposés que dans la mesure où ils y sont transférés, une double-imposition n'est possible que s'il y a transfert. En application de l'art. 27 § 1 CDI-GB, le dégrèvement en Suisse ne peut par conséquent être accordé que si les fonds ont été transférés en Grande-Bretagne. Le recourant n'ayant pas attesté du transfert de sa prestation de libre-passage en Grande-Bretagne, l'impôt à la source retenu en Suisse ne peut pas lui être restitué. Selon le recourant, l'art. 27 § 1 CDI-GB ne saurait s'appliquer à son cas, car il ne concerne que les revenus qui sont expressément exonérés à teneur du statut de remittance basis et non aux revenus exonérés à un autre titre. Or, le droit interne britannique n'impose en aucun cas la prestation de libre-passage dont il a bénéficié, qu'elle soit ou non transférée en Grande-Bretagne. Partant, c'est l'art. 18 § 1 CDI-GB qui s'applique, ce qui exclut l'imposition en Suisse.
3.3 Selon la jurisprudence du Tribunal fédéral, les règles de la Convention de Vienne du 23 mai 1969 sur le droit des traités (RS 0.111; ci-après la Convention) doivent être appliquées pour interpréter les conventions de double-imposition (cf. arrêt 2A.416/2005 du 4 avril 2006 consid. 3.1). L'art. 26 de la Convention prévoit que tout traité en vigueur lie les parties et doit être exécuté par elles de bonne foi. Selon son art. 31 § 1, un traité doit être interprété de bonne foi suivant le sens ordinaire à attribuer aux termes du traité (interprétation littérale) dans leur contexte (interprétation systématique) et à la lumière de son objet et de son but (interprétation téléologique). En plus du contexte (art. 31 § 2 de la Convention), il sera tenu compte, notamment, de tout accord ultérieur intervenu entre les parties au sujet de l'interprétation du traité ou de l'application de ses dispositions (art. 31 § 3 let. a). Les travaux préparatoires et les circonstances dans lesquelles le traité a été conclu (interprétation historique) constituent des moyens complémentaires d'interprétation lorsque l'interprétation donnée conformément à l'art. 31 de la Convention, laisse le sens ambigu ou obscur ou conduit à un résultat qui est manifestement absurde ou déraisonnable (art. 32 de la Convention).
S'agissant des conventions de double-imposition, on peut résumer ces principes d'interprétation comme suit. Le texte est le point de départ et l'élément central de l'interprétation. En ce qui concerne l'objet et le but du traité, il faut partir de l'idée que les conventions de double-imposition visent principalement à lutter contre la double-imposition (cf. OBERSON, op. cit., n° 93 p. 32).
S'agissant des conventions de double-imposition, on peut résumer ces principes d'interprétation comme suit. Le texte est le point de départ et l'élément central de l'interprétation. En ce qui concerne l'objet et le but du traité, il faut partir de l'idée que les conventions de double-imposition visent principalement à lutter contre la double-imposition (cf. OBERSON, op. cit., n° 93 p. 32).
3.4 3.4.1 En l'occurrence, le texte de l'art. 27 § 1 CDI-GB est clair en ce sens qu'il se rapporte sans conteste aux situations où un contribuable britannique bénéficie d'une imposition selon le principe de remittance basis. Le système britannique offre la possibilité à certaines personnes bénéficiant d'un statut de résident particulier de n'être imposées que sur les revenus étrangers transférés en Grande-Bretagne, les éléments de revenu non transférés en Grande-Bretagne y étant exemptés d'imposition (cf. HMRC IR20 - Residents and non-residents/Liability to tax in the United Kingdom, www.hmrc.gov.uk/ leaflets/c9.htm consulté le 11 novembre 2011, § 5.1 p. 18 et § 5.11 p. 21; MAJA BAUER-BALMELLI/SANNA MAAS, Aufwandbesteuerung und englisches Konzept des Steuerstatus "resident but not domiciled" - ein Vergleich, in Steuerrecht 2007, § 3.3 p. 342 s.). Ainsi, selon le texte de l'art. 27 § 1 CDI-GB, pour les personnes soumises à ce régime de remittance basis, le dégrèvement en Suisse n'est accordé que pour la partie du revenu transférée ou touchée en Grande-Bretagne.
3.4.2 Du point de vue systématique, l'art. 27 § 1 CDI-GB constitue une lex specialis applicable aux personnes physiques jouissant du statut fiscal particulier de remittance basis en Grande-Bretagne. L'intitulé de l'art. 27, "Dispositions diverses", doit dans ce contexte être compris comme une règle limitant l'application des autres dispositions de la convention, notamment son art. 18 § 1 (cf. WALDBURGER, op. cit., ch. 4 p. 142; OBERSON, op. cit., n° 308-309 p. 96 s.). En conséquence, pour les personnes imposées selon le statut de remittance basis, le bénéfice de la convention de double-imposition n'est octroyé qu'en ce qui concerne les revenus de source suisse transférés en Grande-Bretagne (cf. BAUER-BALMELLI/MAAS, op. cit., § 3.5 p. 344 s.). Cette conséquence est logique puisque le bénéficiaire du statut de remittance basis n'est de toute façon pas imposé en Grande-Bretagne pour les revenus qui n'y sont pas transférés, de sorte qu'il est inutile de le faire bénéficier de la convention de double-imposition pour de tels revenus. En conclusion, sous cet angle d'interprétation aussi, c'est l'art. 27 § 1 et non l'art. 18 § 1 CDI-GB qui s'applique puisque le recourant bénéficie en Grande-Bretagne du statut de remittance basis.
Toujours sous l'angle systématique, il est intéressant de noter une différence de formulation entre l'art. 27 § 1 CDI-GB, qui prévoit l'application aux revenus transférés en Grande-Bretagne, et le modèle de texte proposé par l'OCDE qui suggère, pour les personnes bénéficiant d'un statut de remittance basis, de n'appliquer les dispositions de la convention de double-imposition qu'à la part du revenu qui est imposée dans l'État de résidence (cf. OCDE, Modèle de convention fiscale concernant le revenu et la fortune, version abrégée du 15 juillet 2005, n° 26.1 ad art. 1 p. 66). Or, la convention de double-imposition avec la Grande-Bretagne du 30 septembre 1954 contenait, pour remédier à la double non-imposition résultant du statut de remittance basis, une clause aux termes de laquelle les revenus de source suisse n'étaient exempts des impôts suisses que dans la mesure où la condition de l'imposition en Grande-Bretagne était remplie (cf. Message du Conseil fédéral du 22 octobre 1954 concernant l'approbation de la convention conclue entre la Suisse et la Grande-Bretagne en vue d'éviter les doubles impositions en matière d'impôts sur le revenu, FF 1954 685, p. 689). Depuis la révision de la CDI-GB de 1966, la convention ne contient plus de clause subordonnant le dégrèvement conventionnel en Suisse à l'imposition effective du revenu grevé en Grande-Bretagne, mais seulement à son transfert dans ce pays (cf. Message du Conseil fédéral du 12 juillet 1966 concernant l'approbation du protocole signé par la Suisse et la Grande-Bretagne à l'effet de modifier la convention de 1954 en vue d'éviter les doubles impositions, FF 1966 1345, p. 1346). Il importe donc peu, selon le système introduit en 1966, que le droit interne britannique exonère les prestations de libre-passage en capital, dès lors que désormais le critère déterminant au sens de l'art. 27 § 1 CDI-GB est le transfert des fonds et non leur imposition effective. Partant, le modèle de texte proposé par l'OCDE ne justifie pas de s'écarter du texte de l'art. 27 § 1 CDI-GB.
Il est vrai que l'art. 27 § 1 CDI-GB est ambigu lorsqu'il est lu en conjonction avec l'<ref-law>. Cette disposition demande en effet au contribuable de joindre à sa demande une attestation de l'autorité fiscale compétente de l'autre État contractant, certifiant qu'elle a connaissance du versement de ce capital, mais n'exige pas d'attestation relative au transfert dans l'État de résidence.
Comme déjà indiqué, l'art. 27 § 1 CDI-GB est une lex specialis au sein-même de la CDI-GB (cf. supra consid. 3.4.2). Elle l'est donc a fortiori par rapport à l'<ref-law> qui est conçu pour régler de manière générale la demande de remboursement de l'impôt à la source, alors que l'art. 27 § 1 CDI-GB règle la situation particulière du remboursement demandé par un résident de Grande-Bretagne bénéficiant du statut de remittance basis. Enfin, le principe de la hiérarchie des normes commande également de donner la prééminence à l'art. 27 § 1 CDI-GB dès lors qu'une ordonnance du Conseil fédéral ne saurait déroger à un accord international (cf. <ref-ruling> consid. 3.1 p. 249).
3.4.3 Au plan de l'interprétation téléologique, on peut relever que la règle de l'art. 27 § 1 CDI-GB a été introduite pour éviter une absence d'imposition (cf. Message du Conseil fédéral du 11 janvier 1978 concernant une convention de double-imposition avec la Grande-Bretagne, FF 1978 193, p. 205). C'est en connaissance du régime fiscal britannique particulier découlant du statut de remittance basis, et afin d'en limiter les effets, qu'il a été prévu de n'accorder les avantages de la convention de double-imposition que pour les montants effectivement transférés en Grande-Bretagne. Or, le fait que les principes d'interprétation du droit interne et de la Convention n'aboutissent pas à une double-imposition, mais permettent d'éviter une double non-imposition, ne contrevient pas à l'objectif de la CDI-GB (cf. ROBERT WALDBURGER, Zur Remittance Clause im DBA-UK, in IFF Forum für Steuerrecht 2003, ch. 3.4.4 p. 142).
3.5 Selon l'état de fait non contesté retenu par la Cour de justice, le recourant bénéficie en Grande-Bretagne de l'imposition sur le principe de remittance basis. Aux termes de l'interprétation dégagée ci-dessus, l'art. 27 § 1 CDI-GB lui est par conséquent applicable et les montants perçus ne sont exonérés de l'impôt en Suisse que dans la mesure où il est établi qu'ils ont été transférés en Grande-Bretagne. Le recourant n'ayant pas apporté cette preuve en ce qui concerne tout ou partie de sa prestation de libre passage, une restitution de l'impôt à la source n'est pas prévue en application de la CDI-GB. La perception de l'impôt à la source en Suisse n'est par conséquent pas contraire à la CDI-GB, de sorte qu'aucun remboursement ne saurait intervenir en application de l'<ref-law> ou de l'art. 10 al. 2 RISP (cf. supra consid. 2.3). L'impôt à la source perçu en Suisse ne doit par conséquent pas être restitué.
4. Les arguments que le recourant oppose à cette interprétation ne sont pas convaincants.
4.1 Le recourant relève en premier lieu que selon le droit interne britannique, quel que soit le statut fiscal du bénéficiaire, une prestation en capital provenant d'une institution de prévoyance suisse, qu'elle soit transférée ou non en Grande-Bretagne, n'est pas imposée. Il voudrait en déduire que, dans ces conditions, une des clauses d'application de l'art. 27 § 1 CDI-GB ferait défaut, à savoir que la personne concernée doit être soumise à l'impôt en Grande-Bretagne pour ce revenu. Il expose que si le but de l'art. 27 § 1 CDI-GB est d'éviter qu'une personne ne jouisse des avantages de la convention tout en bénéficiant d'un statut d'imposition privilégiée, il ne vise pas les revenus qui sont exonérés parce que le droit interne britannique applicable à tous les contribuables ne les impose pas.
4.1.1 Selon le principe de l'effet négatif des conventions de double-imposition, ces conventions ne contiennent que des règles visant à limiter les pouvoirs d'imposition des États (OBERSON, op. cit., n° 119 p. 43). L'État désigné par la convention a alors le pouvoir, mais pas l'obligation de prélever un impôt selon son droit interne (cf. arrêt 2A.421/2000 du 11 mai 2001 consid. 3c). En d'autres termes, il faut distinguer l'attribution de la compétence d'imposer un élément de revenu ou de fortune, qui est réglée par la convention de double-imposition, de l'exercice de cette compétence, qui relève, sous réserve de dispositions particulières fixées dans la convention, du droit fiscal interne des États contractants (arrêt 2C_625/2008 du 30 janvier 2009 consid. 4.2). Par le biais de l'effet négatif accordé aux conventions de double-imposition, un État contractant peut ainsi, pour des motifs de politique fiscale, ne pas faire usage de son droit d'imposer un élément de revenu ou de capital qui lui est pourtant attribué par une convention (cf. ROBERT DANON/HUGUES SALOMÉ, L'élimination de la double non-imposition en tant qu'objet et but des CDI, in Cahiers de droit fiscal international, 2004, vol. 89a, p. 678).
En l'espèce, comme on l'a vu, l'impôt à la source prélevé en Suisse est remboursé lorsque l'imposition s'avère contraire à des dispositions d'une convention de double-imposition (cf. supra consid. 2.3). Le fait que le droit interne britannique applicable en cas de taxation ordinaire exonère les prestations de libre-passage, qu'elles soient ou non transférées en Grande-Bretagne (cf. HMRC IR20, § 5.16 p. 25 s.), ne joue en revanche aucun rôle sous l'angle de l'effet négatif des conventions de double-imposition et le recourant ne saurait en tirer un argument à son avantage. En effet, dès lors que la CDI-GB accorde à la Suisse le droit d'imposer un revenu, le régime fiscal auquel ce revenu serait soumis en Grande-Bretagne devient sans pertinence. Tenir compte du droit interne de l'État auquel la convention de double-imposition n'accorde pas le droit d'imposer reviendrait à détourner les principes applicables à l'interprétation des conventions de double-imposition.
4.1.2 Le recourant se plaint en définitive d'être désavantagé par son statut de remittance basis, dès lors que, s'il n'en bénéficiait pas, il aurait pu se prévaloir d'une exonération par le jeu de l'application de l'art. 18 § 1 CDI-GB et du droit interne britannique. Son raisonnement revient à examiner l'application de la convention de double-imposition en fonction du droit interne de l'État auquel la convention de double-imposition n'accorde pas le droit d'imposer, ce qui n'est pas pertinent.
Certes, si le recourant ne bénéficiait pas du statut privilégié de remittance basis, la compétence d'imposer la prestation serait revenue à la Grande-Bretagne en application de l'art. 18 § 1 CDI-GB et il aurait été exonéré. Le recourant ne peut toutefois à la fois bénéficier du statut de remittance basis et chercher à se prévaloir de l'art. 18 § 1 CDI-GB parce qu'il lui est plus favorable. Au demeurant, s'il avait choisi de transférer ses fonds en Grande-Bretagne, alors, en vertu de l'art. 27 § 1 CDI-GB, il aurait aussi pu bénéficier de la situation favorable prévue par le droit interne britannique. N'ayant pas choisi cette option, il ne peut chercher à obtenir l'exonération prévue en droit interne britannique par une autre voie.
4.2 Le recourant fait par ailleurs valoir que la Suisse a rencontré le même problème lié à une double non-imposition avec la France mais que celle-ci s'est engagée dans la voie inverse de celle convenue avec la Grande-Bretagne en ce sens qu'elle impose dorénavant elle-même les prestations en capital reçues par des résidents français de la part d'institutions de prévoyance suisses.
Point n'est besoin d'examiner la réglementation contenue dans la Convention du 9 septembre 1966 entre la Suisse et la France en vue d'éliminer les doubles impositions en matière d'impôts sur le revenu et sur la fortune et de prévenir la fraude et l'évasion fiscale (RS 0.672.934.91). En effet, chaque convention de double-imposition fait l'objet de négociations entre les deux États concernés, de sorte que le résultat final de l'une ne correspond pas forcément aux solutions de l'autre. En outre, chaque convention de double-imposition est conclue en tenant compte des particularités du régime fiscal des deux États contractants et les solutions trouvées sont par conséquent aussi diverses que les régimes fiscaux. On ne saurait donc déduire d'une convention que la solution choisie dans l'autre convention n'est pas adéquate ou voulue.
4.3 Enfin, le recourant relève qu'à sa connaissance et sur la base de la pratique de l'Administration fédérale des contributions, les impôts à la source ont toujours été remboursés aux résidents britanniques qui en faisaient la demande.
La pratique d'une administration publique n'a pas de valeur normative, mais le principe de l'égalité et de la sécurité du droit exige qu'une pratique bien établie soit appliquée à tous les administrés, à moins que des motifs sérieux et objectifs n'imposent d'en changer (cf. MARKUS REICH, Steuerrecht, 2009, § 3 n° 53; ERNST BLUMENTSTEIN/PETER LOCHER, System des schweizerischen Steuerrechts, 6e éd. 2002, p. 29). Les motifs de changement doivent être d'autant plus sérieux que la pratique suivie jusque-là est ancienne (<ref-ruling> consid. 4a p. 471).
Encore faut-il qu'il existe réellement une pratique bien établie. Or, en l'espèce, le recourant n'apporte aucun élément permettant de conclure à un usage constant de l'Administration fédérale des contributions, se contentant d'en alléguer abstraitement l'existence. De son côté, l'Administration fédérale des contributions, dans sa détermination du 13 octobre 2011, ne fait pas état d'une telle pratique. Dans ces conditions, faute d'un usage avéré, point n'est besoin d'examiner si le recourant pourrait en tirer un argument à l'appui de sa position.
5. Mal fondé, le recours en matière de droit public doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 aI. 1 LTF) et n'a pas droit à des dépens (<ref-law>), pas plus que l'Administration cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à CHF 4'000.-, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale et à la Cour de justice du canton de Genève, Chambre administrative, 1ère section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 13 décembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti