Faits: A. X._, domicilié en France, a travaillé durant l'année 2008 à Genève. Le 30 janvier 2009, il a reçu l'attestation-quittance relative à l'année fiscale 2008, dont il ressortait que l'impôt à la source sur son revenu de CHF 491'617.- s'était élevé à CHF 166'980.- au taux de 33,95 %. B. Par courrier daté du 31 mars 2009, remis à la poste le 4 avril 2009, X._ a demandé à l'Administration fiscale cantonale de Genève (ci-après l'Administration cantonale) de rectifier son imposition à la source pour 2008, afin de tenir compte des pensions alimentaires qu'il avait versées à son ex-épouse et à leur fille, ainsi que du versement qu'il avait effectué à l'adresse de son institution de prévoyance individuelle liée. Le 11 février 2010, l'Administration cantonale a déclaré cette réclamation irrecevable, car tardive. X._ a recouru contre cette décision auprès de la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance du canton de Genève (ci-après le TAPI) depuis le 1er janvier 2011. Par jugement du 9 mars 2012, le TAPI a admis le recours et renvoyé la cause à l'Administration cantonale pour qu'elle entre en matière sur la réclamation. L'Administration cantonale a recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice genevoise (ci-après la Cour de justice). Par arrêt du 12 juin 2012, celle-ci a admis le recours, annulé le jugement du TAPI du 9 mars 2012 et rétabli la décision de l'Administration cantonale du 11 février 2010. La Cour de justice a retenu, en substance, que la retenue excessive au titre de l'impôt à la source n'était pas due, en l'espèce, à l'erreur d'un tiers, ce qui aurait justifié une protection particulière du contribuable. Elle était au contraire provoquée par des déductions que le contribuable lui-même devait faire valoir dans le délai légal instauré par l'art. 137 LIFD (RS 642.11), ce qu'il avait omis de faire. C. Par acte du 10 juillet 2012, X._ dépose un recours au Tribunal fédéral à l'encontre de l'arrêt précité du 12 juin 2012. Il conclut à l'annulation de l'arrêt attaqué et au rétablissement du jugement du TAPI du 9 mars 2012. La Cour de justice a renoncé à formuler des observations, s'en remet à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration cantonale conclut au rejet du recours, avec suite de frais. L'Administration fédérale des contributions s'est ralliée à la détermination de l'Administration cantonale et conclut au rejet du recours.