Faits: A. X._ (ci-après aussi: le contribuable ou le recourant) a travaillé, du 1er août 1998 au 30 juin 2007, pour la banque A._ SA (ci-après: la banque), sise à Z._, en qualité de directeur adjoint. Au titre de sa rémunération, X._ a participé à un plan d'intéressement ("Employee Stock Compensation Plan") consistant notamment en l'octroi d'actions de Y._ (société sise dans l'Etat du Delaware), bloquées pendant quatre ans, durant lesquels il ne pouvait en disposer d'une quelconque manière. Pendant cette période de blocage, les titres étaient détenus par Y._ pour le compte de leur bénéficiaire, ce dernier disposant du droit de vote et percevant les dividendes afférents aux actions. Si le contrat de travail de l'intéressé prenait fin, celui-ci perdait son droit aux actions dont la période de blocage n'était pas échue. Le même plan prévoyait également l'octroi d'options bloquées pendant une période variable, à l'issue de laquelle celles-ci pouvaient être exercées. Par courrier du 29 juin 2007, la banque a informé X._ que les certificats de salaire établis en sa faveur pour les années 2003, 2004 et 2005 comportaient des erreurs en relation notamment avec les options et les actions bloquées qui lui avaient été octroyées. Pour l'année 2003, 472 options imposables à l'attribution lui avaient été octroyées à une valeur de 10,134 fr. par option. Le revenu correspondant, soit 4'783 fr., n'avait pas été mentionné dans le certificat de salaire. X._ avait par ailleurs reçu 366 actions bloquées qui étaient imposables à l'attribution avec un abattement de 20,791 % et non de 25,274 % comme indiqué sur le certificat de salaire. La rectification entraînait un revenu supplémentaire de 1'652 fr. Le versement en novembre 2003 d'un dividende de 156 fr. afférent aux actions bloquées n'avait pas non plus été déclaré. Début 2003, la banque avait décidé de réduire de deux ans la période de blocage pour les actions attribuées en 2001 et 2002 et l'abattement avait été recalculé. Il s'ensuivait un revenu supplémentaire de 3'234 fr. pour l'intéressé, qui avait reçu 65 actions bloquées en 2001 et 291 en 2002. Un nouveau certificat de salaire 2003 avait été émis, qui incluait ces suppléments représentant au total 9'826 fr. Pour l'année 2004, l'intéressé avait reçu 328 actions bloquées, imposables à l'attribution avec un abattement de 20,791 %. Celles-ci n'avaient pas été mentionnées sur le certificat de salaire. Un nouveau document avait été établi, intégrant un revenu supplémentaire de 18'733 fr. En 2005, X._ avait reçu 882 actions bloquées, imposables à l'attribution avec un abattement de 20,791 %. Le revenu correspondant n'ayant pas été mentionné sur le certificat de salaire, un nouveau document avait été établi, intégrant un revenu supplémentaire de 48'850 fr. Toujours selon le courrier du 29 juin 2007, il était probable que les autorités fiscales revoient la taxation de X._ sur la base des nouveaux certificats émis pour 2003, 2004, et 2005. Le cas échéant, elles le contacteraient. Par courrier recommandé du 29 août 2007, l'Administration fiscale cantonale genevoise a informé X._ de l'ouverture de procédures de rappel d'impôt et de soustraction fiscale pour les périodes fiscales 2001 à 2005. Elle avait constaté que la banque lui avait octroyé des droits de participation ainsi que des actions bloquées, qui n'avaient pas été correctement déclarés. Après avoir donné à X._ la possibilité de se déterminer, l'Administration fiscale genevoise l'a avisé, le 16 janvier 2008, que les procédures de rappel d'impôt étaient achevées tant pour l'impôt fédéral direct (ci-après: IFD) que pour l'impôt cantonal et communal (ICC). Elle a joint six bordereaux rectificatifs de rappel d'impôt, portant sur les montants suivants: IFD Supplément Intérêts de retard Total 2003 1'280.45 135.70 1'416.15 2004 2'468.40 172.60 2'641.-- 2005 6'441.60 236.20 6'677.80 ICC 2003 2'818.80 251.60 3'070.40 2004 5'647.50 329.70 5'797.20 2005 14'557.05 374.65 14'931.70 B. A l'encontre des bordereaux de rappel d'impôt pour l'IFD et l'ICC des périodes fiscales 2004 et 2005, X._ a formé une réclamation qui a été rejetée par décisions du 28 avril 2008. Contre ces décisions, le contribuable a recouru respectivement à la Commission cantonale de recours de l'impôt fédéral direct et à la Commission cantonale de recours en matière d'impôts du canton de Genève (intégrées par la suite dans la Commission cantonale de recours en matière administrative, dont les compétences ont été reprises entre-temps par le Tribunal administratif de première instance du canton de Genève). Son acte portait uniquement sur l'imposition des actions bloquées, à l'exclusion de celle des options. Par décision du 26 avril 2010, rendue après avoir joint les procédures concernant l'IFD et l'ICC, la Commission cantonale de recours en matière administrative a admis les recours et annulé les prononcés attaqués. Elle a considéré que l'attribution des actions bloquées au contribuable était soumise à la condition suspensive que celui-ci se trouve toujours au service de la banque à la fin de la période de blocage. Comme X._ avait quitté la banque avant le terme de la période en question s'agissant des actions octroyées en 2004 et 2005, il n'avait eu sur celles-ci que des expectatives qui ne constituaient pas un revenu imposable. L'Administration fiscale genevoise a déféré cette décision au Tribunal administratif, devenu entre-temps la Chambre administrative de la Cour de justice du canton de Genève, qui a admis le recours par arrêt du 10 janvier 2012. Les juges cantonaux ont considéré que le régime des actions bloquées (détention par la banque pour le compte du contribuable, lequel exerce les droits sociaux et perçoit les dividendes, restriction du droit d'en disposer) était comparable à celui de titres consignés. Lors de l'attribution des actions bloquées, le contribuable n'avait pas seulement acquis une expectative, mais s'était trouvé enrichi, de sorte que la prestation était imposable à ce moment-là, la restriction du droit de disposer des actions étant dûment prise en compte par l'abattement. C. A l'encontre de cet arrêt, X._ interjette recours au Tribunal fédéral. Il conclut, sous suite de dépens, à l'annulation du jugement attaqué et des bordereaux de rappel d'impôt du 16 janvier 2008 concernant l'IFD et l'ICC des périodes fiscales 2004 et 2005. A titre préalable, il demande, en substance, que son recours soit doté de l'effet suspensif pour ce qui est de l'IFD. L'autorité précédente s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fiscale genevoise et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, proposent de rejeter le recours. Par ordonnance présidentielle du 22 février 2012, la requête d'effet suspensif a été rejetée.