Faits:
A. Par arrêt du 25 mai 2005, le Tribunal cantonal des assurances sociales de la République et canton de Genève (ci-après: le Tribunal des assurances sociales) a condamné la caisse de prévoyance professionnelle de l'ancien employeur de A.X._, né en 1967 et domicilié à Genève, à lui verser une rente entière d'invalidité à partir du 1er juillet 1998. Le 13 juillet 2005, la caisse de pension a fixé la rente d'invalidité complète à 2'830 fr. par mois. Le 9 août 2005, elle a de plus établi un décompte de 273'295 fr. dus à A.X._ au 31 juillet 2005 au titre de rentes depuis le 1er juillet 1998, intérêt compris.
Dans sa déclaration fiscale pour la période de 2005, A.X._ a indiqué, au titre du revenu provenant des rentes versées par la caisse de pension, un montant de 33'960 fr. correspondant à douze fois 2'830 fr. Dans les revenus "titres", il a en outre inscrit 5'286 fr. correspondant aux intérêts moratoires ayant couru sur les rentes dues pour la période du 1er janvier au 31 juillet 2005. Le revenu brut total déclaré était de 63'469 fr. et le revenu net de 60'760 fr.
B. B.a Le 20 décembre 2006, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a, dans le bordereau pour l'impôt fédéral direct 2005 (ci-après: IFD), retenu un revenu imposable de 256'700 fr. au taux de 53'900 fr., en calculant un montant de rentes de 287'445 fr. correspondant à un montant d'impôt de 3'184 fr. 70. Dans le bordereau pour les impôts cantonaux et communaux 2005 (ci-après: ICC), l'Administration cantonale a retenu un revenu imposable de 307'027 fr. au taux de 53'542 fr., correspondant à un montant d'impôt de 58'823 fr. 70.
Par décisions du 1er février 2007, l'Administration cantonale a rejeté la réclamation que A.X._ avait interjetée contre les bordereaux IFD et ICC de 2005 au motif que, selon lui, les rentes acquises entre 1998 et 2004 auraient dû être imposées durant l'année fiscale correspondante et n'entraient ainsi pas dans le revenu de 2005.
B.b A.X._ a recouru contre les décisions sur réclamation de l'Administration cantonale auprès de la Commission cantonale de recours de l'IFD, respectivement auprès de la Commission cantonale de recours en matière d'impôts (ci-après: la Commission de recours IFD, resp. ICC), dont les attributions ont été reprises par le Tribunal administratif de première instance (ci-après: le TAPI) au 1er janvier 2011. La Commission de recours ICC a suspendu la procédure jusqu'à droit jugé en matière d'IFD.
B.c Par décision du 19 novembre 2008, la Commission de recours IFD a partiellement admis le recours concernant l'IFD. Le dossier était renvoyé à l'Administration fiscale cantonale pour qu'elle parte d'un capital de remplacement des prestations périodiques de 273'295 fr. pour la période du 1er juillet 1998 au 31 juillet 2004 [recte: 2005] et l'impose au taux de 38'583 fr. Les rentes échues d'août à décembre 2005, totalisant 14'150 fr., devaient être imposées au taux ordinaire. Enfin, l'Administration fiscale cantonale avait erronément pris en compte deux fois les intérêts moratoires de 5'286 fr.
Confirmant la décision de la Commission de recours IFD, le Tribunal administratif genevois (ci-après: le Tribunal administratif), devenu la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) à partir du 1er janvier 2011, a rejeté le recours de A.X._ par arrêt du 1er juin 2010.
Par arrêt 2C_640/2010 du 11 décembre 2010, le Tribunal fédéral a rejeté le recours formé par le contribuable contre l'arrêt du Tribunal administratif.
B.d A la suite de l'arrêt 2C_640/2010 rendu par le Tribunal fédéral en matière d'IFD 2005, l'Administration cantonale a informé le TAPI qu'elle acceptait que celui-ci applique une solution analogue à celle jugée en matière d'IFD aussi au recours pendant devant le TAPI en matière d'ICC 2005.
Par jugement du 21 novembre 2011, le TAPI a partiellement admis le recours de A.X._ et a renvoyé le dossier à l'Administration cantonale pour nouvelle taxation dans le sens des considérants, rejetant les griefs du contribuable relatifs à la rente perçue et admettant les griefs concernant la double prise en compte des intérêts moratoires. A.X._ a contesté le jugement du TAPI auprès de la Cour de Justice, laquelle a rejeté son recours par arrêt du 16 octobre 2012.
C. A.X._ forme un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre l'arrêt de la Cour de Justice du 16 octobre 2012, concluant, principalement, à l'annulation de cet arrêt, du bordereau ICC 2005 du 20 décembre 2006, de la décision sur réclamation ICC du 1er février 2007 et du jugement du TAPI du 21 novembre 2011, ainsi qu'à l'admission d'une nouvelle taxation ICC 2005 basée sur sa déclaration fiscale 2005 "déclarant un revenu imposable net de 53'077 comprenant notamment 33'960 fr. de rentes du 2e pilier et 5'286 fr. d'intérêts moratoires". Le contribuable conclut, subsidiairement, à ce que le "capital-revenu de 248'199 fr. ajouté par l'Administration cantonale soit taxé séparément au cinquième du barème A" et, plus subsidiairement, à ce qu'il soit autorisé "à prouver par toutes voies de droit les faits allégués".
Il n'a pas été ordonné d'échange d'écritures.
Par ordonnance présidentielle du 3 décembre 2012, le Tribunal fédéral a rejeté la requête d'effet suspensif formée par le recourant. Par ordonnance du 18 décembre 2012, le Tribunal fédéral a rejeté la requête du contribuable tendant à la récusation du Juge fédéral Andreas Zünd, Président de la IIe Cour de droit public, de même que la demande d'annulation de l'ordonnance du 3 décembre 2012, que A.X._ avait formées par courrier du 10 décembre 2012.
Considérant en droit:
1. 1.1 Le recours est dirigé contre l'arrêt de la Cour de Justice confirmant le jugement du TAPI par lequel la cause est renvoyée à l'Administration cantonale "pour nouvelle décision de taxation [ICC 2005] conforme aux considérants". En principe, une décision de renvoi a un caractère incident, au sens de l'art. 93 LTF (cf. ATF 132 III 785 consid. 3.2 p. 791). Ce n'est que si l'autorité à laquelle la cause est renvoyée ne dispose d'aucune marge de manoeuvre, le renvoi ne servant qu'à calculer l'impôt dont les modalités ont été arrêtées par l'instance supérieure, que la décision est considérée comme finale selon l'art. 90 LTF (cf. ATF 134 II 124 consid. 1.3 p. 127; arrêt 2C_835/2012 du 1er avril 2013 consid. 2.1). Tel est le cas en l'espèce, la Cour de Justice, à l'instar du TAPI avant elle, précisant à l'endroit de l'Administration fiscale qu'il lui faut remédier à l'erreur découlant de la double prise en compte des 5'286 fr. d'intérêts moratoires au titre des ICC de 2005, les griefs relatifs à la rente perçue par le recourant étant pour le surplus entièrement rejetés.
1.2 En outre, la décision querellée a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire également formé par le recourant (art. 113 LTF a contrario). L'art. 73 al. 1 LHID (RS 642.14) confirme cette voie de droit, dès lors que l'imposition d'arriérés de rentes de prévoyance en cas d'invalidité perçus sous la forme d'un capital constitue une décision relevant du titre 2 de la loi précitée.
1.3 Le recours a par ailleurs été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le contribuable destinataire de l'acte attaqué, qui a donc qualité pour recourir (art. 89 al. 1 LTF), de sorte qu'il est recevable, sous réserve des éléments qui suivent.
1.4 Dans la mesure où le recourant s'en prend aussi aux décisions des autorités ayant précédé la Cour de Justice, son recours est irrecevable en raison de l'effet dévolutif complet des actes déposés auprès de la Cour de Justice (ATF 136 II 101 consid. 1.2 p. 104).
1.5 En tant que le recourant - pour autant qu'il soit possible de comprendre ses arguments - semble s'attaquer à l'arrêt 2C_640/2010 relatif à la taxation IFD 2005, au motif qu'il serait "manifestement erroné sur le plan juridique" et qu'il ne serait "pas juridique, mais politique suivant l'art. 12 LRCF" (RS 170.32), il ignore que cet arrêt a acquis force de chose jugée le jour de son prononcé (art. 61 LTF) et que seul l'arrêt rendu par la Cour de Justice en matière d'ICC 2005 peut encore être revu. Son recours est partant irrecevable sur ce point.
1.6 Enfin, le recours est irrecevable, voire sans objet en tant qu'il concerne la double prise en compte erronée (cf. art. 127 Cst.) des 5'286 fr. d'intérêts moratoires au titre des ICC de 2005, puisque l'arrêt querellé a confirmé la rectification de cette erreur déjà constatée par le TAPI (cf. arrêt querellé, consid. 4; voir consid. 1.1 supra).
2. Le Tribunal fédéral examine en principe librement la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID (cf. ATF 134 II 207 consid. 2 p. 209 s.; arrêt 2C_199/2012 du 23 novembre 2012 consid. 2.2, non publié in ATF 138 II 557), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Il fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 138 I 49 consid. 7.1 p. 51) - ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (cf. ATF 136 II 101 consid. 3 p. 104).
3. Le recourant invoque trois griefs d'ordre formel, qu'il convient d'examiner d'emblée (ATF 137 I 195 consid. 2.2 p. 197).
3.1 En premier lieu, le recourant reproche à la Cour de Justice de ne pas avoir récusé la juge déléguée Z._, au motif que celle-ci avait participé à l'élaboration de l'arrêt cantonal afférent à l'imposition IFD du contribuable. En rejetant la demande de prolongation de délai sollicitée par le recourant, ladite juge l'aurait de plus empêché, entre autres, de formuler une demande de récusation.
La garantie minimale d'un tribunal indépendant et impartial (cf. art. 30 al. 1 Cst.) permet, indépendamment du droit de procédure (en l'occurrence l'art. 15A de la loi genevoise du 12 septembre 1985 sur la procédure administrative [LPA/GE; RS/GE E 5 10]), de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. La participation d'un juge, toujours en sa qualité de magistrat, dans différentes affaires impliquant le même recourant ne fonde en soi pas un motif de récusation (cf., mutatis mutandis, arrêt 2F_19/2011 du 22 décembre 2011 consid. 2, confirmé in arrêt 5A_425/2012 du 7 février 2012 consid. 1.1). En outre, la partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (cf. ATF 138 I 1 consid. 2.2 p. 4; arrêt 4A_425/2012 du 26 février 2013 consid. 3.2.1, destiné à la publication).
Il est douteux que le grief du recourant soit motivé de façon recevable (art. 106 al. 2 LTF). Cela étant, dans la mesure où il se contente de relever que la magistrate en cause avait siégé en tant que juge dans les deux affaires concernant l'IFD et les ICC, le grief du recourant doit de toute manière être écarté, dès lors qu'il ne fonde lui-même aucun motif de récusation valable. Par ailleurs, on ne voit pas qu'en refusant d'accorder au recourant une seconde prolongation de délai pour se déterminer sur la réponse de l'Administration cantonale, la juge déléguée l'aurait empêché de faire valoir un quelconque motif de récusation; il résulte au contraire des faits constatés et des pièces produites à l'appui du recours qu'après réception de la lettre de la juge déléguée l'informant que l'instruction de la cause apparaissait terminée, le recourant aurait disposé de plus de deux mois pour soulever son grief de récusation. N'y ayant pas procédé immédiatement, son grief est en tout état tardif.
3.2 En deuxième lieu, le recourant prétend que la Cour de Justice n'est pas entrée en matière sur les arguments développés dans son recours cantonal. Il semble en substance invoquer la violation de son droit d'être entendu (art. 29 al. 2 Cst.; cf. ATF 135 I 279 consid. 2.3 p. 282).
En tant que ce grief, qui ne précise pas les arguments que les précédents juges n'auraient pas analysés, est recevable, il doit être considéré comme manifestement mal fondé. Il ressort en effet de l'arrêt attaqué que l'argumentation développée par le recourant reprenait en substance celle développée en matière d'IFD à laquelle, sur le terrain du droit fiscal harmonisé, la Cour de Justice a partant répondu en transposant la solution retenue pour l'IFD au litige visant les ICC.
3.3 En troisième lieu, le recourant reproche à la Cour de Justice de ne pas avoir proposé une conciliation et de s'être empressée "de se réfugier" derrière l'arrêt 2C_640/2010 relatif à l'IFD.
Dès lors que le recourant ne démontre pas que la Cour de Justice aurait arbitrairement (art. 9 Cst.) appliqué les règles cantonales en matière de conciliation (cf. art. 65A al. 1 LPA/GE), dont la tenue est au demeurant, hormis dans certains domaines non pertinents ici (cf. art. 65B LPA/GE), facultative, son grief est irrecevable.
4. 4.1 La loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques (détermination du revenu net - calcul de l'impôt et rabais d'impôt - compensation des effets de la progression à froid [aLIPP-V/GE]), qui a été abrogée par l'art. 69 al. 1 let. e de la loi genevoise du 27 septembre 2009 sur l'imposition des personnes physiques [LIPP/GE; RS/GE 3 08]) mais reste applicable à la période fiscale 2005 par renvoi de l'art. 72 al. 1 LIPP/GE, prévoit notamment:
art. 17 aLIPP-V/GE - Versement de capitaux remplaçant des prestations périodiques: Lorsque le revenu comprend des versements de capitaux remplaçant des prestations périodiques ou des versements en capital à la fin des rapports de service, l'impôt se calcule, compte tenu des autres revenus et des déductions autorisées, au taux qui serait applicable si une prestation annuelle était servie en lieu et place de l'indemnité unique.
art. 18 aLIPP-V/GE - Prestations en capital provenant de la prévoyance: al. 1: Les prestations en capital provenant des institutions de prévoyance ainsi que les sommes versées ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé sont imposées séparément. Elles sont dans tous les cas soumises à un impôt annuel entier. al. 2: L'impôt est calculé sur la base du taux représentant le cinquième du barème inscrit à l'art. 11 (barème A). Pour déterminer ce taux, les diverses prestations telles que celles mentionnées à l'alinéa 1 sont additionnées.
Relevant du droit fiscal harmonisé qui régit l'imposition directe aux niveaux cantonal et communal, les art. 17 et 18 aLIPP-V/GE ont, comme le concède d'ailleurs le recourant, un contenu analogue à celui des art. 11 al. 2 LHID et 37 LIFD (RS 642.11), respectivement à celui des art. 11 al. 3 LHID et 38 LIFD. C'est partant à juste titre que les juges cantonaux ont, conformément au principe de l'harmonisation verticale, considéré que l'application des règles fiscales cantonales aux ICC 2005 litigieux devait conduire aux mêmes résultats qu'en matière d'IFD 2005, tels que retenus par la Cour de céans dans son arrêt 2C_640/2010 précité.
4.2 L'application des principes dégagés dans l'arrêt 2C_640/2010 au cas d'espèce conduit à considérer comme des "capitaux remplaçant des prestations périodiques", au sens de l'art. 17 aLIPP-V/GE (cf. art. 37 LIFD), les versements effectués en une seule fois qui sont destinés à éteindre une créance relative à des prestations périodiques, lorsque le versement doit remplacer une prestation due à l'origine sous une forme périodique, mais qu'un tel paiement n'a pas eu lieu indépendamment de la volonté du bénéficiaire (cf. arrêt 2C_640/2010 précité, consid. 3.2). La ratio legis de cette disposition harmonisée consiste à éviter que la charge fiscale afférente aux indemnités en capital ne soit supérieure à celle affectant les indemnités qui n'avaient pas été régulièrement versées au contribuable sans que ce dernier n'ait eu d'influence sur ces retards (arrêt 2C_640/2010 précité, consid. 3.3).
En l'espèce, le recourant a obtenu le versement d'un rétroactif de rentes d'invalidité du deuxième pilier (art. 23 ss de la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité [LPP; RS 831.40]) concernant la période du 1er juillet 1998 au 31 juillet 2005. Ce capital de 273'295 fr. englobe les arriérés et intérêts de rentes échues qui, indépendamment de la volonté du recourant, ne lui avaient pas été versés dans les échéances périodiques prévues. Quoi qu'en dise le recourant, les modalités d'imposition de ce montant sont partant gouvernées par l'art. 17 aLIPP-V/GE.
4.3 Le recourant se fourvoie lorsqu'il prétend déduire une solution inverse de l'ancien art. 40 al. 4 AIFD, au motif que cette disposition avait concerné les seules rentes viagères futures et non passées. Il ne tient en effet pas compte des distinctions que la jurisprudence a opérées entre l'art. 40 AIFD et les art. 37 LIFD, resp. 11 al. 2 LHID. Or, ces dernières permettent précisément de qualifier, aux conditions énoncées plus haut (consid. 4.2), de "capitaux remplaçant des prestations périodiques" le versement en une seule fois d'arriérés de rentes de prévoyance (cf. arrêt 2A.68/2000 du 5 octobre 2000 consid. 4, RDAF 2002 II 1, p. 5 s.).
4.4 Par ailleurs, en tant que le recourant demande l'application subsidiaire de l'art. 18 aLIPP-V/GE (cf. art. 38 LIFD), son argument doit aussi être écarté. Selon la jurisprudence du Tribunal fédéral, la prestation en capital servant à payer ultérieurement des rentes accumulées qui auraient normalement dû être versées périodiquement mais ne l'ont pas été indépendamment de la volonté du contribuable n'entre pas dans la notion de "prestations en capital" visée à l'art. 38 LIFD. Ces montants sont au contraire versés par une assurance en cas de réalisation d'un événement assuré en guise de règlement de l'ensemble des prestations y afférentes. Il ne serait au demeurant pas juste d'imposer des rentes au taux réduit d'un cinquième du revenu ordinaire selon l'art. 18 aLIPP-V/GE (cf. art. 38 LIFD) pour la simple raison qu'elles ont été versées tardivement (cf. arrêts 2C_640/2010 précité, consid. 5; 2A.68/2000 précité, consid. 2).
4.5 En outre, et pour autant que ses arguments soient intelligibles, c'est en vain que le recourant se prévaut de la prescription du droit de taxer, de sorte qu'il ne serait pas tenu d'honorer les créances d'impôt.
Tel que la Cour de céans l'a déjà jugé dans l'arrêt 2C_640/2010 précité, le moment déterminant pour l'acquisition des arriérés de rentes de prévoyance en cas d'invalidité perçues sous la forme d'un capital se situait, dans le cas du contribuable, dans la période fiscale de 2005. En effet, si le Tribunal des assurances sociales avait rétroactivement fixé la naissance du droit aux rentes au 1er juillet 1998, la créance fiscale n'avait, pour sa part, été suffisamment déterminée de façon à devenir "ferme", au regard du droit fiscal qui est gouverné par d'autres principes que le droit social fédéral (cf. arrêt 2C_640/2010 précité, consid. 3.4), qu'à partir du prononcé de l'arrêt dudit tribunal cantonal en 2005 (consid. 4.2). Il découle de ce qui précède qu'en cas de versement d'un capital destiné à remplacer des prestations périodiques, le délai quinquennal de prescription du droit de taxer selon l'art. 22 al. 1 de la loi de procédure fiscale genevoise du 4 octobre 2001 (LPFisc/GE; RS/GE D 3 17; cf. aussi art. 47 al. 1 LHID et art. 120 al. 1 LIFD) débute au jour de l'acquisition du revenu imposable (arrêt 2C_640/2010 précité, consid. 4.4). Il n'y a pas lieu de revenir sur cette jurisprudence.
En l'espèce, dès lors que l'arrêt exécutoire du Tribunal des assurances sociales allouant une rente de prévoyance pour invalidité date du 25 mai 2005, que le versement de la somme remonte au 25 août 2005, que la taxation des ICC afférente à l'année 2005 a été opérée le 20 décembre 2006, et que le délai de prescription a été interrompu par les procédures de réclamation et de recours diligentées par le recourant (cf. art. 22 al. 2 LPFisc/GE), l'exception de prescription doit donc être écartée.
4.6 En conséquence, c'est à bon droit que la Cour de Justice a, dans l'arrêt querellé, confirmé le jugement du TAPI qui a transposé la solution contenue dans l'arrêt 2C_640/2010 en matière d'IFD 2005 au litige concernant les ICC 2005.
5. Pour le surplus, en tant que le recourant invoque une violation de l'art. 17 de la Déclaration universelle des droits de l'Homme du 10 décembre 1948 proclamant la garantie de la propriété, du principe de la séparation des pouvoirs et de l'interdiction de l'arbitraire (art. 9 Cst.), il ne motive point lesdits griefs, qui sont partant irrecevables (art. 106 al. 2 LTF).
6. Au vu de ce qui précède, il y a lieu de rejeter le recours en matière de droit public dans la mesure où il est recevable. Le recours constitutionnel subsidiaire formé parallèlement est irrecevable. Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au représentant du recourant, à l'Administration fiscale cantonale genevoise, à la Cour de Justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.
Lausanne, le 13 mai 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton