Faits: A. A.a. B.X._, domicilié dans le canton de Genève, exerce une activité lucrative indépendante dans l'immobilier. Durant les années quatre-vingt, il a acquis divers immeubles en nom propre, ainsi que des participations dans des sociétés immobilières, dont certains en association avec son frère A.X._. Afin de financer ces acquisitions, B.X._ et A.X._ ont contracté des emprunts hypothécaires, principalement auprès de la Banque E._ (aujourd'hui et ci-après : Banque L._), pour un montant total de plus 18'000'000 fr. Le marché immobilier s'étant effondré au début des années nonante, B.X._ n'a plus pu remplir ses obligations financières. Les contrats de prêts ont alors été résiliés, des poursuites engagées et les actifs immobiliers réalisés. Le 24 janvier 2000, les frères X._ et la SI Z._, dont les précités étaient propriétaires, ont conclu une convention avec la Banque L._. B.X._ reconnaissait devoir à la banque la somme de 1'140'430 fr., ainsi que 6'075'709 fr. en qualité de codébiteur solidaire avec A.X._, tandis que la SI Z._ devait un montant de 565'319 fr. la Banque L._ s'engageait à abandonner ses créances à l'encontre de ses trois débiteurs à condition que B.X._ et A.X._ lui versent la somme de 1'000'000 fr. par tranches dégressives échelonnées de juin 2000 à juin 2004. De plus, les frères X._ s'engageaient à remettre à la banque le produit de la vente des biens immobiliers à réaliser. Dans leur déclaration fiscale 2003, les époux X._ ont fait état d'un revenu imposable pour l'impôt fédéral direct de 111'613 fr. et de 99'570 fr. pour les impôts cantonal et communal, ainsi que d'une fortune imposable nulle. Ils y mentionnaient des dettes hypothécaires se montant à 2'992'794 fr. Par courrier du 30 août 2004, la Banque L._ a confirmé à A.X._ que les conditions de la convention du 24 janvier 2000 avaient été respectées par les débiteurs et qu'en conséquence elle abandonnait le solde de ses créances. A.b. La déclaration fiscale 2004 des époux X._ montrait un revenu net imposable de 204'364 fr. pour l'impôt fédéral direct et de 188'902 fr. pour l'impôt cantonal; la fortune imposable était nulle. Les dettes hypothécaires se montaient à 1'454'753 fr. Ils joignaient un tableau détaillant les dettes et les intérêts y relatifs afférents à l'activité lucrative indépendante de l'intéressé; la Banque L._ ne figurait plus parmi les créanciers. Après que l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale) eut demandé à deux reprises à B.X._ de lui remettre une attestation de la Banque L._ indiquant le montant total de l'abandon de créances dont il avait bénéficié en application de ladite convention, celui-ci a expliqué, par courriel du 20 février 2007, que l'abandon de créances avait été largement compensé par des pertes immobilières. Le 1 er mars 2007, l'Administration fiscale a reçu les frères X._ et leur avocat; elle leur a ensuite imparti un délai au 20 avril 2007 pour produire des pièces attestant l'absence de bénéfices lors des ventes immobilières forcées. Par courrier du 18 avril 2007, B.X._ et A.X._ ont détaillé leur situation: lors de l'effondrement du marché immobilier dans les années nonante, leurs immeubles gagés et les sociétés immobilières avaient fait l'objet de réalisations forcées, respectivement avaient été vidées de leur substance; ils avaient perdu la totalité de leurs fonds propres; la Banque L._ avait accepté de renoncer au remboursement des dettes non couvertes par la vente de ces biens, moyennant un paiement supplémentaire de 1'000'000 fr.; les pertes immobilières subies à cause de l'effondrement du marché avaient largement compensé cet abandon de créances; il n'était pas possible à B.X._ et A.X._ de fournir une comptabilité complète des transactions concernées; les acquisitions des parts de sociétés immobilières remontaient aux années quatre-vingt et les pièces y relatives n'avaient pas été conservées, s'agissant d'opérations remontant à plus de dix ans; de plus, l'essentiel des pièces avait été saisi par les offices des poursuites et faillites et les ventes avaient été opérées par ceux-ci; ils n'avaient donc pas accès aux informations utiles. Ils joignaient à leur courrier un tableau qui récapitulait les acquisitions opérées pour un prix global de 19'731'616 fr. et qui avaient été financées par des fonds étrangers à hauteur de 18'096'535 fr.; au moment de la signature de la convention avec la Banque L._, les hypothèques avaient été globalement remboursées de 1'129'087 fr.; les fonds propres que le contribuable et son frère avaient investis, soit 1'635'082 fr. avaient été perdus; leur perte était estimée à 3'764'169 fr. Aucune pièce n'était jointe à ce tableau. A.c. Le 8 mai 2007, l'Administration fiscale a notifié aux époux X._ un bordereau de taxation arrêtant le revenu imposable pour l'impôt fédéral direct 2004 à 2'170'700 fr.; l'impôt se montait à 249'630 fr. Le revenu imposable pour l'impôt cantonal et communal 2004 était de 2'164'492 fr., la fortune imposable était nulle; l'impôt s'élevait à 681'408 fr. Selon l'Administration fiscale, l'abandon de créances en faveur de B.X._, dont le calcul était annexé, atteignait 1'970'944 fr. et constituait un revenu imposable. Pour déterminer le montant de cet abandon, le fisc a pris en compte les sommes dues à la Banque L._ selon la convention du 24 janvier 2000, desquelles il a soustrait le produit obtenu de la vente des biens immobiliers. A.d. Par décisions du 2 octobre 2007, l'Administration fiscale a rejeté la réclamation des époux X._ pour l'impôt fédéral et les impôts cantonal et communal. Aucun document probant ne confirmait que l'abandon de créances avait été compensé par les pertes prétendument subies et que B.X._ et son frère avaient, en réalité, réalisé une perte globale de plus de 3'764'000 fr. A.e. Le 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a rejeté le recours des époux X._. La perte de 3'764'000 fr. n'avait été ni comptabilisée, ni mentionnée dans la déclaration d'impôt; l'intéressé admettait d'ailleurs n'avoir pas tenu de comptabilité et n'avait fourni aucune pièce comptable à l'appui de sa déclaration. B. Par arrêt du 24 avril 2012, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours de B.X._ tant pour l'impôt fédéral direct que pour les impôts cantonal et communal 2004. L'intéressé n'avait jamais tenu de comptabilité régulière; en outre, il n'avait pas établi, par des pièces comptables probantes, l'existence des pertes commerciales dont il se prévalait, et qu'il ne parvenait pas à chiffrer exactement. C'était, dès lors, à bon droit que l'Administration fiscale avait refusé d'en tenir compte. Les décisions de taxation litigieuses respectaient, en outre, le principe de l'imposition selon la capacité contributive. C. Agissant par la voie du recours en matière de droit public, B.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 24 avril 2012 de la Cour de justice et de renvoyer le dossier à l'Administration fiscale afin qu'elle établisse de nouveaux bordereaux 2004 dans le sens des considérants. L'Administration fiscale conclut au rejet du recours, sous suite de frais. L'Administration fédérale des contributions se réfère aux déterminations de l'Administration fiscale et demande également le rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Par ordonnance du 12 juillet 2012, le Président de la IIe Cour de droit public a octroyé l'effet suspensif au recours. B.X._ s'est encore prononcé par écriture du 14 septembre 2012.