Faits: A. A.a. A.X._, domicilié dans le canton de Genève, exerce une activité lucrative indépendante dans l'immobilier. Durant les années quatre-vingt, il a acquis divers immeubles en nom propre, ainsi que des participations dans des sociétés immobilières, dont certains en association avec son frère B.X._. Afin de financer ces acquisitions, A.X._ et B.X._ ont contracté des emprunts hypothécaires, principalement auprès de la Banque E._ (aujourd'hui et ci-après : Banque L._), pour un montant total de plus 18'000'000 fr. Le marché immobilier s'étant effondré au début des années nonante, A.X._ n'a plus pu remplir ses obligations financières. Les contrats de prêts ont alors été résiliés, des poursuites engagées et les actifs immobiliers réalisés. Le 24 janvier 2000, les frères X._ et la SI Z._, dont les précités étaient propriétaires, ont conclu une convention avec la Banque L._. A.X._ reconnaissait devoir à la banque 9'751'306 fr., ainsi que 6'075'709 fr. en qualité de codébiteur solidaire avec B.X._, tandis que la SI Z._ était redevable d'un montant de 565'319 fr. La Banque L._ s'engageait à abandonner ses créances à l'encontre des trois débiteurs à condition que A.X._ et B.X._ lui versent la somme de 1'000'000 fr. par tranches dégressives échelonnées de juin 2000 à juin 2004. De plus, les frères X._ s'engageaient à remettre à la banque le produit de la vente des biens immobiliers à réaliser. Dans leur déclaration fiscale 2003, A.X._ et son épouse ont fait état d'un revenu et d'une fortune imposables nuls. Ils y mentionnaient un bénéfice d'exploitation de 120'310 fr. et des dettes hypothécaires se montant à 16'191'214 fr. Par courrier du 30 août 2004, la Banque L._ a confirmé à A.X._ que les conditions de la convention du 24 janvier 2000 avaient été respectées et qu'en conséquence elle abandonnait le solde de ses créances. A.b. La déclaration fiscale 2004 des époux X._ montrait un revenu imposable de 129'773 fr. pour l'impôt fédéral direct et de 111'486 fr. pour l'impôt cantonal; la fortune imposable était nulle. Les dettes hypothécaires se montaient à 6'845'729 fr. Les documents mentionnés ci-dessous étaient joints à la déclaration: - un "compte d'exploitation de l'exercice 2004" faisant état des éléments suivants: Produits fr. Commissions encaissées 50'000.00 Charges Frais de loyer, SI, téléphone et divers 6'000.00 Frais de véhicule, déplacement 6'000.00 Total des charges 12'000.00 Bénéfice de l'exercice 2004 38'000.00 - une "liste des actifs professionnels" énumérant sept sociétés immobilières et indiquant que les immeubles leur appartenant avaient été vendus aux enchères entre 1997 et 2002 mais que les dettes subsistaient (aucun montant n'était mentionné), - un tableau détaillant les 6'845'729 fr. de dettes et les intérêts y relatifs afférents à l'activité lucrative indépendante de l'intéressé; La Banque L._ ne figurait plus parmi les créanciers. Sur demande de l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale), A.X._ a, le 20 juillet 2006, fait parvenir à celle-ci la convention du 24 janvier 2000 passée avec la Banque L._ et la lettre du 30 août 2004 de ladite banque. Après que l'Administration fiscale eut demandé à deux reprises à A.X._ de lui remettre une attestation de la Banque L._ indiquant le montant total de l'abandon de créances dont il avait bénéficié en application de ladite convention, celui-ci a expliqué, par courriel du 20 février 2007, que cet abandon avait été largement compensé par des pertes immobilières. Le 1 er mars 2007, l'Administration fiscale a reçu les frères X._ et leur avocat; elle leur a ensuite imparti un délai au 20 avril 2007 pour produire des pièces attestant l'absence de bénéfices lors des ventes immobilières forcées. Par courrier du 18 avril 2007, A.X._ et B.X._ ont détaillé leur situation: lors de l'effondrement du marché immobilier dans les années nonante, leurs immeubles gagés et les sociétés immobilières avaient fait l'objet de réalisations forcées, respectivement avaient été vidées de leur substance; ils avaient perdu la totalité de leurs fonds propres; la Banque L._ avait accepté de renoncer au remboursement des dettes non couvertes par la vente de ces biens, moyennant un paiement supplémentaire de 1'000'000 fr.; les pertes immobilières, dues à l'effondrement du marché, avaient largement compensé cet abandon de créances; il n'était pas possible à A.X._ et B.X._ de fournir une comptabilité complète des transactions concernées; les acquisitions des parts de sociétés immobilières remontaient aux années quatre-vingt et les pièces y relatives n'avaient pas été conservées, s'agissant d'opérations remontant à plus de dix ans; de plus, l'essentiel des pièces avait été saisi par les offices des poursuites et faillites et les ventes avaient été opérées par ceux-ci; ils n'avaient donc pas accès aux informations utiles. Ils joignaient à leur courrier un tableau qui récapitulait les acquisitions opérées pour un prix global de 19'731'616 fr. et qui avaient été financées par des fonds étrangers à hauteur de 18'096'535 fr.; au moment de la signature de la convention avec la Banque L._, les hypothèques avaient été globalement remboursées de 1'129'087 fr.; les fonds propres que A.X._ et son frère avaient investis, soit 1'635'082 fr. avaient été perdus; leur perte était estimée à 3'764'169 fr. Aucune pièce n'était jointe à ce tableau. A.c. Le 8 mai 2007, l'Administration fiscale a notifié aux époux X._ un bordereau de taxation arrêtant le revenu imposable pour l'impôt fédéral direct 2004 à 10'726'500 fr.; l'impôt se montait à 1'233'547 fr. Le revenu imposable pour l'impôt cantonal et communal 2004 était de 10'709'586 fr., la fortune imposable était nulle; l'impôt s'élevait à 3'529'160 fr. Selon l'Administration fiscale, l'abandon de créances en faveur de A.X._, dont le calcul était annexé, atteignait 10'581'820 fr. et constituait un revenu imposable. Pour déterminer le montant de cet abandon, le fisc a pris en compte les sommes dues à la Banque L._ selon la convention du 24 janvier 2000, desquelles il a soustrait le produit de la vente des biens immobiliers. A.d. Par décisions du 2 octobre 2007, l'Administration fiscale a rejeté la réclamation des époux X._ pour l'impôt fédéral et les impôts cantonal et communal. Aucun document probant ne confirmait que l'abandon de créances avait été compensé par les pertes prétendument subies et que A.X._ et son frère avaient, en réalité, réalisé une perte globale de plus de 3'764'000 fr. A.e. Le 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a rejeté le recours des époux X._, tout en renvoyant la cause à l'Administration fiscale pour une reformatio in pejus. L'autorité de taxation avait, en effet, appris de l'Administration fédérale des contributions, alors que la cause était pendante, que A.X._ avait bénéficié de prestations appréciables en argent de la société D._ SA de 2001 à 2006 se montant, pour 2004, à 281'000 fr.; l'intéressé ne contestait ni le principe, ni le montant de la reprise. En ce qui concerne la perte de 3'764'169 fr., ladite Commission a estimé qu'elle n'avait été ni comptabilisée, ni mentionnée dans la déclaration d'impôt; A.X._ admettait d'ailleurs n'avoir pas tenu de comptabilité et n'avait fourni aucune pièce comptable à l'appui de sa déclaration. B. Par arrêt du 24 avril 2012, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours de A.X._ tant pour l'impôt fédéral direct que pour les impôts cantonal et communal 2004. Selon cette autorité judiciaire, l'intéressé n'ayant pas établi, par des pièces comptables probantes, l'existence des pertes commerciales dont il se prévalait, et qu'il ne parvenait d'ailleurs pas à chiffrer exactement, c'était à bon droit que l'Administration fiscale avait refusé d'en tenir compte. Les décisions de taxation litigieuses respectaient, en outre, le principe de l'imposition selon la capacité contributive. C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 24 avril 2012 de la Cour de justice et de renvoyer le dossier à l'Administration fiscale afin qu'elle établisse de nouveaux bordereaux 2004 dans le sens des considérants. L'Administration fiscale conclut au rejet du recours, sous suite de frais. L'Administration fédérale des contributions se réfère aux déterminations de l'Administration fiscale et demande également le rejet du recours. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. Par ordonnance du 12 juillet 2012, le Président de la IIe Cour de droit public a octroyé l'effet suspensif au recours. A.X._ s'est encore prononcé par écriture du 14 septembre 2012.