Citation: 2C_551/2012 E. A

A.a. B.X.________, domicilié dans le canton de Genève, exerce une activité lucrative indépendante dans l'immobilier. Durant les années quatre-vingt, il a acquis divers immeubles en nom propre, ainsi que des participations dans des sociétés immobilières, dont certains en association avec son frère A.X.________. Afin de financer ces acquisitions, B.X.________ et A.X.________ ont contracté des emprunts hypothécaires, principalement auprès de la Banque E.________ (aujourd'hui et ci-après : Banque L.________), pour un montant total de plus 18'000'000 fr. Le marché immobilier s'étant effondré au début des années nonante, B.X.________ n'a plus pu remplir ses obligations financières. Les contrats de prêts ont alors été résiliés, des poursuites engagées et les actifs immobiliers réalisés. Le 24 janvier 2000, les frères X.________ et la SI Z.________, dont les précités étaient propriétaires, ont conclu une convention avec la Banque L.________. B.X.________ reconnaissait devoir à la banque la somme de 1'140'430 fr., ainsi que 6'075'709 fr. en qualité de codébiteur solidaire avec A.X.________, tandis que la SI Z.________ devait un montant de 565'319 fr. la Banque L.________ s'engageait à abandonner ses créances à l'encontre de ses trois débiteurs à condition que B.X.________ et A.X.________ lui versent la somme de 1'000'000 fr. par tranches dégressives échelonnées de juin 2000 à juin 2004. De plus, les frères X.________ s'engageaient à remettre à la banque le produit de la vente des biens immobiliers à réaliser. Dans leur déclaration fiscale 2003, les époux X.________ ont fait état d'un revenu imposable pour l'impôt fédéral direct de 111'613 fr. et de 99'570 fr. pour les impôts cantonal et communal, ainsi que d'une fortune imposable nulle. Ils y mentionnaient des dettes hypothécaires se montant à 2'992'794 fr. Par courrier du 30 août 2004, la Banque L.________ a confirmé à A.X.________ que les conditions de la convention du 24 janvier 2000 avaient été respectées par les débiteurs et qu'en conséquence elle abandonnait le solde de ses créances. A.b. La déclaration fiscale 2004 des époux X.________ montrait un revenu net imposable de 204'364 fr. pour l'impôt fédéral direct et de 188'902 fr. pour l'impôt cantonal; la fortune imposable était nulle. Les dettes hypothécaires se montaient à 1'454'753 fr. Ils joignaient un tableau détaillant les dettes et les intérêts y relatifs afférents à l'activité lucrative indépendante de l'intéressé; la Banque L.________ ne figurait plus parmi les créanciers. Après que l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration fiscale) eut demandé à deux reprises à B.X.________ de lui remettre une attestation de la Banque L.________ indiquant le montant total de l'abandon de créances dont il avait bénéficié en application de ladite convention, celui-ci a expliqué, par courriel du 20 février 2007, que l'abandon de créances avait été largement compensé par des pertes immobilières. Le 1 er mars 2007, l'Administration fiscale a reçu les frères X.________ et leur avocat; elle leur a ensuite imparti un délai au 20 avril 2007 pour produire des pièces attestant l'absence de bénéfices lors des ventes immobilières forcées. Par courrier du 18 avril 2007, B.X.________ et A.X.________ ont détaillé leur situation: lors de l'effondrement du marché immobilier dans les années nonante, leurs immeubles gagés et les sociétés immobilières avaient fait l'objet de réalisations forcées, respectivement avaient été vidées de leur substance; ils avaient perdu la totalité de leurs fonds propres; la Banque L.________ avait accepté de renoncer au remboursement des dettes non couvertes par la vente de ces biens, moyennant un paiement supplémentaire de 1'000'000 fr.; les pertes immobilières subies à cause de l'effondrement du marché avaient largement compensé cet abandon de créances; il n'était pas possible à B.X.________ et A.X.________ de fournir une comptabilité complète des transactions concernées; les acquisitions des parts de sociétés immobilières remontaient aux années quatre-vingt et les pièces y relatives n'avaient pas été conservées, s'agissant d'opérations remontant à plus de dix ans; de plus, l'essentiel des pièces avait été saisi par les offices des poursuites et faillites et les ventes avaient été opérées par ceux-ci; ils n'avaient donc pas accès aux informations utiles. Ils joignaient à leur courrier un tableau qui récapitulait les acquisitions opérées pour un prix global de 19'731'616 fr. et qui avaient été financées par des fonds étrangers à hauteur de 18'096'535 fr.; au moment de la signature de la convention avec la Banque L.________, les hypothèques avaient été globalement remboursées de 1'129'087 fr.; les fonds propres que le contribuable et son frère avaient investis, soit 1'635'082 fr. avaient été perdus; leur perte était estimée à 3'764'169 fr. Aucune pièce n'était jointe à ce tableau. A.c. Le 8 mai 2007, l'Administration fiscale a notifié aux époux X.________ un bordereau de taxation arrêtant le revenu imposable pour l'impôt fédéral direct 2004 à 2'170'700 fr.; l'impôt se montait à 249'630 fr. Le revenu imposable pour l'impôt cantonal et communal 2004 était de 2'164'492 fr., la fortune imposable était nulle; l'impôt s'élevait à 681'408 fr. Selon l'Administration fiscale, l'abandon de créances en faveur de B.X.________, dont le calcul était annexé, atteignait 1'970'944 fr. et constituait un revenu imposable. Pour déterminer le montant de cet abandon, le fisc a pris en compte les sommes dues à la Banque L.________ selon la convention du 24 janvier 2000, desquelles il a soustrait le produit obtenu de la vente des biens immobiliers. A.d. Par décisions du 2 octobre 2007, l'Administration fiscale a rejeté la réclamation des époux X.________ pour l'impôt fédéral et les impôts cantonal et communal. Aucun document probant ne confirmait que l'abandon de créances avait été compensé par les pertes prétendument subies et que B.X.________ et son frère avaient, en réalité, réalisé une perte globale de plus de 3'764'000 fr. A.e. Le 22 novembre 2010, la Commission cantonale de recours en matière administrative du canton de Genève a rejeté le recours des époux X.________. La perte de 3'764'000 fr. n'avait été ni comptabilisée, ni mentionnée dans la déclaration d'impôt; l'intéressé admettait d'ailleurs n'avoir pas tenu de comptabilité et n'avait fourni aucune pièce comptable à l'appui de sa déclaration.