Faits : A. Les époux A.A._ et B.A._ sont domiciliés à C._, dans le canton de Genève. A.A._, architecte, né en 1936, a exercé sa profession en raison individuelle jusqu'à la fin des années 1990. Il a ensuite fondé la société D._ Sàrl, inscrite au registre du commerce genevois le 5 octobre 2000. En 2004, A.A._ était salarié de cette société. En vertu d'une convention conclue le 29 janvier 1999 entre A.A._ et la banque E._ SA, celle-ci a abandonné le 31 janvier 2004, après un remboursement partiel de 30'000 fr. effectué par mensualités de 500 fr. jusqu'à cette date, le solde de quatre créances qu'elle avait envers le prénommé. Ces créances s'élevaient au moment de la conclusion de la convention à 220'896 fr. 60, 360'226 fr. 97, 762'361 fr. 58 et 1'934'434 fr. 83, soit au total 3'277'919 fr. 98. Dans leur déclaration fiscale 2004, les époux A._ ont indiqué un revenu brut de 105'024 fr., entièrement issu d'une activité dépendante et de rentes de l'assurance vieillesse et survivants. B. B.a. Le 7 avril 2006, l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) a envoyé aux époux A._ les bordereaux pour les impôts cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) pour la période fiscale 2004. Elle a arrêté l'ICC à 1'041'256 fr. 90 et l'IFD à 384'410 fr., montants calculés sur la base d'un revenu imposable de 3'327'559 fr. (ICC) et 3'342'700 fr. (IFD), incluant le total de l'abandon de créances consenti par E._ SA moins les 30'000 fr. payés à titre d'acomptes. Le 8 mai 2006, les époux A._ ont formé une réclamation contre les bordereaux précités, au motif que l'abandon de créances ne constituait pas un revenu imposable dès lors que les prêts consentis par E._ SA n'étaient pas liés à des opérations commerciales. Dans un courrier du 9 décembre 2009, l'Administration fiscale a proposé aux époux A._ de déduire du montant imposable lié à l'abandon de créances la somme de 220'896 fr., car celle-ci correspondait à une dette privée, ainsi qu'un solde de pertes non compensées au moment de la cessation de l'activité de la raison individuelle de A.A._ de 2'092'927 fr. Les contribuables ont persisté à contester la nature professionnelle des crédits faisant l'objet de l'abandon de créances et leur prise en compte dans leur revenu imposable en 2004. Par décisions sur réclamation du 6 décembre 2010, l'Administration fiscale, se référant à son précédent courrier, a émis deux nouveaux bordereaux de taxation, fixant l'ICC à 299'129 fr. 80 et l'IFD à 118'323 fr., montants calculés sur un revenu imposable de 1'013'735 fr. (ICC) et 1'028'900 fr. (IFD). B.b. Le 23 décembre 2010, les époux A._ ont porté les décisions du 6 décembre 2010 devant la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif), qui, par jugement du 30 mai 2012, a rejeté le recours et renvoyé le dossier à l'Administration fiscale pour une reformatio in pejus, dans le sens de la prise en compte de l'entier de l'abandon de créances, sans déduction, dans le calcul du revenu brut des époux A._. Contre ce jugement, les contribuables ont formé un recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 28 mai 2013, celle-ci a jugé que l'abandon de créances constituait un revenu imposable au titre de l'ICC et de l'IFD 2004. Cela valait aussi bien pour les abandons concernant des dettes privées que pour les abandons concernant des dettes commerciales, cette distinction conservant toutefois une importance dans la mesure où seul le revenu provenant de l'abandon de créances liées à des dettes commerciales pouvait être compensé avec d'éventuelles pertes commerciales subies dans l'exercice ou reportées. En conséquence, la Cour de justice a partiellement admis le recours des époux A._ et renvoyé la cause au Tribunal administratif, afin que celui-ci détermine la nature privée ou commerciale des prêts octroyés à A.A._ et ayant fait l'objet de la convention du 29 janvier 1999. Par arrêt du 17 juillet 2013 (causes 2C_623/2013 et 2C_624/2013 jointes), le Tribunal fédéral a prononcé l'irrecevabilité du recours formé par les époux A._ à l'encontre de l'arrêt du 28 mai 2013, au motif que cet arrêt ne constituait pas une décision finale dès lors que le Tribunal administratif, auquel était renvoyé la cause, disposait d'une marge d'appréciation. B.c. Le 2 septembre 2013, les époux A._ ont sollicité la reprise de l'instruction devant le Tribunal administratif. Dans leurs écritures, ils ont persisté à considérer que l'abandon d'une créance de nature privée n'était pas imposable. Ils ont par ailleurs fait valoir que la déduction de pertes commerciales d'un montant de 2'092'927 fr. devait être admise sur l'entier de leur revenu. Par jugement du 18 septembre 2014, le Tribunal administratif a rejeté le recours des époux A._ et renvoyé le dossier à l'Administration fiscale pour nouvelles taxations dans le sens des considérants. L'entier de l'abandon de créances faisant l'objet de la convention du 29 janvier 1999 devait être intégré au revenu brut 2004 des contribuables. Après correction d'une erreur de l'Administration fiscale, le montant à intégrer au revenu était arrêté à 3'247'910 fr. (recte: 3'247'919 fr.). Selon le Tribunal administratif, il n'était pas nécessaire de se prononcer sur la nature privée ou commerciale des prêts faisant l'objet de la convention du 29 janvier 1999. En effet, les contribuables pouvaient prétendre en principe à un report de pertes commerciales sur l'ensemble de leur revenu. Les conditions autorisant le report de pertes n'étaient toutefois pas réunies en l'espèce, A.A._ ayant cessé toute activité lucrative indépendante à la fin des années 1990. Par arrêt du 19 janvier 2016, la Cour de justice a rejeté le recours formé par les époux A._ contre le jugement du Tribunal administratif. Contrairement au Tribunal administratif, et bien qu'elle ait indiqué que la question n'était pas pertinente, elle a examiné la nature commerciale ou privée des prêts faisant l'objet de l'abandon de créances et a précisé que les quatre prêts devaient être considérés de la manière suivante: les premier (220'896 fr. 60) et quatrième (1'934'434 fr. 83) prêts étaient de nature privée; les deuxième (360'226 fr. 97) et troisième (762'361 fr. 58) prêts étaient de nature commerciale. C. Agissant par la voie du recours en matière de droit public, A.A._ (ci-après: le recourant 1) et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 19 janvier 2016, de dire qu'ils sont autorisés à déduire des pertes reportées de 2'092'92 7 fr. dans la détermination de leur revenu imposable 2004 et que les abandons de créances de nature privée dont ils ont bénéficié en 2004 ne constituent pas un revenu imposable; subsidiairement de dire qu'ils sont autorisés à déduire de ces abandons les pertes subies dans le cadre de la vente de leurs immeubles privés, et de renvoyer la cause à la Cour de justice pour nouvelle décision dans le sens des considérants. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale s'en remet à justice concernant la recevabilité du recours et conclut à son rejet. L'Administration fédérale des contributions se rallie au dispositif de l'arrêt attaqué et conclut au rejet du recours. Les époux A._ ont déposé des observations. Le Tribunal fédéral a rendu son jugement en séance publique le 13 février 2017.