Faits : A. A.a. A.A._ et B.A._, son épouse (ci-après : les contribuables), sont domiciliés à Genève. Le 25 septembre 2015, ils se sont vus notifier par l'Administration fiscale cantonale du canton de Genève (ci-après : l'Administration cantonale) des décisions de rappel d'impôt, ainsi que des amendes pour soustraction fiscale concernant l'impôt fédéral direct (ci-après : IFD) et les impôts cantonal et communal (ci-après : ICC) pour les années 2003 à 2010 et 2012 à 2013. L'Administration cantonale a constaté que A.A._ avait déclaré chaque année les honoraires qu'il avait perçus de la société C._ International, sise en France, lesquels avaient été imposés à Genève, mais non pas ceux provenant de la société C._ Sàrl, sise à Genève. A.b. Par décisions sur réclamation du 17 juin 2016, l'Administration cantonale a maintenu les reprises et les amendes afférentes aux procédures en rappel et en soustraction d'impôt concernant les années en cause. A.c. Par arrêt du 18 octobre 2016, la Chambre administrative de la Cour de justice du canton de Genève (ci-après : la Cour de justice) a rejeté le recours déposé par les contribuables contre le jugement du Tribunal administratif de première instance du canton de Genève (ci-après : le TAPI) du 2 juin 2017 déclarant irrecevable, pour défaut de paiement de l'avance de frais dans le délai imparti, le recours que les contribuables avaient interjeté contre les décisions sur réclamation du 17 juin 2016. B. B.a. Le 17 novembre 2016, les contribuables ont sollicité de l'Administration cantonale la "reconsidération" des décisions sur réclamation du 17 juin 2016. A titre de nouveaux moyens de preuve, ils ont produit des notes de frais pour l'année 2012, non datées, ainsi qu'une facture du 7 février 2013 pour l'achat d'un ordinateur. Le 20 février 2017, après avoir été informés par l'autorité précitée qu'aucune suite ne serait donnée à leur requête, dès lors qu'ils n'avaient fait valoir aucun fait nouveau dont ils n'auraient pas eu connaissance avant l'entrée en force des décisions en cause, les contribuables ont transmis à celle-ci une attestation du directeur de C._ International, du 4 novembre 2016, et des pièces comptables pour l'année 2013 relatives à C._ International. B.b. Le 10 avril 2017, l'Administration cantonale a rejeté la demande de "révision" des contribuables. Ces derniers ont élevé réclamation contre ces décisions, qui a été rejetée par décision du 15 mai 2017. Par jugement du 19 mars 2018, le TAPI a rejeté le recours déposé par les contribuables contre la décision sur réclamation du 15 mai 2017 de l'Administration cantonale, considérant que les motifs invoqués par les intéressés ne constituaient pas des motifs de révision et que ceux-ci ne faisaient état d'aucun fait nouveau, décisif et important qui leur était inconnu avant l'entrée en force des décisions contestées. Le Tribunal a par ailleurs renoncé à procéder à l'audition de A.A._, telle que sollicitée par courrier du 10 juillet 2017, au motif que le dossier contenait les éléments suffisants et nécessaires à l'examen des griefs invoqués. La Cour de justice a rejeté, par arrêt du 5 février 2019, le recours interjeté par les contribuables contre le jugement du 19 mars 2018, confirmant ce dernier et renonçant également à l'audition de A.A._, telle que requise par courrier du 29 mai 2018. C. A l'encontre de l'arrêt du 5 février 2019, les contribuables forment un recours en matière de droit public au Tribunal fédéral. Ils concluent, sous suite de frais et de dépens, à l'annulation de l'arrêt attaqué et à la réforme de celui-ci en ce sens que leur demande de révision est admise, et au renvoi de la cause à l'autorité inférieure pour qu'elle établisse de nouveaux bordereaux révoquant les rappels d'impôt et amendes prononcés. La Cour de justice n'a pas formulé d'observations et persiste dans les considérants et le dispositif de son arrêt. L'Administration cantonale s'est déterminée et se rallie au dispositif et aux considérants de l'arrêt attaqué, concluant au rejet du recours. L'Administration fédérale des contributions a renoncé à prendre position. Les recourants ont déposé d'ultimes observations, confirmant leurs conclusions.