Faits : A. A._ et sa femme, par leur fiduciaire, ont transmis leur déclaration d'impôt pour la période fiscale 2012 à l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) le 12 décembre 2013. Celle-ci leur a écrit un courrier recommandé le 24 novembre 2017 pour les informer que le processus de taxation suivait son cours et qu'elle leur notifierait ses décisions dès qu'elle serait en mesure de chiffrer les montants d'impôt fédéral direct (ci-après: IFD) et d'impôts cantonal et communal (ci-après: ICC) pour l'année 2012. Elle a également indiqué que son courrier constituait un acte interruptif de la prescription du droit de taxer. Le 21 décembre 2017, la fiduciaire représentant les époux A._ a écrit à l'Administration fiscale pour lui signifier qu'elle ne reconnaissait pas le courrier du 24 novembre 2017 comme un acte interruptif de la prescription, faute pour cette administration d'avoir procédé à une quelconque demande de renseignements, convocation ou taxation provisoire ou définitive. Le 9 mars 2018, l'Administration fiscale a formulé une demande de renseignements pour la période fiscale 2012. La fiduciaire des intéressés a communiqué les renseignements demandés, tout en maintenant sa position exprimée dans son courrier du 21 décembre 2017 quant à la prescription. B. Par décisions du 4 juillet 2018, l'Administration fiscale a taxé les intéressés pour l'IFD et l'ICC de la période fiscale 2012. Elle a rejeté la réclamation que ceux-ci ont élevé à l'encontre des décisions précitées, par une décision sur réclamation du 20 septembre 2018. A._ et sa femme ont contesté ce prononcé auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) qui, par jugement du 17 juin 2019 a rejeté le recours. Saisie le 22 juillet 2019 par A._, entretemps séparé de sa femme, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours, par arrêt du 5 novembre 2019. Elle a jugé que le droit de taxer n'était pas prescrit. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 5 novembre 2019, ainsi que les bordereaux d'impôt du 4 juillet 2018, de constater que le droit de taxer la période fiscale 2012 est prescrit et qu'il ne peut être procédé à aucune taxation pour cette période; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale, ainsi que l'Administration fédérale des contributions concluent toutes deux au rejet du recours. Dans des observations finales, A._ a confirmé ses conclusions.