Faits :
A.
A._ et sa femme, par leur fiduciaire, ont transmis leur déclaration d'impôt pour la période fiscale 2012 à l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) le 12 décembre 2013. Celle-ci leur a écrit un courrier recommandé le 24 novembre 2017 pour les informer que le processus de taxation suivait son cours et qu'elle leur notifierait ses décisions dès qu'elle serait en mesure de chiffrer les montants d'impôt fédéral direct (ci-après: IFD) et d'impôts cantonal et communal (ci-après: ICC) pour l'année 2012. Elle a également indiqué que son courrier constituait un acte interruptif de la prescription du droit de taxer. Le 21 décembre 2017, la fiduciaire représentant les époux A._ a écrit à l'Administration fiscale pour lui signifier qu'elle ne reconnaissait pas le courrier du 24 novembre 2017 comme un acte interruptif de la prescription, faute pour cette administration d'avoir procédé à une quelconque demande de renseignements, convocation ou taxation provisoire ou définitive. Le 9 mars 2018, l'Administration fiscale a formulé une demande de renseignements pour la période fiscale 2012. La fiduciaire des intéressés a communiqué les renseignements demandés, tout en maintenant sa position exprimée dans son courrier du 21 décembre 2017 quant à la prescription.
B.
Par décisions du 4 juillet 2018, l'Administration fiscale a taxé les intéressés pour l'IFD et l'ICC de la période fiscale 2012. Elle a rejeté la réclamation que ceux-ci ont élevé à l'encontre des décisions précitées, par une décision sur réclamation du 20 septembre 2018. A._ et sa femme ont contesté ce prononcé auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) qui, par jugement du 17 juin 2019 a rejeté le recours. Saisie le 22 juillet 2019 par A._, entretemps séparé de sa femme, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours, par arrêt du 5 novembre 2019. Elle a jugé que le droit de taxer n'était pas prescrit.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 5 novembre 2019, ainsi que les bordereaux d'impôt du 4 juillet 2018, de constater que le droit de taxer la période fiscale 2012 est prescrit et qu'il ne peut être procédé à aucune taxation pour cette période; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale, ainsi que l'Administration fédérale des contributions concluent toutes deux au rejet du recours. Dans des observations finales, A._ a confirmé ses conclusions.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. Il est donc en principe recevable comme recours en matière de droit public s'agissant des deux catégories d'impôts (cf. <ref-law> [RS 642.11], art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le contribuable qui a la qualité pour recourir (<ref-law>), le présent recours est recevable, sous réserve de ce qui suit.
1.2. Dans la mesure où le recourant demande l'annulation des décisions de taxation de l'Administration fiscale du 4 juillet 2018, sa conclusion est irrecevable en raison de l'effet dévolutif complet du recours auprès de la Cour de justice (<ref-ruling> consid. 1.2 p. 543). En outre, selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 1.7 p. 123 et les références). Dans la mesure où le recourant conclut, parallèlement à l'annulation de l'arrêt attaqué, à ce qu'il soit constaté que le droit de taxer la période fiscale 2012 est prescrit et qu'il ne peut être procédé à aucune taxation pour cette période, il formule une conclusion constatatoire qui est irrecevable.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
Le litige concerne exclusivement le point de savoir si c'est à juste titre que l'autorité précédente a confirmé la taxation du recourant et sa femme pour la période fiscale 2012 ou si, conformément à ce que celui-ci estime, le droit de taxer était prescrit. Est particulièrement litigieux le point de savoir si le courrier de l'Administration fiscale du 24 novembre 2017 a fait courir un nouveau délai de prescription.
4.
4.1. Sauf exceptions non pertinentes en l'espèce, l'<ref-law> (cf. <ref-law>; art. 22 al. 1 de la loi genevoise de procédure fiscale du 4 octobre 2001 [LPFisc/GE; RSGE D 3 17]) dispose que le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. Outre divers cas particuliers durant lesquels la prescription ne court pas (<ref-law>; art. 22 al. 2 LPFisc/GE), un nouveau délai de prescription commence à courir notamment lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt (<ref-law>; art. 22 al. 3 let. a LPFisc/GE). A ce propos, selon la jurisprudence du Tribunal fédéral, toutes les mesures des autorités tendant à la fixation de la prétention fiscale et portées à la connaissance du contribuable, de mêmes que de simples lettres ou injonctions, interrompent le délai de prescription (<ref-ruling> consid. 3.3 p. 68; <ref-ruling> consid. 3.4.3 p. 282; <ref-ruling> consid. 2c p. 3). Finalement, à teneur de l'<ref-law> (cf. <ref-law>; art. 22 al. 4 LPFisc/GE), la prescription du droit de procéder à la taxation est acquise dans tous les cas quinze ans après la fin de la période fiscale.
4.2. En l'occurrence, il ressort des faits retenus par l'autorité précédente que l'Administration fiscale a adressé un courrier au recourant un peu plus d'un mois avant l'échéance du délai de prescription de cinq ans prévu par l'<ref-law>, respectivement 22 al. 1 LPFisc/GE (<ref-law>) dans l'unique but de faire partir un nouveau délai de prescription, en application de l'<ref-law>, respectivement 22 al. 3 let. a LPFisc/GE. Le courrier indiquait d'ailleurs expressément qu'il constituait un acte interruptif de la prescription.
Le recourant se réfère à la jurisprudence du Tribunal fédéral contenue dans l'ATF <ref-ruling> et dans laquelle il a été considéré que de simples lettres ou injonctions interrompaient le délai de prescription, mais estime que la situation de fait ayant prévalu dans cet arrêt publié est différente de la présente. Selon le recourant, contrairement à la situation traitée dans cet arrêt, dans la présente cause, l'autorité fiscale, avant d'envoyer le courrier interruptif de prescription, n'avait procédé à aucune mesure tendant à le taxer. Le recourant avance donc en substance que, lorsque l'autorité omet de taxer le contribuable ou, à tout le moins, de faire avancer la procédure en raison de sa propre négligence ou d'un manque de diligence de sa part et non en raison de circonstances indépendantes de sa volonté, un simple courrier intervenant peu avant l'échéance du délai de prescription ne constitue pas un cas d'application de l'<ref-law> (art. 22 al. 3 let. a LPFisc/GE).
4.3. L'appréciation de la jurisprudence du Tribunal fédéral par le recourant ne saurait être suivie. En effet, à aucun moment n'est déterminant le point de savoir si l'empêchement de taxer est ou non dépendant de la volonté de l'autorité. Seul compte le fait que cette autorité a indiqué au contribuable, pour une période fiscale précise, qu'elle allait procéder à une taxation (cf. <ref-ruling> consid. 3.2.4 p. 137 s.; <ref-ruling> consid. 3.3 p. 68 et les références). Les arguments développés par le recourant vont bien au-delà de la lettre de la loi et de la jurisprudence développée et maintes fois appliquée par le Tribunal fédéral. Il ne saurait donc être suivi lorsqu'il demande à celui-ci de préciser sa jurisprudence en matière de prescription du droit de taxer. A ce propos, on relèvera que la jurisprudence a même admis qu'une décision de taxation d'office nulle, rendue alors que le contribuable n'avait jamais reçu de formulaire de déclaration d'impôt, doit être considérée comme un acte interruptif de la prescription (ATF <ref-ruling> consid. 3.4.3 p. 281 s.).
4.4. Sur le vu de ce qui précède, le délai de cinq ans pour taxer la période fiscale 2012, que ce soit en matière d'IFD ou d'ICC, a pris fin le 31 décembre 2017. En écrivant au recourant le 24 novembre 2017 qu'elle allait procéder à la taxation de l'IFD et l'ICC 2012, l'Administration fiscale a fait courir un nouveau délai de cinq ans, conformément à l'<ref-law>, respectivement 22 al. 3 let. a LPFisc/GE. Par conséquent, la taxation du recourant du 4 juillet 2018 est intervenue alors que le droit de taxer n'était pas prescrit. Le recours doit ainsi être rejeté, dans la mesure où il est recevable, aussi bien en ce qu'il concerne l'IFD que l'ICC de la période fiscale 2012.
5.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2012.
2.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonal et communal de la période fiscale 2012.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 30 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette