Faits:
A.
A.a. A._ a fait l'objet d'une décision de taxation fiscale pour l'année 2001 contre laquelle il a formé une réclamation auprès de l'Intendance des impôts du canton de Berne (ci-après: l'Intendance).
Le 13 avril 2005, l'Intendance a rendu sa décision en tenant compte de plusieurs griefs soulevés par A._.
A.b. Le 9 mai 2005, A._ a formé un recours et une plainte contre cette décision auprès de la Commission des recours en matière fiscale (ci-après: la Commission).
Par décision du 12 août 2008, la Commission a partiellement admis le recours et la plainte de A._ et renvoyé la cause à l'Intendance pour nouvelle décision.
A.c. En date du 19 février 2009, l'Intendance a transmis à A._ la nouvelle décision de taxation fiscale pour l'année 2001, laquelle fixait le montant dû au titre de l'impôt pour l'année en question à xxxx fr.
Sur la base de cette nouvelle décision de taxation, un commandement de payer n° xxxx a été adressé à A._ en date du 1er avril 2011. Ce dernier y a fait opposition.
A.d. Par décision du 31 juillet 2012, le Tribunal régional du Jura bernois-Seeland a prononcé la mainlevée définitive de l'opposition pour un montant de xxxx fr. plus intérêts à 4.25% dès le 29 mars 2011 sur xxxx fr.
B.
Statuant le 18 janvier 2013, la 2e Chambre civile de la Cour suprême du canton de Berne (ci-après: la Cour) a rejeté le recours formé le 10 août 2012 par A._, confirmant ainsi la mainlevée définitive prononcée.
C.
Par acte du 23 février 2013, A._ interjette un recours au Tribunal fédéral contre cette décision. Il conclut principalement à l'admission de son recours en ce sens que l'entrée en force de la décision de taxation pour l'année fiscale 2001 soit "levée". A l'appui de ses conclusions, le recourant se plaint d'arbitraire, notamment dans l'appréciation des preuves, et de la violation du principe de la bonne foi.
Des réponses n'ont pas été requises.

Considérant en droit:
1.
1.1. Le recourant n'a pas dénommé son écriture. Le défaut d'intitulé ou l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que les conditions de recevabilité du recours qui serait ouvert soient réunies (<ref-ruling> consid. 1.2 p. 382 et les arrêts cités).
1.2. Le prononcé de mainlevée (définitive ou provisoire) de l'opposition peut faire l'objet d'un recours en matière civile (<ref-law>) lorsque la valeur litigieuse s'élève au moins à 30'000 fr. (<ref-law>; <ref-ruling> consid. 1.3 p. 399/400) ou, exceptionnellement et pour autant que cela soit démontré (<ref-law>; cf. <ref-ruling> consid. 2.2.2.1 p. 442), lorsque la contestation soulève une question juridique de principe (<ref-law>). Lorsque - comme en l'espèce - aucune de ces conditions n'est remplie, le prononcé de mainlevée doit être attaqué par la voie du recours constitutionnel subsidiaire (<ref-law>).
1.3. Le présent recours a été interjeté dans le délai légal (art. 100 al. 1 et 117 LTF) à l'encontre d'un prononcé rendu par une autorité cantonale de dernière instance statuant sur recours (art. 75 et 114 LTF). Le recourant qui a succombé devant l'autorité précédente a un intérêt juridique à l'annulation ou à la modification de la décision (<ref-law>).
1.4. Les conclusions prises par le recourant devant l'instance précédente tendaient à l'annulation respectivement de la poursuite n° xxxx et de la mainlevée de l'opposition formée contre celle-ci. Devant le Tribunal de céans il se borne à conclure à l'admission de son recours, ainsi qu'à la "levée" de l'entrée en force de la décision de taxation définitive pour l'année fiscale 2001. Il ressort toutefois du rapprochement du mémoire de recours, de l'arrêt attaqué et des conclusions prises par le recourant dans son mémoire de recours contre le jugement de première instance qu'il entend en réalité - du moins implicitement - obtenir l'annulation de la mainlevée définitive prononcée, considérant que le titre de mainlevée sur lequel elle se fonde n'est pas exécutoire. Ses conclusions sur le fond apparaissent dès lors recevables.
2.
2.1. Le recours constitutionnel peut être exclusivement formé pour violation des «droits constitutionnels» (<ref-law>). Conformément à l'<ref-law> (applicable en vertu du renvoi de l'<ref-law>), le Tribunal fédéral ne connaît de la violation des droits fondamentaux - notion qui englobe les droits constitutionnels (<ref-ruling> consid. 2) - que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2 et les arrêts cités).
2.2. Selon l'<ref-law> (applicable par renvoi de l'<ref-law>), le recours n'est en principe ouvert qu'à l'encontre des décisions rendues en dernière instance cantonale, ce qui signifie que le recourant doit avoir épuisé toutes les voies de droit cantonales pour les griefs qu'il entend invoquer devant le Tribunal fédéral (<ref-ruling> consid. 1.3 p. 527 et les références).
3.
3.1. La décision entreprise retient que l'autorité de première instance a considéré à juste titre que la poursuite introduite contre A._ se fondait sur un titre de mainlevée exécutoire, de sorte que la mainlevée définitive devait être prononcée. Elle a relevé à cet égard que la décision de l'Intendance des impôts du 19 février 2009 constituait une décision de taxation fiscale qui a qualité de jugement exécutoire et donc de titre de mainlevée définitive. Cette nouvelle décision de taxation concernant l'année fiscale 2001 était entrée en force, dans la mesure où le recourant n'avait introduit aucune réclamation à son encontre, ainsi qu'en atteste le timbre dont elle a été frappée en date du 6 juin 2011. En outre, bien que le recourant soutienne qu'aucune décision définitive de taxation n'ait pu être établie pour l'année fiscale 2001 et qu'il n'y ait par conséquent pas de jugement exécutoire et a fortiori pas de titre de mainlevée, elle a relevé que celui-ci n'était cependant pas parvenu à apporter la preuve stricte de ce qu'il avançait, de sorte qu'elle a rejeté ses griefs. S'agissant du montant réclamé, elle a relevé que la poursuite litigieuse ne portait plus que sur le solde d'impôt encore dû, à savoir un montant de xxxx fr., intérêts et frais compris, de sorte que, contrairement à ce que soutenait le recourant, les versements d'ores et déjà effectués avaient bel et bien été pris en compte puisque la décision de taxation portait initialement sur un montant de xxxx fr.
3.2. Le recourant soutient ne jamais avoir reçu la nouvelle décision de taxation du 19 février 2009, de sorte que cette décision ne serait selon lui jamais entrée en force à défaut de lui avoir été notifiée correctement et ne constituerait en conséquence pas un titre de mainlevée. Il invoque à cet égard la violation de plusieurs dispositions légales relatives à la notification de décisions fiscales (art. 159 LI BE, <ref-law> et <ref-law>) et allègue que les dossiers des autorités fiscales et judiciaires ne comporteraient aucune pièce susceptible de démontrer que la décision de taxation lui aurait été notifiée. La copie de la décision de taxation qui lui aurait été adressée comporte en outre selon lui une adresse qui n'était alors pas encore valable. Le timbre attestant de l'entrée en force de la décision de taxation est daté du 6 juin 2011, ce qui démontrerait selon lui que la décision n'était pas encore en force en 2008 et 2009. Dans la mesure où les autorités fiscales n'auraient en outre pas tenu compte du partage de la charge fiscale convenu avec son épouse dans le cadre de la procédure de divorce, il soutient qu'une décision définitive de taxation ne pouvait quoi qu'il en soit pas être rendue.
4.
Le créancier qui est au bénéfice d'un jugement exécutoire peut requérir du juge la mainlevée définitive de l'opposition (<ref-law>). Les décisions des autorités administratives suisses sont à cet égard assimilées à des jugements (<ref-law>).
De jurisprudence constante, les décisions qui n'ont pas été notifiées valablement à la personne concernée ne déploient pas d'effets juridiques et n'acquièrent pas force de chose jugée. L'autorité supporte le fardeau de la preuve de la notification lorsqu'il est contesté que cette dernière ait bien eu lieu. Lorsqu'une décision ou une ordonnance porte sur le paiement d'une somme d'argent, il appartient en principe au créancier qui produit un titre de mainlevée sur la base duquel il requiert la mainlevée définitive de démontrer que celui-ci est exécutoire au sens de l'<ref-law>, ce qui implique qu'il ait été notifié valablement. Une attestation d'entrée en force de chose jugée ne suffit pas à apporter cette preuve. Le Tribunal fédéral a en outre précisé que l'absence de notification était a priori impossible à démontrer pour le débiteur, alors que la preuve d'une notification effective était relativement aisée pour les autorités impliquées. En conséquence, si l'on devait admettre que l'attestation d'entrée en force est suffisante à démontrer le caractère exécutoire d'une décision, cela reviendrait à admettre l'existence d'une fiction de notification qui serait à son tour impossible à renverser pour le débiteur, notamment dans l'hypothèse où la décision aurait été égarée par les services postaux avant d'être notifiée au débiteur ou lorsque le timbre certifiant l'entrée en force d'une décision y aurait été apposé par erreur (arrêts joints 5A_264/2007 et 5A_495/2007 du 25 janvier 2008 consid. 3.3 et les références).
5.
En l'espèce, l'essentiel de l'argumentation du recourant repose sur l'affirmation selon laquelle la nouvelle décision de taxation du 19 février 2009 ne lui aurait jamais été notifiée. Force est toutefois de constater, à l'examen du recours cantonal interjeté en date du 10 août 2012 contre la décision de mainlevée définitive de première instance, que le recourant soulève ce grief pour la première fois devant le Tribunal de céans. Par conséquent, faute d'avoir épuisé toutes les voies de droit cantonales, son grief est irrecevable (cf. supra consid. 2.2).
S'agissant du grief selon lequel les autorités fiscales n'auraient pas tenu compte du partage de la charge fiscale convenu avec son épouse, ce qui ferait obstacle à toute décision de taxation définitive, force est de constater que ce grief n'est pas motivé conformément aux exigences de l'<ref-law> - applicable par renvoi de l'<ref-law> -et que le recourant ne réfute aucunement le raisonnement développé à cet égard par la cour cantonale, laquelle a jugé que cette question relevait de la procédure de taxation et non de la procédure de mainlevée. Ce grief est par conséquent irrecevable.
6.
Sur le vu de ce qui précède, le recours doit être déclaré irrecevable. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 400 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour suprême du canton de Berne, Section civile, 2 e Chambre civile.
Lausanne, le 5 juillet 2013
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Hildbrand