Faits :
A.
En date du 20 février 2019, X._ a déposé plainte pour "taxations abusives, escroqueries, fraude et malversations par X du Personnel cantonal jurassien des contributions" dans l'établissement des taxations 1998 à 2004, "escroquerie dans l'établissement de la Décision pour gain immobilier" du 2 avril 2015, "recel d'escroquerie dans l'établissement de la taxation 2012", "escroquerie dans l'établissement des taxations" 2013 à 2015 et "malveillance dans le non-traitement" de ses déclarations d'impôt 2016 à 2018.
B.
Par ordonnance du 4 mars 2019, le Ministère public de la République et canton du Jura a refusé d'entrer en matière sur la plainte de X._ et laissé les frais à la charge de l'Etat. Selon le procureur en charge du dossier, un litige tel que celui en cause, relatif à la prise en compte d'éléments de revenus ou de pertes d'exploitation dans la taxation fiscale n'était pas constitutif d'un délit pénal. Le litige relevait de toute évidence du droit fiscal et de la procédure d'opposition et de recours aux différentes taxations fiscales.
C.
Par décision du 16 avril 2019, la Chambre pénale des recours du Tribunal cantonal de la République et canton du Jura a rejeté, dans la mesure de sa recevabilité, le recours formé par X._ à l'encontre de l'ordonnance de non-entrée en matière du 4 mars 2019 et mis les frais judiciaires, par 700 fr., à la charge du prénommé.
D.
Par acte du 29 avril 2019, X._ a formé un recours en matière pénale au Tribunal fédéral contre la décision du 16 avril 2019 de la Chambre pénale des recours du Tribunal cantonal de la République et canton du Jura. Il a complété son écriture par acte du 11 juin 2019.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office (art. 29 al. 1 LTF) et librement la recevabilité des recours qui lui sont soumis (ATF 143 IV 357 consid. 1 p. 358).
1.1. L'écriture déposée le 11 juin 2019 est irrecevable, faute d'avoir été déposée dans le délai de recours (art. 44 ss LTF).
1.2. Conformément à l'art. 42 al. 1 LTF, le mémoire de recours doit être motivé et contenir des conclusions. Celles-ci doivent exprimer sur quels points la décision entreprise doit être modifiée et comment. La jurisprudence a aussi déduit de cette norme l'obligation pour le recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (ATF 141 IV 1 consid. 1.1 p. 4). Les motifs doivent, en outre, exposer succinctement en quoi la décision attaquée viole le droit (art. 42 al. 2 LTF). Selon la jurisprudence, pour répondre à cette exigence, la partie recourante est tenue de discuter au moins sommairement les considérants de l'arrêt entrepris (ATF 140 III 86 consid. 2 et 115 consid. 2; 134 II 244 consid. 2.1); en particulier, la motivation doit être topique, c'est-à-dire se rapporter à la question juridique tranchée par l'autorité cantonale (ATF 123 V 335; arrêt 6B_970/2017 du 17 octobre 2017 consid. 4).
1.3. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO (ATF 141 IV 1 consid. 1.1 p. 4).
En l'espèce, le recourant soutient avoir été obligé de porter plainte contre "contre X du Service cantonal [des contributions du canton Jura]". Il demeure toutefois muet au sujet des prétentions qu'il entend déduire des infractions dénoncées. Quoi qu'il en soit, conformément à l'art. 63 de la Loi jurassienne sur le personnel de l'Etat (RS/JU 173.11), l'Etat du Jura répond du dommage causé sans droit à un tiers par un employé dans l'exercice de sa charge (al. 1), le lésé n'ayant aucune action contre l'employé (al. 2). Il s'ensuit qu'en l'occurrence, le recourant peut tout au plus faire valoir des prétentions de droit public. Or, conformément à la jurisprudence constante (ATF 131 I 455 consid. 1.2.4 p. 461; cf. récemment arrêt 6B_540/2019 du 23 mai 2019 consid. 1.2), de telles prétentions ne sont pas assimilables aux prétentions civiles visées par l'art. 81 al. 1 let. b ch. 5 LTF. Le recourant n'a dès lors pas qualité pour recourir sous cet angle.
1.4. L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas non plus en considération, le recourant ne soulevant aucun grief recevable quant à son droit de porter plainte.
1.5. Indépendamment des conditions posées par l'art. 81 al. 1 LTF, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. ATF 141 IV 1 consid. 1.1 p. 5).
En l'espèce, le recourant ne présente aucun grief de cette nature et n'a donc pas non plus qualité pour recourir à ce titre.
1.6. Il sied, par surabondance, de relever que le recourant se limite pour l'essentiel à reprendre le contenu de sa plainte et à réitérer ses accusations sans discuter, griefs topiques à l'appui, contrairement aux exigences de motivation (art. 42 al. 2 LTF), les motifs de la décision attaquée. Son recours est de surcroît dépourvu de conclusion.
2.
Au vu de ce qui précède, le recours doit être déclaré irrecevable selon la procédure simplifiée prévue par l'art. 108 al. 1 let. a et b LTF. Le recourant, qui succombe, supporte les frais judiciaires (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Président prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton du Jura, Chambre pénale des recours.
Lausanne, le 18 juin 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens