Faits:
A.
A._ est domicilié à U._. Au terme d'une procédure en soustraction d'impôt initiée contre lui par le Service des contributions du canton du Jura (ci-après le Service cantonal), cette autorité a, par décision du 3 octobre 2011 concernant tant l'impôt fédéral direct (ci-après IFD) que l'impôt d'Etat (impôt cantonal, communal et ecclésiastique), procédé à des rappels d'impôt en relation avec les périodes fiscales 1995 à 2002 et à des reprises fiscales en relation avec les périodes fiscales 2003 à 2010, assortis d'amendes pour soustraction, respectivement tentative de soustraction. Cette décision a été confirmée sur réclamation le 9 décembre 2011.
B.
Saisie sur recours de A._, la Commission cantonale des recours en matière d'impôts du canton du Jura (ci-après la Commission de recours) a rendu, le 1 er octobre 2012, une décision constatant la prescription de l'impôt d'Etat pour la période fiscale 1996 et celle de l'IFD pour la période fiscale 1995-1996, rejetant le recours pour le surplus. Entre autres éléments, la Commission de recours a retenu, sur le fond, que A._ n'avait pas respecté ses obligations de procédure en n'apportant pas de pièces justificatives démontrant la provenance et l'affectation d'un montant de 436'053 fr. 90 retiré d'un compte bancaire non déclaré le 23 mai 2005, de sorte que le Service des contributions avait à juste titre ajouté, pour les périodes fiscales 2005 à 2010 (<ref-law>), un montant équivalent à sa fortune imposable, ainsi qu'un rendement de cette fortune à son revenu imposable, estimé à 10'000 fr. par année. Il en résultait un montant total dû par A._ de 254'131 fr. pour l'impôt d'Etat et de 20'257 fr. 15 pour l'IFD pour l'ensemble des périodes fiscales considérées, amendes comprises.
A._ a recouru contre la décision du 1 er octobre 2012 auprès de la Cour administrative du Tribunal cantonal jurassien (ci-après le Tribunal cantonal). Entre autres griefs relatifs à divers éléments qui ont fait l'objet de rappels d'impôt ou de reprises, il a allégué que le montant de 436'053 fr. 90 qu'il avait retiré d'un compte bancaire le 23 mai 2005 provenait d'un prêt qui lui avait été accordé par des mécènes et qu'il avait remboursé à ces derniers, de sorte que ce montant ne devait pas figurer dans sa fortune imposable à partir de l'année 2005 et qu'il n'y avait de ce fait pas lieu non plus d'ajouter un rendement de fortune y afférent à son revenu imposable.
Par arrêt du 12 septembre 2013, le Tribunal cantonal a admis partiellement le recours et annulé la décision attaquée en ce qui concerne le rappel d'impôt et l'amende relatifs à la période fiscale 1997, tant en matière d'IFD que pour l'impôt d'Etat, en raison de la prescription. Il l'a rejeté pour le surplus, confirmant ainsi, en particulier, les reprises effectuées dans la fortune et le revenu de A._ en relation avec le montant susmentionné de 436'053 fr. 90 et son rendement estimé. Les juges cantonaux ont fixé un impôt complémentaire de 208'355 fr. 70 pour l'impôt d'Etat et de 15'624 fr. 15 pour l'IFD pour l'ensemble des périodes fiscales considérées, amendes comprises.
C.
A._ recourt au Tribunal fédéral par la voie du recours en matière de droit public contre l'arrêt du 12 septembre 2013. Sous suite de frais et dépens, il conclut, à titre principal, à l'annulation de l'arrêt attaqué, de la décision de la Commission de recours du 1 er octobre 2012 et de la décision sur réclamation du Service cantonal du 9 décembre 2011, ainsi qu'au renvoi de l'affaire au Service cantonal, subsidiairement au Tribunal cantonal, pour nouvelle décision. A titre subsidiaire, il demande au Tribunal fédéral de " rendre une nouvelle décision, soit fixer les impôts supplémentaires, les amendes et les intérêts sans tenir compte, au titre de revenus, des montants remis par les mécènes, ni en ajoutant le montant de 346'000 fr. retiré et restitué par le recourant à ces mécènes en 2005, ni en ajoutant un revenu hypothétique de ce montant de 346'000 fr. ".
Le Tribunal cantonal conclut au rejet du recours et à la confirmation de son arrêt. Le Service cantonal conclut au rejet du recours et au constat que l'impôt supplémentaire dû tant en matière d'impôt d'Etat que d'IFD pour l'année fiscale 1998 est prescrit et, partant, à la fixation du montant d'impôt supplémentaire dû, amendes comprises, à 135'218 fr. 10 pour l'impôt d'Etat et à 11'261 fr. 15 pour l'IFD. L'Administration fédérale des contributions se rallie aux observations et aux conclusions formulées par le Service cantonal.

Considérant en droit:
1.
Le Tribunal cantonal a rendu un seul arrêt valant pour les deux procédures de rappel d'impôt et de soustraction fiscale portant à la fois sur l'IFD et sur l'impôt d'Etat, ce qui est admissible, dès lors que l'arrêt attaqué contient des motivations distinctes pour chaque catégorie d'impôt (cf. <ref-ruling> consid. 1.3.1 p. 262 s.; arrêt 2C_180/2013 du 5 novembre 2013 consid. 1). Dans ces circonstances, on ne peut reprocher au recourant d'avoir pris des conclusions valant pour les deux procédures dans son recours devant le Tribunal fédéral, dès lors que l'on peut déduire de la motivation qu'il s'en prend tant à l'IFD qu'à l'impôt d'Etat (<ref-ruling> consid. 1.3.2 p. 263 s.; arrêt 2C_239/2013 du 27 mai 2014 consid. 1.1) en ce qui concerne l'impôt sur le revenu.
Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt d'Etat (2C_986/2013), l'autre l'IFD (2C_987/2013). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]).
2.
2.1. Le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>, de sorte que la voie du recours en matière de droit public est en principe ouverte. Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il a qualité pour recourir (cf. <ref-law>).
2.2. Les conclusions principales du recourant portent sur l'annulation de l'arrêt attaqué, de la décision de la Commission de recours du 1er octobre 2012 et de la décision sur réclamation du Service cantonal du 9 décembre 2011, et sur le renvoi de la cause à la Commission de recours, subsidiairement au Tribunal cantonal. Etant donné l'effet dévolutif du recours, le recourant ne peut s'en prendre qu'à l'arrêt attaqué, de sorte que le recours est irrecevable dans la mesure où il est dirigé contre les décisions antérieures (<ref-ruling> consid. 1.2 p. 543; arrêt 2C_1066/2013 du 27 mai 2014 consid. 1.2).
Quant aux conclusions subsidiaires, elles contiennent manifestement une erreur de transcription en faisant référence à un montant de 346'000 fr.; le montant correct qui aurait dû être indiqué est " 436'000 fr. ", de manière à correspondre aux 436'053 fr. 90 retirés d'un compte bancaire en mai 2005 par le recourant. Cette erreur de transcription doit être corrigée d'office (cf. <ref-law>). Par ailleurs, la formulation des conclusions subsidiaires est imprécise en tant que le recourant demande au Tribunal fédéral de rendre une nouvelle décision " sans tenir compte, au titre de revenus, des montants remis par les mécènes au recourant ", alors que les montants en question (en réalité l'unique montant de 436'053 fr. 90) a fait l'objet d'une reprise dans la fortune imposable du recourant, les reprises litigieuses dans le revenu imposable étant liées au rendement supposé de cette fortune. Selon la jurisprudence toutefois, les conclusions doivent être interprétées, selon le principe de la confiance, à la lumière de la motivation, et l'interdiction du formalisme excessif commande de ne pas se montrer trop strict dans la formulation si, à la lecture du mémoire, on comprend clairement ce que veut le recourant (arrêts 4A_688/2011 consid. 2 non publié in <ref-ruling>; 4A_375/2012 consid. 1.2 non publié in <ref-ruling>; Florence Aubry Girardin, Commentaire de la LTF, 2e éd. 2014, n° 18 ad <ref-law>). Dès lors que l'on comprend de la motivation du recours que, devant la Cour de céans, le recourant entend obtenir l'annulation des reprises effectuées en relation avec l'existence du retrait d'un montant de 436'053 fr. 90 en mai 2005, à savoir, d'une part, celle qui a été effectuée dans sa fortune imposable pour les périodes fiscales 2005 à 2010 et, d'autre part, celle effectuée dans son revenu imposable pour les mêmes périodes fiscales et correspondant au rendement estimé de cette fortune, on peut admettre que les exigences de l'<ref-law> sont remplies.
Il ressort des conclusions et de la motivation que le recourant ne conteste pas devant le Tribunal fédéral l'entier de l'arrêt attaqué, mais seulement le bien-fondé des reprises liées au montant de 436'053 fr. 90 retiré d'un compte bancaire en mai 2005. Partant, seules les périodes fiscales 2005 à 2010 sont concernées par la présente procédure.
2.3. Au surplus, le recours a été déposé en temps utile (<ref-law>), de sorte qu'il convient d'entrer en matière.
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), ainsi que du droit cantonal harmonisé (<ref-ruling> consid. 2 p. 210; arrêt 2C_128/2014 du 25 juillet 2014 consid. 1.2.1). Par ailleurs, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant ( "principe d'allégation ", <ref-law>; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 1.2 p. 234; <ref-ruling> consid. 1.4.2 p. 254).
3.2. Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - c'est-à-dire arbitrairement (<ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). D'une manière générale, la correction du vice doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). Le recourant doit expliquer de manière circonstanciée (<ref-ruling> consid. 3, p. 105), dans une argumentation répondant aux exigences de l'<ref-law> (cf. <ref-ruling> consid. 1.4 p. 176), en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 1.3; <ref-ruling> consid. 5.4; arrêt 2C_918/2012 du 11 février 2013 consid. 2.1). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104; voir aussi arrêt 4A_326/2007 du 29 novembre 2007 consid. 4.1).
3.3. S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables.
3.4. En l'espèce, le recourant s'en prend à l'appréciation des preuves effectuée par le Tribunal cantonal, au motif que ses explications, selon lesquelles le montant de 436'000 fr. lui aurait été prêté par des mécènes qu'il aurait remboursé, auraient été " admises comme faits " par celui-ci, mais considérées de manière abusive comme non pertinentes.
Il est douteux que la formulation de ce grief réponde aux exigences de motivation accrues de l'<ref-law>. Quoi qu'il en soit, le grief est de toute manière infondé. Le recourant soutient à tort que le Tribunal cantonal aurait considéré comme faits établis ses explications au sujet de ce montant, alors que tel n'est précisément pas le cas. L'arrêt attaqué ne contient aucune mention selon laquelle il serait établi que le montant en question proviendrait d'un prêt de mécènes; par ailleurs, il retient qu'en refusant de démontrer l'affectation de ce montant le recourant n'a pas rempli son obligation de renseigner l'administration et qu'il devait supporter le fardeau de la preuve justifiant son assujettissement (recte: exonération; arrêt attaqué, consid. 5.2). Le grief lié à l'appréciation des preuves est en conséquence rejeté.
4.
Comme indiqué (cf. supra consid. 2.2 in fine), l'objet du litige devant le Tribunal fédéral concerne uniquement le traitement fiscal du montant de 436'053 fr. 90 que le recourant a retiré d'un compte bancaire non déclaré en mai 2005. Celui-ci conteste que ce montant soit encore à sa disposition, de sorte qu'il s'oppose aux reprises y afférentes effectuées dans son revenu et sa fortune imposables pour les périodes fiscales 2005 à 2010.
Dès lors que seules ces périodes fiscales font l'objet de la présente procédure, il n'y a pas lieu d'examiner la prescription et la péremption du rappel d'impôt de la période fiscale 1998 (cf. supra consid. C in fine), celle-ci n'étant plus objet du litige devant la Cour de céans.
Impôt fédéral direct
5.
Le recourant conteste les reprises de 10'000 fr. par année effectuées dans son revenu imposable pour les années 2005 à 2010, correspondant au rendement estimé du montant de 436'053 fr. 90. Il allègue que le Tribunal cantonal a violé les règles relatives à la répartition du fardeau de la preuve en retenant qu'il lui incombait d'établir qu'il ne disposait plus de cette somme après l'avoir retirée d'un compte bancaire en mai 2005. Il considère que le Tribunal cantonal exige de lui la fourniture de la preuve d'un fait négatif, alors qu'il revient au contraire à l'autorité d'établir l'existence d'éléments de revenu et de fortune imposables. Il soutient également, toujours en lien avec les règles sur le fardeau de la preuve, que le raisonnement du Tribunal cantonal aboutit à l'établissement d'une présomption réfragable selon laquelle, dès qu'un retrait d'argent est effectué par un contribuable, il incombe à ce dernier de prouver qu'il ne l'a pas conservé, respectivement qu'il en a disposé, sous peine de risquer une reprise fiscale.
5.1. Ce grief a trait à la question du fardeau de la preuve au cours de la procédure de taxation.
5.1.1. Selon l'<ref-law>, les autorités de taxation établissent les éléments de fait et de droit permettant une taxation complète et exacte, en collaboration avec le contribuable. La procédure de taxation est ainsi caractérisée par la collaboration réciproque de l'autorité fiscale et du contribuable (procédure de taxation mixte; cf. arrêts 2C_977/2013 du 1er mai 2014 consid. 4.1, in RF 69/2014 p. 539; 2C_1201/2012 du 16 mai 2013 consid. 4.3). Le contribuable est tenu de faire tout ce qui est nécessaire pour assurer une taxation complète et exacte (<ref-law>). Il doit en particulier remplir la déclaration d'impôt de manière conforme à la vérité et complète (<ref-law>) et fournir les documents nécessaires (<ref-law>). A la demande de l'autorité de taxation, il est tenu de fournir tout renseignement écrit ou oral, spécialement lorsque, au vu de la déclaration d'impôt, des questions surgissent à propos des revenus, des frais d'acquisition, de l'évolution de la fortune, etc. (<ref-law>). Le contribuable porte ainsi la responsabilité de l'exactitude de sa déclaration (arrêt 2C_977/2013 du 1er mai 2014 consid. 4.1, in RF 69/2014 p. 539).
5.1.2. En vertu de la maxime inquisitoire applicable à la procédure de taxation, l'autorité de taxation n'est pas liée par les éléments imposables reconnus ou déclarés par le contribuable. Elle doit apprécier les preuves avec soin et conscience. Sous cette réserve, elle forme librement sa conviction en analysant la force probante des preuves administrées, en choisissant entre les preuves contradictoires ou les indices contraires qu'elle a recueillis. Cette liberté d'appréciation, qui doit s'exercer dans le cadre de la loi, n'est limitée que par l'interdiction de l'arbitraire (arrêt 2C_1201/2012 du 16 mai 2013 consid. 4.5 et les références citées). Il n'est pas indispensable que la conviction de l'autorité de taxation confine à une certitude absolue qui exclurait toute autre possibilité; il suffit qu'elle découle de l'expérience de la vie et du bon sens et qu'elle soit basée sur des motifs objectifs (arrêts 2C_1201/2012 du 16 mai 2013 consid. 4.5; 2C_421/2010 du 2 novembre 2010 consid. 3.4).
5.1.3. Il peut arriver que, même après l'instruction menée par l'autorité, un fait déterminant pour la taxation reste incertain. Ce sont alors les règles générales sur le fardeau de la preuve qui s'appliquent pour déterminer qui doit supporter les conséquences de l'échec de la preuve ou de l'absence de preuve d'un tel fait (arrêts 2C_1021/2013 du 28 mars 2014 consid. 5.2; 2C_416/2013 du 5 novembre 2013 consid. 10.2.2 et les références citées, non publié in <ref-ruling>, mais in Archives 82 p. 374; 2C_1201/2013 du 16 mai 2013 consid. 4.6). La répartition du fardeau de la preuve est une question de droit (<ref-ruling> consid. 5 p. 327; arrêt 2C_239/2013 du 27 mai 2014 consid. 5.1).
5.1.4. En matière fiscale, les règles générales sur le fardeau de la preuve ont pour effet que l'autorité fiscale doit établir les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment (<ref-ruling> consid. 3.5 p. 252; <ref-ruling> consid. 4.3 p. 158; arrêts 2C_1081/2013 du 2 juin 2014 consid. 5.5 et les références citées; 2C_239/2013 du 27 mai 2014 consid. 5.1). Par ailleurs, le contribuable doit prouver l'exactitude de sa déclaration d'impôt et de ses explications ultérieures. On ne peut pas demander au contribuable de prouver un fait négatif, par exemple qu'il n'a pas d'autres revenus que ceux annoncés. Il incombe en effet à l'autorité fiscale d'apporter la preuve de l'existence d'éléments imposables qui n'ont pas été annoncés (arrêt 2C_1201/2013 du 13 mai 2013 consid. 4.6). Mais, si les preuves recueillies par l'autorité fiscale apportent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient à nouveau au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (arrêts 2C_937/2013 du 6 juin 2014 consid. 2.1; 2C_1081/2013 du 2 juin 2014 consid. 5.5 et les références citées).
Ces règles s'appliquent également à la procédure devant les autorités de recours en matière fiscale (arrêt 2A.105/2007 du 3 septembre 2007 consid. 4.4, in RDAF 2007 II 299).
5.1.5. En l'espèce, il ressort de l'arrêt attaqué que l'autorité fiscale a démontré l'existence du retrait d'un montant de 436'053 fr. 90 en mai 2005 par le recourant. Ce retrait a été effectué à partir d'un compte bancaire non déclaré par l'intéressé, et aucun élément ne permet de conclure que le recourant aurait disposé de ce montant ou l'aurait dépensé d'une quelconque manière. L'autorité fiscale a ainsi recueilli des éléments apportant suffisamment d'indices que le recourant disposait du montant de 436'053 fr. 90 depuis la période fiscale 2005 et qu'il en retirait un revenu. En conséquence, c'est à juste titre que le Tribunal cantonal a jugé qu'il incombait au recourant de supporter le fardeau de la preuve du fait justifiant son exonération et d'établir l'exactitude de ses allégations. Il ne s'agit pas de la fourniture d'un fait négatif, mais de démontrer à quoi ce montant a été affecté ou à qui il a été versé, ce qui est un fait positif. Or, à la question de la provenance et de l'affectation de ce montant, le recourant a, selon les constatations de l'arrêt attaqué, varié dans ses déclarations, affirmant dans un premier temps que cette somme était le résultat d'économies faites sur son salaire (ce qui n'aurait d'ailleurs pas eu pour effet d'annuler les reprises litigieuses), pour soutenir ensuite qu'il provenait d'un prêt de mécènes qu'il aurait remboursé. Il n'a toutefois pas voulu fournir d'indication quant à l'identité desdits mécènes ou de pièces justificatives propres à démontrer la véracité de ses affirmations. En pareilles circonstances, le Tribunal cantonal était fondé à ne pas tenir pour établies les allégations du recourant concernant un prétendu prêt et à considérer que le recourant disposait encore de ce montant après l'avoir retiré, en mai 2005, du compte bancaire non déclaré où il était déposé. L'estimation selon laquelle ce montant produirait un rendement annuel de 10'000 fr., ce qui correspond à taux d'environ 2,2%, est au demeurant raisonnable et conforme à l'expérience de la vie.
Au vu de ce qui précède, c'est également en vain que le recourant soutient que le raisonnement du Tribunal cantonal reviendrait à poser une présomption réfragable que tout retrait bancaire constituerait un risque de reprise fiscale pour un contribuable. En effet, vu l'importance du montant en cause, retiré en une fois d'un compte bancaire non déclaré, il se justifiait en l'espèce de considérer que ce montant était toujours à la disposition du recourant. La situation du cas d'espèce est donc bien différente de celle du contribuable qui retire des montants d'un compte bancaire déclaré pour financer ses frais usuels.
6.
Le recourant invoque également, de manière sommaire et sans citer de dispositions conventionnelles ou constitutionnelles, la violation du droit de ne pas s'incriminer soi-même. On peut se demander si ce grief est recevable devant le Tribunal fédéral dans la mesure où il porte sur une question qui n'a pas fait l'objet du litige devant l'instance précédente (cf. arrêt 2C_ 577/2013 du 4 février 2014 consid. 6.3). Ce point peut toutefois rester ouvert. En effet, tel que formulé, ce grief ne répond pas aux exigences de motivation accrues de l'<ref-law> (cf. supra consid. 3.1), de sorte qu'il est irrecevable pour ce motif. Il est au demeurant difficile de saisir de quoi se plaint le recourant, dès lors qu'il aurait été en l'espèce dans son intérêt de fournir des éléments de preuve corroborant l'affirmation selon laquelle il aurait disposé du montant de 436'053 fr. 90. Ainsi, loin d'amener le recourant à s'incriminer lui-même, pareilles indications auraient donc au contraire été de nature à permettre, le cas échéant, de le " disculper ".
7.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité en ce qu'il concerne l'IFD.
Impôt d'Etat
8.
Les reprises litigieuses ont trait, d'une part, à la fortune représentée par le montant de 436'053 fr. 90 et, d'autre part, au rendement de cette fortune, estimé à 10'000 fr. par année. Le recourant formule à cet égard les mêmes griefs à l'encontre de l'impôt d'Etat qu'à l'encontre de l'IFD.
Les principes généraux et la procédure de taxation (titre 5 chapitre 1, en particulier les art. 42 et 46 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [ci-après: LHID; RS 642.14]) font partie des matières harmonisées figurant aux titres 2 à 5 et 6 chapitre 1 LHID.
L'<ref-law> règle les obligations du contribuable, qui doivent être reprises par les législations cantonales. Tel est le cas de l'art. 138 de la loi d'impôt du canton du Jura (ci-après LI; RSJU 641.11), qui est conforme à l'<ref-law>. L'<ref-law> correspond par ailleurs mot pour mot à l'<ref-law>.
Quant à l'<ref-law>, il prévoit, comme l'<ref-law>, que l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires. Selon l'art. 133 al. 4 LI, l'autorité est tenue d'examiner les faits allégués par le contribuable ainsi que les preuves offertes, et d'administrer les preuves requises, dans la mesure où ces moyens ne paraissent pas d'emblée dénués de pertinence. Cette disposition, consacrant le caractère inquisitoire de la procédure de taxation, est conforme à l'<ref-law>.
Il s'ensuit que les considérations développées ci-dessus pour la répartition du fardeau de la preuve en matière d'IFD s'appliquent également à l'impôt d'Etat. En conséquence, le recours est également rejeté dans la mesure de sa recevabilité en ce qu'il concerne l'impôt d'Etat.
9.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>) et n'a pas droit à des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Les causes 2C_986/2013 et 2C_987/2013 sont jointes.
2.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté dans la mesure de sa recevabilité en tant qu'il concerne l'impôt d'Etat.
4.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Service des contributions du canton du Jura, au Tribunal cantonal de la République et canton du Jura, Cour administrative, et à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 15 septembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Vuadens