Faits:
A.
Par ordonnance pénale du 2 mai 2013, le Ministère public de la République et canton du Jura a condamné A._ à une amende de 200 fr. pour infraction à l'<ref-law>. Cette condamnation faisait suite à une plainte pénale du 26 avril 2013 de la Caisse cantonale de compensation neuchâteloise (ci-après: la caisse) qui reprochait au prévenu de ne pas avoir fourni de déclaration de salaires pour l'année 2012.
A réception de l'ordonnance pénale, A._ est intervenu auprès de la caisse pour qu'elle fasse le nécessaire dans les délais impartis "afin de supprimer l'ordonnance pénale". Par lettre datée du 3 mai 2013, la caisse a informé le Ministère public du retrait de sa plainte au motif que l'assuré avait retourné le relevé des salaires.
A._ a reçu le 18 septembre 2013 un rappel de l'administration du district de Porrentruy relatif au paiement de l'amende et des frais judiciaires. Sur interpellation de sa part, le Ministère public l'a informé que l'ordonnance pénale était entrée en force et l'a invité à former une demande de révision que l'intéressé a déposée le 22 octobre 2013.
B.
Par jugement du 29 octobre 2013, la Cour pénale du Tribunal cantonal de la République et canton du Jura a refusé d'entrer en matière sur la demande de révision au motif que celle-ci devait être considérée comme abusive du fait que le requérant avait laissé s'écouler le délai d'opposition à l'ordonnance pénale sans réagir.
C.
A._ recourt en matière pénale contre cette décision, concluant à son annulation en ce sens qu'il soit entré en matière sur sa demande et la cause renvoyée à l'autorité cantonale pour traitement, sous suite de frais.
Invitée à se déterminer, la Cour pénale a confirmé les considérants de son jugement et a conclu au rejet du recours.

Considérant en droit:
1.
Le recourant invoque une violation de l'<ref-law> par la cour cantonale pour avoir considéré dans les circonstances d'espèce que sa demande de révision était abusive. Elle aurait dû examiner le moyen tiré du retrait de plainte de la caisse intervenu le lendemain du prononcé de l'ordonnance pénale.
1.1. L'<ref-law> permet à toute personne lésée par un jugement entré en force d'en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné. Les faits ou moyens de preuve invoqués doivent ainsi être nouveaux et sérieux. Les faits ou moyens de preuve sont inconnus lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (<ref-ruling> consid. 5.1.2 p. 66 s.). Ils sont sérieux lorsqu'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et que l'état de fait ainsi modifié rend possible un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 5.1.4 p. 68). La demande en révision en raison de faits ou de moyens de preuve nouveaux n'est soumise à aucun délai (art. 411 al. 2 in fine CPP).
1.2. La procédure du rescindant instituée par le CPP se déroule, en principe, en deux phases comprenant un examen préalable de la recevabilité (art. 412 al. 1 et 2 CPP) puis celui des motifs invoqués (art. 412 al. 3 et 4 et <ref-law>). Il s'agit de deux étapes d'une seule et même procédure de la compétence de la juridiction d'appel (art. 412 al. 1 et 3 CPP).
Aux termes de l'<ref-law>, la juridiction d'appel n'entre pas en matière sur la demande de révision si celle-ci est manifestement irrecevable ou non motivée ou si une demande de révision invoquant les mêmes motifs a déjà été rejetée par le passé. La procédure de non-entrée en matière selon cette disposition est en principe réservée à des vices de nature formelle. Il est néanmoins loisible à la juridiction d'appel de refuser d'entrer en matière si les motifs de révision invoqués apparaissent d'emblée non vraisemblables ou mal fondés (arrêt 6B_415/2012 du 14 décembre 2012 consid. 1.1).
La juridiction d'appel a refusé d'entrer en matière sans examen du moyen invoqué, en application de l'<ref-law> au motif que la demande était manifestement abusive.
1.3. L'abus de droit consiste à utiliser une institution juridique à des fins étrangères au but même de la disposition légale qui la consacre, de telle sorte que l'écart entre le droit exercé et l'intérêt qu'il est censé protéger soit manifeste (<ref-ruling> consid. 2.2 p. 74; <ref-ruling> consid. 1b p. 81). Une demande de révision dirigée contre une ordonnance pénale doit être qualifiée d'abusive si elle repose sur des faits que le condamné connaissait initialement, qu'il n'avait aucune raison légitime de taire et qu'il aurait pu révéler dans une procédure ordinaire mise en oeuvre par une simple opposition. En revanche, une révision peut entrer en considération à l'égard d'une ordonnance de condamnation pour des faits et des moyens de preuve importants que le condamné ne connaissait pas au moment du prononcé de l'ordonnance ou dont il ne pouvait pas se prévaloir ou n'avait pas de raisons de se prévaloir à cette époque (<ref-ruling> consid. 2.3 p. 75 s., jurisprudence qui conserve son actualité sous l'empire du CPP, voir arrêt 6B_310/2011 du 20 juin 2011 consid. 1.5 et réf. citées publié in SJ 2012 I 389). Ainsi, l'abus de droit ne peut être envisagé et opposé qu'avec retenue à celui qui sollicite une révision sur la base d'un fait qu'il connaissait déjà, mais qu'il n'a pas soumis au juge de la première procédure, (<ref-ruling> consid. 2.2 p. 74).
1.4. En l'espèce, il est constant que le recourant n'a appris l'existence de la poursuite pénale qu'à réception de l'ordonnance pénale le 2 mai 2013. Il n'a pas été entendu par le Ministère public. Il a immédiatement réagi en s'adressant le 3 mai à la caisse pour exposer les motifs pour lesquels la plainte n'était pas fondée et l'inviter à la retirer en l'enjoignant de faire le nécessaire pour que l'ordonnance pénale du 2 mai soit annulée. La caisse s'est exécutée le jour même en adressant au Ministère public sa lettre de retrait de plainte. A ce moment-là, l'ordonnance pénale n'était pas entrée en force de chose jugée, le délai d'opposition n'étant pas écoulé (<ref-law>). Le recourant, qui n'était pas représenté par un avocat à l'époque, était fondé à croire que la lettre de retrait de plainte allait aboutir à l'annulation de l'ordonnance pénale. On ne pouvait pas attendre de lui qu'il comprenne que le retrait de plainte n'allait pas entraîner l'extinction de l'action pénale, comme cela aurait été le cas s'il s'était agi d'une infraction poursuivable sur plainte uniquement (<ref-law>). Au demeurant, bien que la loi ne le précise pas (<ref-law>), le lésé doit adresser à l'autorité en charge de la procédure le retrait de sa plainte ( NICOLAS JEANDIN/HENRY MATZ, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 3 ad <ref-law>). Aussi, on ne peut pas reprocher au recourant d'avoir cru (à tort ou à raison) que le Ministère public allait revenir sur sa décision pour tenir compte du retrait de plainte. Dans ces circonstances, le recourant pouvait considérer, sans abus de droit, qu'il n'avait pas à se prévaloir du retrait de plainte par une opposition à l'ordonnance pénale. La négligence que lui reproche l'autorité cantonale ne suffit pas à rendre abusive, et partant, irrecevable sa demande de révision.
2.
En définitive, le recours doit être admis, l'arrêt attaqué annulé dans la mesure où il déclare irrecevable la demande de révision du recourant et la cause renvoyée à l'autorité cantonale pour qu'elle entre en matière et se prononce sur la requête (art. 412 al. 3 et 4 et 413 CPP). Le recourant obtient gain de cause. Il ne supporte pas de frais (art. 65 al. 2 et 66 al. 1 LTF). Il peut prétendre à de pleins dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis. Le jugement du 29 octobre 2013 est annulé dans la mesure où il refuse d'entrer en matière sur la demande de révision de A._, et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton du Jura versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal de la République et canton du Jura.
Lausanne, le 7 avril 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Vallat