Faits: A. Par ordonnance pénale du 2 mai 2013, le Ministère public de la République et canton du Jura a condamné A._ à une amende de 200 fr. pour infraction à l'art. 88 al. 1 LAVS. Cette condamnation faisait suite à une plainte pénale du 26 avril 2013 de la Caisse cantonale de compensation neuchâteloise (ci-après: la caisse) qui reprochait au prévenu de ne pas avoir fourni de déclaration de salaires pour l'année 2012. A réception de l'ordonnance pénale, A._ est intervenu auprès de la caisse pour qu'elle fasse le nécessaire dans les délais impartis "afin de supprimer l'ordonnance pénale". Par lettre datée du 3 mai 2013, la caisse a informé le Ministère public du retrait de sa plainte au motif que l'assuré avait retourné le relevé des salaires. A._ a reçu le 18 septembre 2013 un rappel de l'administration du district de Porrentruy relatif au paiement de l'amende et des frais judiciaires. Sur interpellation de sa part, le Ministère public l'a informé que l'ordonnance pénale était entrée en force et l'a invité à former une demande de révision que l'intéressé a déposée le 22 octobre 2013. B. Par jugement du 29 octobre 2013, la Cour pénale du Tribunal cantonal de la République et canton du Jura a refusé d'entrer en matière sur la demande de révision au motif que celle-ci devait être considérée comme abusive du fait que le requérant avait laissé s'écouler le délai d'opposition à l'ordonnance pénale sans réagir. C. A._ recourt en matière pénale contre cette décision, concluant à son annulation en ce sens qu'il soit entré en matière sur sa demande et la cause renvoyée à l'autorité cantonale pour traitement, sous suite de frais. Invitée à se déterminer, la Cour pénale a confirmé les considérants de son jugement et a conclu au rejet du recours.