Faits:
A.
Par jugement du 4 septembre 2009, le Président de l'arrondissement judiciaire de Courtelary-Moutier-La Neuveville (aujourd'hui Tribunal régional Jura Bernois-Seeland, Agence du Jura Bernois) a condamné X._ pour dénonciation calomnieuse et faux dans les titres à une peine pécuniaire de 70 jours-amende, à 80 fr. le jour avec sursis pendant 5 ans, et à une peine pécuniaire additionnelle de 20 jours-amende ferme, à 80 fr. le jour.
B.
Par jugement du 5 février 2013, la 2e Chambre pénale de la section pénale de la Cour suprême du canton de Berne a considéré que la demande de révision du jugement du 4 septembre 2009, présentée par X._ le 29 octobre 2012, était abusive et a refusé d'entrer en matière sur celle-ci, conformément à l'<ref-law>.
C.
X._ forme un recours auprès du Tribunal fédéral contre le jugement du 5 février 2013. Il conclut à l'annulation de cette décision ainsi que celle rendue le 4 septembre 2009. Il requiert également que le Tribunal fédéral s'assure que toutes les pièces sont à disposition au "Tribunal régional de Moutier".

Considérant en droit:
1.
Nonobstant le recours rédigé en allemand, il n'y a aucune raison en l'espèce de déroger au principe énoncé à l'<ref-law>, selon lequel l'arrêt est rendu dans la langue de la décision attaquée.
2.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 542). Le recourant conclut à l'annulation des jugements du 4 septembre 2009 et du 5 février 2013. Une telle conclusion n'est, en principe, pas suffisante (<ref-ruling> consid. 1.3 p. 383). Les motifs du recours permettent cependant de comprendre que l'intéressé veut que la demande de révision soit acceptée et le jugement du 4 septembre 2009 mis à néant. Cela suffit pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (voir arrêt 6B_532/2012 du 8 avril 2013 consid. 1).
3.
Le recourant soutient que le jugement entrepris serait arbitraire, l'autorité précédente n'ayant pas examiné les pièces versées au dossier de la procédure ayant abouti au jugement du 4 septembre 2009, s'étant fondée sur ce jugement, lui-même arbitraire, et ayant passé sous silence l'absence illégale de motivation écrite de cette dernière décision. Il invoque en outre des violations du droit fédéral, cantonal et constitutionnel.
3.1. La demande de révision et la décision attaquée sont postérieures à l'entrée en vigueur du CPP. Les règles de compétence et de procédure des <ref-law> s'appliquent. Les motifs de révision pertinents sont en revanche ceux prévus par le droit applicable au moment où la décision dont la révision est demandée a été rendue. Le motif de révision prévu à l'<ref-law> correspond toutefois à celui de l'<ref-law> (arrêt 6B_310/2011 du 20 juin 2011 consid. 1.1 et réf. cit.).
3.2. L'<ref-law> permet à toute personne lésée par un jugement entré en force d'en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné. Les faits ou moyens de preuve invoqués doivent ainsi être nouveaux et sérieux.
Les faits ou moyens de preuve sont inconnus lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (<ref-ruling> consid. 5.1.2 p. 66 - 67). Ils sont sérieux lorsqu'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et que l'état de fait ainsi modifié rend possible un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 5.1.4 p. 68)
3.3. Aux termes de l'<ref-law>, la juridiction d'appel n'entre pas en matière sur la demande de révision si celle-ci est manifestement irrecevable ou non motivée ou si une demande de révision invoquant les mêmes motifs a déjà été rejetée par le passé. La procédure de non-entrée en matière selon cette disposition est en principe réservée à des vices de nature formelle. Il est toutefois également possible de prononcer une décision de non-entrée en matière lorsque les motifs de révision invoqués apparaissent d'emblée non vraisemblables ou mal fondés (arrêt 6B_415/2012 du 14 décembre 2012 consid. 1.1).
3.4. Le recourant a invoqué à l'appui de sa demande de révision du jugement du 4 septembre 2009 que cette décision orale n'était pas motivée et qu'il avait été condamné parce que le "Tribunal de Moutier" n'acceptait pas le jugement rendu le 21 mars 2005. Il a dénoncé la "pratique courante" de l'autorité ayant rendu le jugement du 4 septembre 2009 de ne pas prendre en considération des moyens de preuve déposés par les partie et s'est référé à des pièces datant de sa procédure de divorce qui s'est déroulée de 1999 à 2005. La cour cantonale a constaté que le recourant ne soulevait aucun argument nouveau qui n'avait pas été présenté au juge ayant statué le 4 septembre 2009. Elle a en outre souligné que le recourant n'avait pas fait appel du jugement du 4 septembre 2009 et que la convocation, le 10 octobre 2012, en vue de l'exécution de ce jugement ne pouvait justifier une entrée en matière sur la demande de révision.
3.5. Le recourant allègue que des moyens de preuve, versés au dossier constitué avant le prononcé du jugement du 4 septembre 2009, ont été ignorés. Il n'apporte toutefois aucune précision sur ceux-ci, se contentant de citer deux pièces dont il indique qu'elles ont été examinées - et écartées - par l'autorité ayant rendu cette décision. Ce faisant, le recourant n'établit pas l'existence de faits ou moyens de preuves inconnus de cette autorité et de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère. Il n'invoque ainsi aucun élément nouveau susceptible d'être pris en considération dans le cadre de l'<ref-law>. C'est sans violer le droit fédéral que la cour cantonale a refusé d'entrer en matière selon l'<ref-law>.
3.6. Le recourant dénonce encore diverses prétendues violations du droit constitutionnel, fédéral et cantonal. Les griefs formés contre les décisions antérieures au jugement du 5 février 2013 sont irrecevables, ces décisions n'étant pas, respectivement plus susceptibles d'être attaquées auprès du Tribunal fédéral. Ceux formulés contre le jugement attaqué le sont également faute pour le recourant de motiver ces moyens conformément aux exigences posées par les art. 42 al. 2 et 106 al. 2 LTF (sur ces exigences, cf. <ref-ruling> consid. 1.4 p. 176; <ref-ruling> consid. 2 p. 245). Il est au demeurant précisé que le reproche du recourant à l'autorité ayant rendu le jugement du 4 septembre 2009 de n'avoir pas motivé par écrit son jugement à la suite de ses recours est infondé, dans la mesure où il n'a pas contesté en temps utile cette décision, comme le Tribunal fédéral l'a déjà relevé (cf. arrêt 6B_983/2009 du 22 février 2010).
4.
Dans ces circonstances, la conclusion en vérification par le Tribunal fédéral de l'exhaustivité du dossier du "Tribunal de Moutier", non motivée, ne peut qu'être écartée.
5.
Le recours doit être rejeté dans la mesure de sa recevabilité et aux frais du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la 2ème Chambre pénale de la section pénale de la Cour suprême du canton de Berne.
Lausanne, le 9 juillet 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod