Faits :
A.
Par jugement du 20 mai 1986, le Tribunal correctionnel du district de Lausanne a condamné X._ pour escroquerie manquée, faux dans les titres et faux dans les titres qualifiés à une peine privative de liberté de deux ans et demi ainsi qu'au paiement d'une partie des frais de justice.
Son recours contre cette décision a été rejeté dans la mesure de sa recevabilité par la Cour de cassation pénale du Tribunal cantonal vaudois par arrêt du 29 septembre 1986. Le recours formé par X._ contre cet arrêt a été déclaré irrecevable par le Tribunal fédéral par arrêt du 5 mars 1987.
B.
Par jugement du 23 juillet 2013, la Cour d'appel pénale du canton de Vaud a refusé d'entrer en matière sur la demande de révision formée par X._ le 12 juillet 2013 contre le jugement du 20 mai 1986.
C.
X._ forme un recours en matière pénale et un recours constitutionnel subsidiaire auprès du Tribunal fédéral contre le jugement du 23 juillet 2013. Il requiert, avec suite de frais et dépens, sa réforme en ce sens que la demande en révision est admise, les décisions des 20 mai 1986 et 29 septembre 1986 sont annulées et la cause est renvoyée à une nouvelle autorité judiciaire pour nouvelle instruction et nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le jugement attaqué, qui est final, a été rendu dans une cause de droit pénal. Il peut donc faire l'objet d'un recours en matière pénale (<ref-law>), qui permet d'invoquer notamment toute violation du droit fédéral, y compris des droits constitutionnels (<ref-law>). Le recours constitutionnel subsidiaire est donc exclu (<ref-law>).
2.
Le recourant conteste le rejet de sa demande de révision, invoquant une violation des art. 410 al. 1 let. a et 412 CPP et de l'interdiction de l'arbitraire (art. 9 Cst.). Dans son argumentation, il ne remet toutefois en question que sa condamnation pour escroquerie manquée.
2.1. La demande de révision et la décision attaquée sont postérieures à l'entrée en vigueur du CPP. Il s'ensuit que les règles de compétence et de procédure des <ref-law> s'appliquent. Les motifs de révision pertinents sont en revanche ceux prévus par le droit applicable au moment où la décision dont la révision est demandée a été rendue. Cette réserve est toutefois sans portée s'agissant d'une révision en faveur du condamné, le motif de révision prévu à l'<ref-law> correspondant à celui de l'<ref-law>, respectivement de l'art. 397 aCP en vigueur au moment des faits (cf. arrêt 6B_683/2011 du 21 novembre 2011 consid. 4.1).
2.2. L'<ref-law> permet à toute personne lésée par un jugement entré en force d'en demander la révision s'il existe des faits ou des moyens de preuve qui étaient inconnus de l'autorité inférieure et qui sont de nature à motiver l'acquittement ou une condamnation sensiblement moins sévère du condamné.
Les faits ou moyens de preuve invoqués sont inconnus au sens de cette disposition lorsque le juge n'en a pas eu connaissance au moment où il s'est prononcé, c'est-à-dire lorsqu'ils ne lui ont pas été soumis sous quelque forme que ce soit (<ref-ruling> consid. 5.1.2 p. 66 - 67). Ils sont sérieux au sens exigé par l'<ref-law> s'ils sont propres à ébranler les constatations de fait sur lesquelles se fonde la condamnation et que l'état de fait ainsi modifié rend possible un jugement sensiblement plus favorable au condamné (<ref-ruling> consid. 5.1.4 p. 68)
Savoir si l'autorité cantonale s'est fondée sur une juste conception de faits ou de moyens de preuve nouveaux et sérieux au sens de l'<ref-law> est une question de droit. En revanche, déterminer si un fait ou un moyen de preuve était effectivement inconnu du juge est une question de fait, qui ne peut être revue que pour arbitraire dans l'établissement des faits et l'appréciation des preuves. Il en va de même de la question de savoir si un fait ou un moyen de preuve nouveau est propre à modifier l'état de fait retenu puisqu'elle relève de l'appréciation des preuves, étant rappelé qu'une vraisemblance suffit au stade du rescindant (cf. <ref-ruling> consid. 1 p. 73).
2.3. Aux termes de l'<ref-law>, la juridiction d'appel n'entre pas en matière sur la demande de révision si celle-ci est manifestement irrecevable ou non motivée ou si une demande de révision invoquant les mêmes motifs a déjà été rejetée par le passé. La procédure de non-entrée en matière selon cette disposition est en principe réservée à des vices de nature formelle. Il est néanmoins loisible à la juridiction d'appel de refuser d'entrer en matière si les motifs de révision invoqués apparaissent d'emblée non vraisemblables ou mal fondés (arrêt 6B_415/2012 du 14 décembre 2012 consid. 1.1).
2.4. En substance, le jugement de 1986 a retenu que le recourant, avec deux comparses, avait décidé de prendre à son compte une livraison d'armes à destination d'acheteurs iraniens et de toucher ainsi les éventuelles commissions sur celle-ci. Pour tromper ces acheteurs, le recourant leur a affirmé que l'un de ses complices lui avait avancé 1'095'000 dollars américains, ce qui était faux. Des documents ont été constitués à cet effet, notamment une fausse facture concernant la livraison de 3'000 pistolets Beretta. Tous ces documents ont été adressés au groupe A._. A la suite de plusieurs rencontres organisées vers le début de l'année 1982, B._, responsable des achats pour l'armée révolutionnaire iranienne, directement sous les ordres du ministre de l'armée C._ et de D._, a rencontré le recourant. Lors de l'une de ces rencontres, feignant de croire à la version présentée par le recourant, B._ a délivré un chèque non couvert de 1'707'000 dollars américains, représentant la valeur d'achat des 3'000 pistolets, avec intérêts. En mai 1982, les complices ont compris que leur mise en scène avait échoué. B._ a ensuite déchiré le chèque non couvert. Le recourant en a ramassé les morceaux, les a recollés et a tenté en vain de l'encaisser.
2.5. Le recourant soutient que toutes les pièces produites à l'appui de sa demande de révision étaient nouvelles. Tel n'est pas le cas de l'attestation du 4 avril 1986 (pièce 5) déjà mentionnée dans le jugement du 20 mai 1986, p. 33.
2.6. Le recourant se réfère à des pièces censées démontrer que l'Etat iranien n'a pas été lésé et n'a pas porté plainte. Le recourant a été reconnu coupable d'escroquerie manquée, car l'escroquerie, faute d'avoir réussi, n'a pas conduit à un appauvrissement de la dupe. Que l'Etat iranien n'ait pas été lésé ou n'ait pas porté plainte n'est donc pas propre à ébranler la condamnation pour escroquerie manquée du recourant. On ne voit ainsi pas en quoi l'argumentation présentée serait pertinente. Le recourant n'en dit rien. Sa motivation est insuffisante au regard des art. 42 al. 2 et 106 al. 2 LTF et dès lors irrecevable.
2.7. Le recourant présente une argumentation peu compréhensible, reprenant de manière biaisée l'argumentation de l'autorité précédente, pour affirmer que les pièces produites à l'appui de sa demande de révision démontreraient qu'il était au moment des faits le créancier de l'Etat iranien - qualité niée par le Tribunal correctionnel du district de Lausanne - d'un montant non inférieur à 846'500 dollars américains. Selon lui, les conditions posées par l'<ref-law> étaient donc remplies. Ces pièces infirmeraient également l'argumentation retenue dans l'arrêt du 29 septembre 1986, p. 16 ss, soit l'admission d'un dessein d'enrichissement illégitime, indépendamment de l'éventuelle qualité de créancier du recourant. Aucune escroquerie n'aurait été tentée. Le jugement attaqué serait contradictoire et donc arbitraire dès lors qu'il retiendrait d'une part que le jugement du 20 mai 1986 a toujours laissé ouvert le point de savoir si le commerce d'armes l'était en faveur de l'Etat iranien ou d'un quelconque groupement du pays et d'autre part que l'escroquerie manquée a été perpétrée contre le groupe A._ et non contre l'Iran ou son gouvernement.
2.7.1. Le jugement attaqué est en effet contradictoire sur le point précité. Cela dit, cette contradiction, déjà présente dans le jugement du 20 mai 1986 (p. 33 et 34), ne constitue pas un motif de révision. Elle n'est pas non plus de nature à faire apparaître comme arbitraire la solution cantonale, pour qui les moyens de preuve du recourant ne sont pas propres à modifier les faits pertinents retenus, même sous l'angle de la vraisemblance. En effet, on comprend que le recourant estime que les nouveaux moyens de preuve produits établissent qu'il disposait d'une créance contre l'Etat iranien au moment des faits et donc qu'il n'a pas agi dans un dessein d'enrichissement illégitime en tentant d'obtenir des fonds de la part de ce dernier. En l'espèce, seule l'attestation du 11 octobre 1984 (pièce 4) fait mention d'une créance. La valeur probante de cette pièce est cependant douteuse. Tout d'abord cette attestation date du 11 octobre 1984 et est signée d'un certain M. "E._". Elle n'a toutefois pas été produite durant la première procédure, alors que celle du 4 avril 1986 (pièce 5), signée par M. "F._", l'a été. Ensuite, ces deux attestations sont prétendument établies par une personne qui n'orthographie pas son propre nom de la même manière. L'attestation du 4 octobre 1986 (pièce 6), comme celle du 4 avril 1986 (pièce 5) portent de plus toutes deux sur des qualités attribuées expressément à "Mr. B. X._". Or le recourant se présente uniquement sous le prénom G._. A cela s'ajoute que le document du 11 octobre 1984 (pièce 4) atteste uniquement que "Monsieur X._" serait, au moment de l'établissement dudit document, soit en 1984, créancier du "gouvernement iranien actuel". Il ne dit en revanche rien de la situation du recourant au moment des faits, soit en 1982. L'affirmation selon laquelle "Monsieur X._" aurait été créancier du "gouvernement iranien actuel" est en outre infirmée par le contenu des attestations subséquentes du 4 avril 1986 (pièce 5) et du 4 octobre 1989 (pièce 6) qui indiquent que "B. X._" était toujours payé à la fin de chaque commande et livraison de marchandise (pièce 5 et recours, p. 4), "was paid on delivery" (pièce 6). Au vu de ces éléments, il n'était pas arbitraire de considérer que les moyens de preuve invoqués par le recourant ne rendaient pas vraisemblable, au moment des faits, la qualité de créancier qu'il invoque.
2.7.2. La jurisprudence admet qu'il n'y a pas dessein d'enrichissement illégitime, nécessaire pour retenir une escroquerie même manquée, chez celui qui s'approprie une chose pour se payer ou pour tenter de se payer lui-même, s'il a une créance d'un montant au moins égal à la valeur de la chose qu'il s'est appropriée et s'il a vraiment agi en vue de se payer (<ref-ruling> consid. 3 p. 34 s.).
En l'espèce, le recourant invoque à l'appui de sa demande de révision une créance de 846'500 dollars américains. Outre qu'une telle créance n'a pas été rendue vraisemblable (supra consid. 2.7.1), son montant est nettement inférieur à la somme qu'il a tenté d'obtenir, soit 1'707'000 dollars américains. Les pièces produites ne révèlent de plus aucun élément laissant penser - le recourant dût-il être considéré au moment des faits comme disposant d'une créance contre l'Etat iranien - qu'il ait agi afin de se faire payer sa créance. Le recourant a au contraire monté tout un stratagème et fait fabriquer de fausses pièces afin de faire croire aux acheteurs qu'ils lui devaient une dette fondée sur une transaction distincte. Dans ces conditions, les éléments avancés par le recourant ne sont pas susceptibles de mettre en doute, même au stade de la vraisemblance, le dessein d'enrichissement illégitime retenu par le Tribunal de district et dès lors de motiver un acquittement ou tout le moins une condamnation sensiblement moins sévère.
2.7.3. Au vu de ce qui précède, la cour cantonale a écarté la demande de révision sans violation du droit fédéral.
3.
Le recours doit être rejeté dans la mesure de sa recevabilité. Il était dépourvu de chances de succès. L'assistance judiciaire doit donc être refusée (<ref-law>). Le recourant supporte les frais de la cause (<ref-law>), étant précisé qu'au vu des pièces produites, il n'a pas établi la précarité de sa situation.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 2 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Cherpillod