Faits :
A.
Par jugement du 25 février 2014, le Tribunal de police de l'arrondissement de Lausanne du canton de Vaud a reconnu X._ coupable de voies de fait, d'escroquerie, de diminution effective de l'actif au préjudice des créanciers, d'injure, de pornographie, d'inobservation des prescriptions légales sur la comptabilité, d'infraction à la LEtr, de contravention à la LAVS et de conduite en état d'ébriété qualifiée. Il l'a condamné à une peine privative de liberté de neuf mois, peine partiellement complémentaire à celle prononcée le 3 septembre 2012, et à une amende de 2'000 fr., la peine privative de liberté de substitution en cas de non-paiement fautif de l'amende étant fixée à vingt jours.
B.
Par jugement du 9 juillet 2014, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ et modifié d'office le jugement de première instance en ce sens que X._ était condamné à une peine privative de liberté de huit mois et quinze jours ainsi qu'à quinze jours-amende, à 30 fr. le jour, et à une amende de 2'000 fr., peine partiellement complémentaire à celle prononcée le 3 septembre 2012. La peine privative de liberté de substitution en cas de non-paiement fautif de l'amende était fixée à vingt jours.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme du jugement du 9 juillet 2014, en ce sens qu'il est libéré des chefs d'accusation d'escroquerie, de diminution effective de l'actif au préjudice des créanciers et de pornographie au sens de l'<ref-law> et que sa peine est revue à la baisse et assortie du sursis. A titre subsidiaire, il requiert l'annulation du jugement précité et le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite la restitution de l'effet suspensif et le bénéficie de l'assistance judiciaire.
Interpellés, l'autorité précédente et le ministère public ont renoncé à se déterminer. L'Office de l'assurance-invalidité du canton de Vaud a déposé des déterminations, qui ont été communiquées au recourant.

Considérant en droit :
1.
La demande de restitution de l'effet suspensif est sans objet (<ref-law>).
2.
Le recourant conteste sa condamnation pour escroquerie au sens de l'<ref-law>.
2.1. Aux termes de cette disposition, se rend coupable d'escroquerie celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
2.1.1. L'escroquerie consiste à tromper la dupe par des affirmations fallacieuses, par la dissimulation de faits vrais ou par un comportement qui la conforte dans son erreur.
Cette infraction se commet en principe par action. Tel est le cas lorsqu'elle est perpétrée par actes concluants (<ref-ruling> consid. 2.3.2 p. 14). L'assuré qui a l'obligation de communiquer à son assureur ou, selon le cas, à l'organe compétent, toute modification importante des circonstances déterminantes pour l'octroi d'une prestation (<ref-law>), qui ne respecte pas cette obligation et continue à percevoir les prestations octroyées initialement à juste titre ne commet toutefois pas par là d'acte de tromperie. En continuant à recevoir ces prestations sans commentaire, l'assuré n'exprime pas que sa situation serait demeurée inchangée. La perception de prestations d'assurance n'a ainsi pas valeur de déclaration positive par actes concluants. La situation est toutefois différente si cette perception est accompagnée d'autres actions qui permettent objectivement d'interpréter son comportement comme signifiant que rien n'a changé dans sa situation. On pense notamment à un silence qualifié de l'assuré à des questions explicites de l'assureur (<ref-ruling> consid. 2.4.1 p. 15 et 2.4.6 p. 17 s.). Une escroquerie par actes concluants a également été retenue dans le cas d'un bénéficiaire de prestations d'assurance exclusivement accordées aux indigents, qui se borne à donner suite à la requête de l'autorité compétente tendant, en vue de réexaminer sa situation économique, à la production d'un extrait de compte déterminé, alors qu'il possède une fortune non négligeable sur un autre compte, jamais déclaré (<ref-ruling> consid. 2b p. 166; plus récemment arrêt 6B_542/2012 du 10 janvier 2013 consid. 1.2) ou dans le cas d'une personne qui dans sa demande de prestations complémentaires tait un mois de rente et plusieurs actifs et crée par les informations fournies l'impression que celles-ci correspondent à sa situation réelle (<ref-ruling> consid. 2.2 p. 88).
L'escroquerie peut aussi être commise par un comportement passif, contraire à une obligation d'agir (<ref-law>). Tel est le cas, lorsque l'auteur n'empêche pas la lésion du bien juridique protégé, bien qu'il y soit tenu à raison de sa situation juridique, notamment en vertu de la loi ou d'un contrat (cf. art. 11 al. 2 let. a et b CP; <ref-ruling> consid. 6.2 p. 192). Dans cette hypothèse, l'auteur n'est punissable que si, compte tenu des circonstances, il encourt le même reproche que s'il avait commis l'infraction par un comportement actif (<ref-law>). L'auteur doit ainsi occuper une position de garant qui l'obligeait à renseigner ou à détromper la dupe (cf. <ref-ruling> consid. 2.3.2 p. 14 et 2.4.1 p. 14 s. et les références citées; <ref-ruling> consid. 6.2 p. 191 s.). Il n'est pas contesté qu'un contrat ou la loi puisse être la source d'une telle position de garant. N'importe quelle obligation juridique ou contractuelle ne suffit toutefois pas. En particulier, l'obligation de renseigner prévue par la loi ou un contrat ne crée pas à elle seule de position de garant (<ref-ruling> consid. 2.4. p. 14 ss.; <ref-ruling> consid. 2.1.3 p. 88).
2.1.2. L'<ref-law> ne punit pas les tromperies qui peuvent être déjouées avec un minimum d'attention. La tromperie doit ainsi être astucieuse. L'astuce est réalisée lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur dissuade la dupe de vérifier ou prévoit, en fonction des circonstances, qu'elle renoncera à le faire (<ref-ruling> consid. 5.2 p. 81 s.et les arrêts cités). L'astuce n'est toutefois pas réalisée si la dupe pouvait se protéger avec un minimum d'attention ou éviter l'erreur avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est cependant pas nécessaire qu'elle ait fait preuve de la plus grande diligence ou qu'elle ait recouru à toutes les mesures de prudence possibles pour éviter d'être trompée. L'astuce n'est exclue que si la dupe est coresponsable du dommage parce qu'elle n'a pas observé les mesures de prudence élémentaires qui s'imposaient. Une coresponsabilité de la dupe n'exclut l'astuce que dans des cas exceptionnels (<ref-ruling> consid. 5.2 p. 81).
2.1.3. Pour que le crime d'escroquerie soit consommé, l'erreur dans laquelle la tromperie astucieuse a mis ou conforté la dupe doit avoir déterminé celle-ci à accomplir un acte préjudiciable à ses intérêts pécuniaires, ou à ceux d'un tiers sur le patrimoine duquel elle a un certain pouvoir de disposition. Lorsque l'acte litigieux consiste dans le versement par l'Etat de prestations prévues par la loi, il ne peut y avoir escroquerie consommée que si le fait sur lequel portait la tromperie astucieuse et l'erreur était propre, s'il avait été connu par l'Etat, à conduire au refus, conformément à la loi, de telles prestations. Ce n'est en effet que dans ce cas, lorsque les prestations n'étaient en réalité pas dues, que l'acte consistant à les verser s'avère préjudiciable pour l'Etat et donc lui cause un dommage (arrêts 6B_791/2013 du 3 mars 2014 consid. 3.1.4; 6B_1054/2010 du 16 juin 2011 consid. 2.2.2).
2.1.4. Sur le plan subjectif, l'escroquerie est une infraction intentionnelle. L'intention doit porter sur tous les éléments constitutifs de l'infraction. L'auteur doit en outre avoir agi dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, correspondant au dommage de la dupe (<ref-ruling> consid. 5.3 p. 213 s.).
2.2. En l'espèce, la cour cantonale a constaté qu'entre le 1er janvier 2009 et le 28 octobre 2010, le recourant, qui percevait une demi-rente d'invalidité, avait dissimulé à l'Office AI qu'il travaillait, non seulement à temps partiel dans l'entreprise de coffrage de son frère, ce qui avait été annoncé, mais aussi comme exploitant d'un établissement public à Lausanne, et que cette activité lui procurait des ressources, l'entreprise ayant réalisé un bénéfice de 39'000 fr. en 2009 et de 34'000 fr. en 2010. Au contraire, il avait affirmé mensongèrement, lors d'entretiens avec l'Office AI des 14 juin 2010 et 26 octobre 2010 qu'il n'avait aucune autre activité que celle de coffreur. Il ressortait de plus du dossier que le recourant avait aussi menti sur le revenu qu'il aurait gagné comme coffreur sans l'atteinte à la santé, en faisant signer par son frère, co-gérant de l'entreprise de coffrage, le 26 juillet 2010, une attestation selon laquelle son salaire mensuel était de 5'000 fr., pour cinq heures de travail par jour, et qu'il serait de 11'000 fr. sans l'atteinte à la santé, alors que l'entreprise, en difficulté financière, n'aurait jamais eu les moyens de verser cela, le recourant ne percevant même pas les 5'000 fr. annoncés. La cour précédente a conclu que ces tromperies, astucieuses, faute de contrôle raisonnablement possible par la dupe, avait faussé le résultat des calculs de l'Office AI et donc que l'infraction d'escroquerie était réalisée.
2.3. A l'encontre de l'appréciation cantonale, le recourant relève qu'il recevait une rente AI à hauteur de 50%, ce qui signifie que sa capacité de travail s'élevait à 50%. Or la procédure n'aurait pas prouvé qu'il aurait eu une activité dépassant le taux de 50%. Ainsi, l'exercice d'un emploi à 50% ne remettait pas en cause la justification de la rente allouée. Celle-ci était justifiée de sorte que l'Office AI n'avait pas commis d'actes préjudiciables à ses intérêts ni à ceux de tiers en mettant le recourant au bénéfice de cette dernière. Il relève également qu'il n'avait pas de rapport de confiance particulier avec l'Office AI de sorte que celui-ci devait être diligent et invoque l'absence d'astuce.
2.4. L'escroquerie reprochée porte sur la période allant du 1er janvier 2009 au 28 octobre 2010. Il ne résulte pas du jugement entrepris qu'un comportement actif de tromperie, respectivement qu'un comportement passif de tromperie malgré une position de garant (cf. supra consid. 2.1.1), puisse être retenu avant le 14 juin 2010, date à laquelle le recourant a affirmé n'avoir pas d'autres activités que celle de coffreur. La condamnation ne peut dès lors dans ces circonstances être confirmée pour la période allant du 1er janvier 2009 au 14 juin 2010. Le recours doit être admis sur ce point et la cause renvoyée à l'autorité précédente pour nouvelle décision (<ref-law>).
A cela s'ajoute, s'agissant cette fois de toute la période litigieuse, que l'autorité cantonale conclut que les tromperies reprochées au recourant auraient faussé le résultat des calculs de l'Office AI. Elle n'établit toutefois pas en quoi et dans quelle quotité. Cela ne peut être déduit des constatations de fait, celles-ci se bornant à retenir que le recourant a caché avoir exploité un établissement public, sans indiquer ni le taux d'activité que cela impliquait, ni les revenus que cela avait rapporté, non à " l'entreprise " (jugement attaqué, p. 13 ch. 3.2), mais au recourant. L'existence d'un rapport de causalité entre des tromperies reprochées au recourant et les versements de l'Office AI ne peut dès lors être vérifiée (cf. supra consid. 2.1.3), ce qui également justifie l'admission du recours et le renvoi de la cause pour complément et nouvelle décision.
Dans le cadre du renvoi, le caractère astucieux d'une éventuelle tromperie devra également être examiné dans l'hypothèse où le document précité du 26 juillet 2010 serait retenu comme constitutif de tromperie. Il incombera à l'autorité cantonale de se demander si l'Office AI pouvait se fier, sans autre examen, sur la seule attestation signée par le frère du recourant, indiquant un salaire de coffreur à 100% de 11'000 fr. par mois.
3.
Le recourant semble contester sa condamnation pour inobservation des prescriptions légales sur la comptabilité. Faute de toute motivation, ce moyen est irrecevable (<ref-law>).
4.
Le recourant conteste sa condamnation pour diminution effective de l'actif au préjudice des créanciers au sens de l'art. 164 ch. 1 et 2 CP.
4.1. Aux termes de cette disposition, le débiteur qui, de manière à causer un dommage à ses créanciers, aura diminué son actif notamment en cédant des valeurs patrimoniales à titre gratuit ou contre une prestation de valeur manifestement inférieure, sera, s'il a été déclaré en faillite ou si un acte de défaut de biens a été dressé contre lui, puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire (ch. 1). Le tiers qui, dans les mêmes conditions, se sera livré à ces agissements de manière à causer un dommage aux créanciers sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (ch. 2).
4.2. Il résulte du jugement entrepris que du 13 février au 26 juin 2012 le recourant, associé gérant de A._ Sàrl, a vidé de sa substance cette société, surendettée et courant à la faillite, soustrayant ainsi les actifs à la mainmise des créanciers. Concrètement, il a, sans contrepartie, immatriculé sept véhicules au nom d'une société tierce créée peu avant, B._ Sàrl, dont l'associée gérante était son amie intime. De plus, après avoir vendu l'intégralité des parts sociales de A._ Sàrl à un tiers, il a prélevé sur le compte bancaire de la société, sur lequel il avait conservé un pouvoir de signature, 76'240 fr., dont il n'a utilisé que 11'900 fr. pour payer un créancier social, le solde étant détourné à son profit. La faillite de A._ Sàrl a été prononcée le 21 juin 2012.
4.3. Le recourant conteste que l'argent pris sur les comptes de A._ Sàrl ait servi à d'autres dépenses que celles nécessaires à cette société. Il invoque que la procédure ne l'aurait pas démontré et que l'autorité précédente aurait dû s'assurer de la valeur probante, niée, de factures indiquées " payées " produites par lui à l'audience de première instance en auditionnant les représentants de la société émettrice de ces factures.
La cour cantonale s'est fondée sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance comme le lui prescrit l'<ref-law>. Le recourant ne prétend, ni ne démontre qu'il aurait requis les mesures d'instruction susmentionnées, qui lui auraient été refusées à tort. Il n'allègue ni ne démontre que la cour cantonale aurait violé l'<ref-law> en n'ordonnant pas d'office l'audition de témoins. Tel n'apparaît pas être le cas au vu de ce qui suit. Le grief dans la mesure où on le comprend est infondé.
Par son moyen, le recourant critique le fait retenu par l'autorité précédente qu'il a détourné les sommes débitées sur le compte de A._ Sàrl, après cession de l'entier des parts de cette société, à hauteur de 64'340 fr. (76'240 fr. - 11'900 fr.). Il n'invoque toutefois pas l'arbitraire de ce fait, ni n'expose en quoi celui-ci serait insoutenable conformément aux exigences posées par l'<ref-law>. Au demeurant, le recourant a déclaré lors de son audition du 4 décembre 2012 par le procureur que les sommes prélevées par ses soins en cash sur les comptes de A._ Sàrl après la cession des parts de cette société à un tiers étaient à lui. Il a ensuite affirmé les avoir utilisées pour payer les factures de cette société, avant de déclarer les avoir utilisées pour payer des employés, sans pouvoir dire de quelle société. Le recourant s'est ensuite engagé à fournir les preuves de ses dires dans les trois semaines, mais n'a jamais produit la moindre preuve crédible d'un paiement aux créanciers de A._ Sàrl. Dans ces circonstances, l'autorité cantonale pouvait sans arbitraire considérer qu'il avait détourné le montant de 64'340 fr. à son profit. La non-audition de témoins sur ce point ne procède pas d'une appréciation arbitraire des preuves.
4.4. A l'encontre de sa condamnation, le recourant invoque qu'il n'avait nullement l'intention de nuire aux créanciers. La solution de la cour cantonale retenant que tel était le cas au motif qu'il avait cédé sans contrepartie sept véhicules de la société à un tiers et vidé les comptes de cette société pour en conserver une majeure partie ne prête toutefois pas flanc à la critique. Le recourant soutient en substance qu'il ne se serait pas rendu compte, dès lors qu'il avait géré lui-même les chantiers, que l'argent gagné ainsi par la société ne lui appartenait pas. Il aurait agi sous l'empire d'une erreur de fait. Ce que sait ou non une personne relève du fait (cf. <ref-ruling> consid. 8.4.1 p. 84), dont le Tribunal fédéral ne revoit la constatation - ou l'omission - qu'en cas d'arbitraire (<ref-law>) et moyennant un grief précis et détaillé (<ref-law>). L'ignorance invoquée ne résulte pas du jugement attaqué et le recourant n'invoque pas, ni ne démontre qu'elle aurait été omise de manière arbitraire. Il ne peut ainsi en être tenu compte ici. Les griefs que le recourant fonde sur celle-ci sont irrecevables.
5.
Le recourant conteste sa condamnation pour pornographie, invoquant qu'une vidéo de ses ébats avec C._ n'avait été transmise qu'au mari de celle-ci, largement majeur, à l'exception de tout mineur. Il estime que c'est à tort que l'autorité précédente l'a reconnu coupable d'infraction au sens de l'<ref-law>.
Aux termes de l'<ref-law>, quiconque offre, montre, rend accessibles à une personne de moins de 16 ans ou met à sa disposition des écrits, enregistrements sonores ou visuels, images ou autres objets pornographiques ou des représentations pornographiques, ou les diffuse à la radio ou à la télévision, est puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). Quiconque expose ou montre en public des objets ou des représentations visés à l'al. 1, ou les offre à une personne sans y avoir été invité, est puni de l'amende (al. 2 1e phrase).
Le recourant a été condamné en vertu non pas de l'<ref-law> mais de l'art. 197 al. 2 1e phrase combiné à l'art. 197 al. 1CP (jugement entrepris, ch. 9.1, ch. 10.2 - qui précise que l'infraction de pornographie sanctionnée est une contravention - et dispositif). La condamnation en vertu de l'art. 197 al. 2 1e phrase CP n'exige pas que la victime soit mineure. Le grief est infondé.
6.
Il résulte de ce qui précède que le recours doit être partiellement admis, le jugement attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
Ce qui précède rend sans objet les moyens du recourant à l'encontre de la quotité de la peine prononcée et du refus du sursis.
Le recourant a requis l'assistance judiciaire. Dans la mesure où il obtient partiellement gain de cause, il ne sera pas perçu de frais (art. 66 al. 1 et 4 LTF) et le recourant obtiendra des dépens réduits de la part du canton de Vaud (<ref-law>). L'Office AI, qui n'a pas conclu au rejet, ne supportera pas de dépens. La requête d'assistance judiciaire est pour cette partie de la procédure sans objet. Le recours était pour le surplus dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée pour le reste (<ref-law>). Une partie des frais sera ainsi supportée par le recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le canton de Vaud versera au conseil du recourant une indemnité réduite de 2'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 août 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod