Faits :
A.
Par jugement du 15 août 2018, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré X._ des infractions d'escroquerie, gestion déloyale, violation de l'obligation de tenir une comptabilité, infraction à la LAVS et infraction à la LPP, et l'a condamné pour abus de confiance et gestion fautive à une peine privative de liberté de 12 mois, avec sursis durant trois ans.
B.
Par jugement du 29 janvier 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et a confirmé le jugement de première instance.
En substance, le jugement repose sur les faits suivants:
B.a. Entre 2009 et 2011, X._ s'est engagé, en tant qu'entrepreneur général et promoteur-constructeur, dans un projet de construction de deux paires de villas jumelées dans la commune de I._ à J._. Dans ce cadre, le prénommé, en sa qualité d'associé-gérant de K._ Sàrl, a conclu quatre contrats d'entreprise générale, avec respectivement A.A._ et B.A._, G.G._ et H.G._, C.C._ et D.C._ et E.E._ et F.E._.
B.b. Entre le 26 janvier 2009, date d'inscription au Registre du commerce de K._ Sàrl et le 24 mars 2011, date de la faillite de la société à L._ (siège officiel de K._ Sàrl), à M._ et à N._ (sièges effectifs de la société), X._ a, par des fautes de gestion, causé le surendettement de sa société, si bien que celle-ci a été déclarée en faillite. Le prénommé s'est ainsi fautivement engagé dans la construction de quatre villas alors que sa société ne disposait pas des liquidités suffisantes pour financer l'achat du matériel et de l'outillage, respectivement louer les machines nécessaires à l'exécution des travaux, ni pour payer tous les ouvriers de la société et les sous-traitants mandatés pour le chantier de J._. X._ était dès lors dans l'attente permanente des versements d'acomptes des quatre couples pour s'acquitter des montants dus aux fournisseurs et autres partenaires commerciaux impliqués dans le chantier.
B.c. Le 5 janvier 2010, à O._, X._ a conclu, au nom de K._ Sàrl, une promesse de vente / achat avec les héritiers de l'ancien propriétaire de la parcelle à bâtir, soit l'hoirie de feu P._, dont le prix de vente était fixé à 360'000 fr., dont 36'000 fr. à verser dans les cinq jours suivant la signature de l'acte, le solde, par 324'000 fr., étant dû au 30 janvier 2010, soit au moment de la vente du terrain. Le document prévoyait une " dédite " de 36'000 fr., dont le paiement serait dû à l'une des parties par l'autre partie si, par la faute de celle-ci, la transaction de vente / achat n'avait pas lieu d'ici au 31 janvier 2010.
Entre le 5 et le 18 janvier 2010, pour s'acquitter de sa propre obligation, X._ a demandé à A.A._ et B.A._ de lui verser le montant de 38'000 fr. (soit les 36'000 fr. et 2'000 fr. pour les débours et émoluments du notaire) sur son compte bancaire privé à la banque Q._, ce que ceux-ci ont fait en date du 18 janvier 2010. L'intéressé a indiqué au couple que ladite somme était due à titre d'arrhes pour la réservation de la parcelle sur laquelle devait être construite leur villa, alors qu'en réalité cette somme était due par celui-ci pour l'achat du terrain. X._ a versé 36'000 fr. au notaire le 20 janvier 2010. Il n'a toutefois pas respecté les conditions de l'acte de promesse de vente / achat du 5 janvier 2010, soit le versement du solde du prix de vente de 324'000 fr. au 30 janvier 2010, de sorte que le montant de 36'000 fr. qu'il avait versé au notaire a été acquis à l'hoirie de feu P._.
Par acte du 26 avril 2010, A.A._ et B.A._ ont finalement dû acheter à l'hoirie de feu P._ leur parcelle pour 90'000 fr., montant dont ils se sont acquittés le 30 juin 2010.
B.d. Entre le 22 juin 2010 et le 27 janvier 2011, les quatre couples ont versé plusieurs acomptes sur la base des bons de paiement établis par X._. Les époux A.A._ et B.A._ ont versé des acomptes pour un montant total de 159'883 fr. pour leur villa, les époux G.G._ et H.G._ pour un montant total de 130'683 fr. pour leur villa, les époux E.E._ et F.E._ pour un montant total de 174'766 fr. pour leur villa et les époux C.C._ et D.C._ pour un montant total de 187'830 fr. pour leur villa.
Or, X._ a sciemment omis de s'acquitter de toutes les factures établies par les sous-traitants ayant effectué des travaux sur le chantier des villas du projet de J._, violant ainsi les directives reçues et utilisant à d'autres fins une partie des valeurs que les couples lui avaient confiées pour régler tous les coûts de construction de leur villa. X._ a notamment opéré, du 10 décembre 2010 au 27 janvier 2011, des retraits d'argent en " cash " sur le compte miroir ouvert auprès de la banque Q._ relatif à la construction de la villa des époux C.C._ et D.C._, qui correspondent à des entrées dans la rubrique " caisse " de la comptabilité de la société K._ Sàrl. En outre, s'il résulte du relevé du compte miroir ouvert à la banque Q._ relatif à la construction de la villa des époux E.E._ et F.E._ que le retrait d'argent en " cash " du 7 janvier 2011 correspond à une entrée dans la rubrique " caisse " de la comptabilité de la société K._ Sàrl, tous les retraits d'argent opérés en " cash " entre le 10 janvier et le 3 février 2011 n'ont aucune écriture correspondante dans la comptabilité de la société, notamment dans sa rubrique " caisse ", représentant un montant de 54'300 francs.
Il est également reproché à X._ de ne pas avoir effectué, respectivement fait effectuer, tous les travaux nécessaires à l'édification des maisons des quatre couples, de sorte que ceux-ci ont dû s'adresser à une autre société pour terminer le chantier après avoir, en date du 9 mars 2011, mis fin aux contrats d'entreprise générale conclus avec K._ Sàrl. De plus, X._ n'avait pas inclus l'intégralité des coûts de construction dans son devis général, si bien que les quatre couples ont dû investir des montants supplémentaires pour mener à terme les chantiers.
Le 16 juin 2011, C.C._, D.C._, A.A._, B.A._, G.G._, H.G._, E.E._ et F.E._ ont dénoncé X._.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 29 janvier 2019. Il conclut, avec suite de frais et dépens, à l'annulation du jugement et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.
Invités à présenter des observations, la cour cantonale et le ministère public ont renoncé à se déterminer et se sont référés aux considérants du jugement entrepris.
Considérant en droit :
1.
Le recours en matière pénale est une voie de réforme (art. 107 al. 2 LTF). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (ATF 137 II 313 consid. 1.3 p. 317; 134 III 379 consid. 1.3 p. 383; arrêts 6B_376/2019 du 16 avril 2019 consid. 1 et 6B_111/2015 du 3 mars 2016 consid. 1.7 non publié aux ATF 142 IV 196).
En l'espèce, le recourant conclut uniquement à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale de deuxième instance. Une telle manière de faire n'est en principe pas admissible. Les motifs du recours permettent toutefois de comprendre que le recourant souhaite être acquitté des chefs d'accusation d'abus de confiance et de gestion fautive. Cela suffit pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. ATF 137 II 313 consid. 1.3 p. 317; arrêt 6B_376/2019 précité consid. 1).
2.
Invoquant l'art. 97 LTF, le recourant se plaint d'un établissement inexact des faits ainsi que de la violation de la présomption d'innocence et du principe in dubio pro reo.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (ATF 143 IV 241 consid. 2.3.1 p. 244; arrêt 6B_52/2019 du 5 mars 2019 consid. 1.1 destiné à la publication). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (ATF 143 IV 500 consid. 1.1 p. 503; 140 III 264 consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (ATF 142 III 364 consid. 2.4 p. 368 et les références citées; arrêts 6B_52/2019 précité consid. 1.1 destiné à la publication; 6B_144/2019 du 17 mai 2019 consid. 2.1). La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (ATF 144 IV 345 consid. 2.2.3.1 p. 348 s.; 127 I 38 consid. 2a p. 40 s.; arrêt 6B_52/2019 précité consid. 1.1 destiné à la publication). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. ATF 144 IV 345 consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (ATF 144 IV 345 consid. 2.2.3.3 p. 351 s.; 143 IV 500 consid. 1.1 p. 503; 138 V 74 consid. 7 p. 82; arrêt 6B_52/2019 précité consid. 1.1 destiné à la publication).
2.2. Le recourant soutient que, pour établir l'abus de confiance, la cour cantonale aurait à tort retenu que la " dédite de 38'000 fr. qu'il a dû assumer au moyen du premier acompte des acquéreurs serait douteuse ". Il prétend également qu'il " imputait ce montant sur le décompte final des maîtres d'ouvrage " (recours, p. 4). Ce faisant, le recourant s'écarte de l'état de fait cantonal, sans en démontrer l'arbitraire. En effet, il ressort des faits constatés par le jugement attaqué que le recourant a demandé une somme de 38'000 fr. à A.A._ et B.A._, mais n'a pas restitué ce montant au couple, quand bien même cela avait été convenu dans l'engagement signé par les parties les 14 et 18 janvier 2010. Il a au contraire prétendu que l'avance de 38'000 fr. était due à titre d'arrhes pour la réservation de la parcelle sur laquelle devait être construite leur villa et que cette somme avait été versée au notaire pour couvrir les frais d'acquisition du terrain, sans préciser que le montant de 36'000 fr. avait été acquis aux héritiers de l'ancien propriétaire de la parcelle à bâtir à titre de dédit. Enfin, il ressort également de l'état de fait de la cour cantonale, dont le recourant ne démontre pas l'arbitraire, que celui-ci n'a pas déduit ladite somme du décompte de construction final de la villa de A.A._ et de B.A._.
2.3. Le recourant prétend ensuite que, sur le montant de 124'300 fr., qu'il a, selon la cour cantonale, " détourné ", la somme de 12'500 fr. - versée à la société R._ SA en remboursement d'un prêt contracté par K._ Sàrl au moyen d'un acompte versé par les époux C.C._ et D.C._ - aurait constitué " une partie de la marge bénéficiaire [du recourant] dans le cadre du projet de construction ". Ce faisant, le recourant se fonde sur des faits qui ne ressortent pas du jugement entrepris, sans démontrer l'arbitraire de leur omission. Pour le surplus, contrairement au recourant, on ne voit pas en quoi le fait que ce montant soit " aussi faible " exclurait un abus de confiance.
2.4. Le recourant prétend que tous les acomptes auraient été systématiquement affectés à la promotion des quatre villas. Il soutient en particulier que, contrairement à ce qu'a retenu la cour cantonale, les virements de 60'000 fr. et de 10'000 fr. ont été affectés au projet de construction. Il souligne également que l'absence de pièce comptable " n'emporte pas pour autant le détournement " (recours, p. 5). Cette argumentation tombe à faux. En effet, la cour cantonale a notamment jugé que les deux ordres de virement du compte miroir ouvert à la banque Q._ relatif à la construction de la villa des époux C.C._ et D.C._ en faveur de K._ Sàrl, des 8 et 22 février 2011, de respectivement 60'000 fr. et 10'000 fr., figuraient sous les rubriques 1030 et 1035 de la comptabilité de ladite société sous " versement sur compte parallèle pour achat matériaux ", sans autres justificatifs de l'utilisation de ces montants. Ainsi, dans la mesure où aucune pièce justificative n'a jamais été fournie en rapport avec ces versements de 60'000 fr. et 10'000 fr., la cour cantonale pouvait sans arbitraire retenir que ces sommes avaient été affectées aux besoins personnels du recourant. Il en va de même des sommes " rondes " retirées entre le 10 janvier et le 3 février 2011 sur le compte miroir relatif à la construction de la villa des époux E.E._ et F.E._.
2.5. Le recourant reproche ensuite à la cour cantonale d'avoir omis de tenir compte des charges induites par le chantier ainsi que du bénéfice de l'opération pour l'entrepreneur, soit de " postes d'affectation qui n'ont pas besoin d'être justifiés sur factures " (recours, p. 6).
Il convient tout d'abord de relever, à l'instar de la cour cantonale, que chacun des contrats d'entreprise stipulait, à son article 4, que le recourant " s'oblige[ait] sans restriction aucune à n'utiliser le montant des versements du maître d'ouvrage que pour le règlement de factures ayant rapport avec la construction faisant l'objet du [...] contrat ", de sorte que, contrairement à ce que prétend le recourant, l'affectation des acomptes était clairement convenue. Or, comme relevé précédemment, il résulte du jugement attaqué que le recourant a notamment réglé, au moyen d'un acompte versé par les époux C.C._ et D.C._ le 9 décembre 2010, un montant de 12'500 fr. à la société R._ SA en remboursement d'un prêt contracté par K._ Sàrl. Le grief du recourant est rejeté.
2.6. Le recourant fait grief à la cour cantonale qu'aucune expertise de la comptabilité n'a été entreprise dans cette affaire. Il ne ressort pas du jugement attaqué, ni du dossier ou de la déclaration d'appel que celui-ci aurait requis l'administration de ce moyen devant le tribunal correctionnel ou devant la cour cantonale. Dans cette mesure, le grief est ainsi irrecevable, faute d'épuisement des instances cantonales (art. 80 al. 1 LTF; arrêts 6B_389/2017 du 31 janvier 2018 consid. 2.2; 6B_154/2014 du 17 novembre 2014 consid. 3.5). Au demeurant, dans la mesure où il ressort du jugement entrepris que ce qui est reproché au recourant c'est précisément son manque de rigueur dans la tenue de la comptabilité et la conservation des pièces comptables particulièrement l'absence de pièces justificatives relatives aux sommes qui lui ont été versées (cf. jugement attaqué, consid. 3.3) - absence que le recourant reconnaît d'ailleurs lui-même dans son recours - on voit mal sur quelle base la cour cantonale aurait dû procéder à une expertise de la comptabilité. Le grief du recourant est rejeté dans la mesure où il est recevable.
2.7. Enfin, contrairement à ce que prétend le recourant, la cour cantonale n'est pas tombée dans l'arbitraire en jugeant que l'absence de pièce comptable attestant de l'affectation des montants au projet de construction constituait un élément - parmi d'autres - indiquant que les sommes avaient été détournées par celui-ci.
3.
Le recourant conteste sa condamnation pour gestion fautive.
3.1. Aux termes de l'art. 165 CP, le débiteur qui, de manières autres que celles visées à l'art. 164 CP, par des fautes de gestion, notamment par une dotation insuffisante en capital, par des dépenses exagérées, par des spéculations hasardeuses, par l'octroi ou l'utilisation à la légère de crédits, par le bradage de valeurs patrimoniales ou par une négligence coupable dans l'exercice de sa profession ou dans l'administration de ses biens, aura causé ou aggravé son surendettement, aura causé sa propre insolvabilité ou aggravé sa situation alors qu'il se savait insolvable, sera, s'il a été déclaré en faillite ou si un acte de défaut de biens a été dressé contre lui, puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
La notion de surendettement, qui s'applique au débiteur soumis à la poursuite par la voie de la faillite, découle de l'art. 725 al. 2 CO et signifie que, sur le plan comptable, les dettes ne sont plus couvertes ni sur la base d'un bilan d'exploitation, ni sur la base d'un bilan de liquidation, autrement dit que les passifs excèdent les actifs (arrêt 6B_1269/2017 du 16 janvier 2019 consid. 3.1 et les arrêts cités). L'existence d'une situation d'insolvabilité ou d'un surendettement est une condition objective de punissabilité de l'infraction de gestion fautive (arrêt 6B_1269/2017 précité consid. 3.1 et les arrêts cités).
La faute de gestion visée par l'art. 165 CP peut consister en une action ou en une omission. L'omission ne peut être reprochée que s'il existait un devoir juridique d'agir. C'est en fonction des dispositions spécifiques qui définissent les devoirs de l'auteur qu'il faut déterminer si celui-ci a usé des précautions commandées par les circonstances et sa situation personnelle (ATF 115 IV 38 consid. 2 p. 41; plus récemment arrêt 6B_1279/2018 du 26 mars 2019 consid. 2.2.1). L'art. 165 ch. 1 CP mentionne comme faute de gestion les dépenses exagérées. Les dépenses peuvent apparaître exagérées en fonction des ressources du débiteur, mais aussi en tenant compte de leur faible justification commerciale (arrêts 6B_1269/2017 précité consid. 3.1; 6B_765/2011 du 24 mai 2012 consid. 2.1.1). Pour dire si l'acte a causé ou aggravé la situation, la jurisprudence se réfère à la notion de causalité adéquate. L'acte ou l'omission doit avoir contribué à causer ou à aggraver la situation, sans qu'il en soit forcément la cause unique ou directe, et doit être propre, d'après le cours ordinaire des choses et l'expérience de la vie, à entraîner un tel résultat (ATF 115 IV 38 consid. 2 p. 41; arrêts 6B_1269/2017 précité consid. 3.1; 6B_726/2017 du 20 octobre 2017 consid. 1.1).
3.2. Se référant aux contrats d'entreprise qu'il a signés avec les maîtres d'ouvrage, le recourant soutient que, par ces contrats, ceux-ci se sont engagés à payer le prix convenu à l'entrepreneur, de sorte que celui-ci était titulaire d'une créance pour le prix des villas, sous déduction du prix du terrain, soit de plus de 1'200'000 fr. au total. Il en déduit que la cour cantonale aurait dû retenir que la société disposait d'actifs en suffisance à même de couvrir les passifs.
S'agissant des contrats d'entreprise, il ressort des faits du jugement attaqué, dont le recourant ne démontre pas l'arbitraire que, dans la mesure où sa société n'a pas effectué les travaux nécessaires à l'édification des maisons des quatre couples, ceux-ci ont dû s'adresser à une autre société pour terminer le chantier après avoir, en date du 9 mars 2011, mis fin auxdits contrats d'entreprise générale conclus avec K._ Sàrl.
Par ailleurs, la cour cantonale a jugé que les négligences du recourant dans la gestion de sa Sàrl ayant conduit à la faillite étaient nombreuses. Tout d'abord, c'est en vain que le recourant conteste la conclusion de la cour cantonale selon laquelle la dotation en capital de la Sàrl, soit un montant de 50'000 fr., était insuffisante. En effet, comme l'a relevé la cour cantonale, d'une part, ce montant devait être remboursé à concurrence de 6'500 fr. par trimestre à une autre société, R._ SA, et, d'autre part, le seul prix de vente du terrain s'élevait à 360'000 francs. Il s'ensuit que cette dotation en capital insuffisante a joué un rôle causal dans le surendettement de la Sàrl. Ensuite, la cour cantonale a rappelé que dans la mesure où le recourant n'avait pas été capable de payer la " dédite " due parce qu'il n'avait pas pu financer l'acquisition du terrain, celui-ci avait dès lors dû puiser dans les acomptes versés par les maîtres d'ouvrage. C'est en vain que le recourant soutient qu'il n'a pas lui-même provoqué le paiement de la " dédite " de 36'000 fr., au motif que le retard pris dans la conclusion de la vente du terrain était entièrement imputable aux retards de versements des maîtres d'ouvrage. En effet, ces faits ne ressortent pas du jugement cantonal et le recourant ne démontre pas en quoi ils auraient été arbitrairement omis (cf. art. 97 al. 1 et art. 105 al. 1 LTF). Il en va de même de la critique du recourant selon laquelle il n'aurait pas - comme l'a retenu la cour cantonale -, entre le 10 janvier et le 22 février 2011, à tout le moins prélevé indûment 124'000 fr. de sa société, qu'il a affectés à ses besoins personnels, contribuant par là-même à causer le surendettement de sa société.
Pour le surplus, en soutenant qu'il n'a commis aucune faute de gestion de sa société, le recourant se contente en réalité d'opposer sa propre version des faits à celle retenue par la cour cantonale, sans parvenir à démontrer en quoi l'appréciation de cette dernière serait insoutenable. Il en va ainsi lorsqu'il affirme notamment que les salaires des ouvriers étaient payés, que les matériaux étaient commandés, payés et livrés, qu'il aurait bel et bien assumé les charges d'exploitation, et que la perte finale ne permettait pas de conclure que la société était surendettée. La cour cantonale a encore retenu que la désorganisation du recourant était patente, en raison à la fois de sa méconnaissance du domaine de l'entreprise générale et de sa désinvolture. Il n'était notamment pas capable de payer les sous-traitants et les ouvriers, ni de tenir une compatibilité. La cour cantonale en a conclu que cette gestion fautive et gravement négligente était à l'origine de la faillite de sa société.
C'est donc en vain que le recourant soutient que sa société disposait de suffisamment d'actifs du moment qu'il est établi que la société était dans un réel état de surendettement, les passifs de celle-ci excédant ses actifs. La procédure de faillite a été suspendue faute d'actifs le 11 mai 2011, alors que des poursuites totalisant 77'433 fr. avaient été engagées à l'encontre de la société.
Le grief du recourant est rejeté dans la mesure où il est recevable.
4.
Invoquant les art. 14 par. 3 let. c Pacte ONU II, 6 par. 1 CEDH, 29 al. 1 Cst. et 5 al. 1 CPP, le recourant se plaint d'une violation du principe de célérité. Il reproche à la cour cantonale d'avoir admis une violation du principe de célérité par l'autorité d'instruction et que la peine devait dès lors être atténuée, sans toutefois exposer en quoi cette violation influençait effectivement la quotité de la peine prononcée, se " contentant de déterminer une peine d'ensemble " (recours, p. 11).
4.1. Les art. 5 CPP et 29 al. 1 Cst. garantissent notamment à toute personne le droit à ce que sa cause soit traitée dans un délai raisonnable. Ces dispositions consacrent le principe de la célérité et prohibent le retard injustifié à statuer. L'autorité viole cette garantie lorsqu'elle ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable (ATF 143 IV 373 consid. 1.3.1 p. 377; cf. ATF 130 I 312 consid. 5.1 p. 331 s.). Comme on ne peut pas exiger de l'autorité pénale qu'elle s'occupe constamment d'une seule et unique affaire, il est inévitable qu'une procédure comporte quelques temps morts. Lorsqu'aucun d'eux n'est d'une durée vraiment choquante, c'est l'appréciation d'ensemble qui prévaut; des périodes d'activités intenses peuvent donc compenser le fait que le dossier a été laissé momentanément de côté en raison d'autres affaires. Le principe de la célérité peut être violé, même si les autorités pénales n'ont commis aucune faute; elles ne sauraient exciper des insuffisances de l'organisation judiciaire (ATF 130 IV 54 consid. 3.3.3 p. 56 s.). La violation du principe de la célérité peut avoir pour conséquence la diminution de la peine, parfois l'exemption de toute peine ou encore une ordonnance de classement en tant qu'ultima ratio dans les cas les plus extrêmes (ATF 143 IV 373 consid. 1.4.1 p. 377 s.; 135 IV 12 consid 3.6 p. 26; arrêt 6B_203/2019 du 10 avril 2019 consid. 3.1). Il incombe au juge d'indiquer comment et dans quelle mesure il a tenu compte de cette circonstance (ATF 117 IV 124 consid. 3 et 4 p. 126 ss; arrêts 6B_556/2017 du 15 mars 2018 consid. 3.1; 6B_790/2017 du 18 décembre 2017 consid. 2.3.2; 6B_728/2010 du 1er mars 2011 consid. 5.5.1; 6B_908/2009 du 3 novembre 2010 consid. 3.1 non publié in ATF 136 IV 188).
Pour déterminer les conséquences adéquates de la violation du principe de la célérité, il convient de prendre en considération la gravité de l'atteinte que le retard dans la procédure a causé au prévenu, la gravité des infractions qui sont reprochées, les intérêts des lésés, la complexité du cas et à qui le retard de procédure doit être imputé (ATF 117 IV 124 consid. 4e p. 129 s.; arrêts 6B_203/2019 précité consid. 3.1; 6B_790/2017 précité consid. 2.3.2; 6B_335/2016 du 24 janvier 2017 consid. 3.3.3; 6B_338/2012 du 30 novembre 2012 consid. 9.3).
4.2. En l'espèce, il ressort du jugement attaqué que la cour cantonale a confirmé que le fait qu'aucune opération n'avait eu lieu entre le 23 décembre 2013 et le 10 juillet 2017 violait le principe de la célérité. Elle a jugé qu'une telle inactivité au stade de l'instruction constituait effectivement un retard injustifiable dans la procédure. Elle a cependant considéré que cette circonstance avait en réalité déjà été prise en compte dans le jugement de première instance, de sorte qu'elle s'est contentée d'examiner si la peine infligée en première instance était adéquate au regard de l'art. 47 CP. Force est cependant de constater que tant dans le jugement de première instance - auquel se réfère la cour cantonale - que dans le jugement attaqué, il est seulement souligné que la violation du principe de la célérité est pris en compte à décharge, sans que le juge n'indique, comme l'exige la jurisprudence précitée, comment et dans quelle mesure il a tenu compte de la violation du principe de célérité. Le recours doit être admis sur ce point.
5.
Le recours doit être partiellement admis, le jugement attaqué annulé s'agissant de la peine et la cause renvoyée à la cour cantonale pour qu'elle indique les conséquences de la violation du principe de célérité sur celle-ci. Pour le surplus, le recours doit être rejeté dans la mesure où il est recevable.
Le recourant a requis l'assistance judiciaire. Il ne supportera pas de frais et peut prétendre à une indemnité de dépens réduite relativement à l'admission partielle de son recours (art. 68 al. 1 LTF), ce qui rend sa demande d'assistance judiciaire sans objet dans cette mesure. Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée (art. 64 al. 1 et 2 LTF). Le recourant supportera des frais réduits en raison de l'issue de la procédure et de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée dans la mesure où elle n'est pas sans objet.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le canton de Vaud versera en mains du conseil du recourant une indemnité de 1'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 septembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann