Faits :
A.
Par jugement du 15 août 2018, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a libéré A._ des infractions d'escroquerie, gestion déloyale, violation de l'obligation de tenir une comptabilité, infraction à la LAVS et infraction à la LPP, et l'a condamné pour abus de confiance et gestion fautive à une peine privative de liberté de 12 mois, avec sursis durant trois ans.
B.
Par jugement du 29 janvier 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ et a confirmé le jugement de première instance.
C.
Par arrêt 6B_417/2019 du 13 septembre 2019, le Tribunal fédéral a partiellement admis le recours de A._, annulé le jugement attaqué s'agissant de la peine et renvoyé la cause à la cour cantonale pour qu'elle indique les conséquences de la violation du principe de célérité sur celle-ci. Il a rejeté le recours pour le surplus.
D.
Statuant sur renvoi, la Cour d'appel pénale a rejeté l'appel de A._, par jugement du 12 novembre 2019, et a confirmé la peine privative de liberté de 12 mois avec sursis durant trois ans prononcée par le premier juge.
E.
A._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à la réforme du jugement attaqué en ce sens qu'il est renoncé à lui infliger une peine compte tenu du défaut de célérité. Subsidiairement, il conclut à la réforme du jugement attaqué en ce sens que sa peine est réduite compte tenu du défaut de célérité. Plus subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une violation du principe de la célérité. Il soutient que la violation de ce principe n'a pas été réellement prise en compte dans le cadre de la fixation de la peine ni par le tribunal de première instance, ni par la cour cantonale. Il fait également grief à la cour cantonale d'avoir violé le principe de l'autorité de l'arrêt de renvoi en persistant à affirmer que la violation du principe de célérité avait été prise en compte dans la fixation de la peine " sans toutefois expliquer quelle était la peine infligée spécialement et quelle était alors la réduction précisément opérée " (mémoire de recours, p. 7).
1.1. Les <ref-law> et 29 al. 1 Cst. garantissent notamment à toute personne le droit à ce que sa cause soit traitée dans un délai raisonnable. Ces dispositions consacrent le principe de la célérité et prohibent le retard injustifié à statuer. L'autorité viole cette garantie lorsqu'elle ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable (<ref-ruling> consid. 1.3.1 p. 377; cf. <ref-ruling> consid. 5.1 p. 331 s.). La violation du principe de la célérité peut avoir pour conséquence la diminution de la peine, parfois l'exemption de toute peine ou encore une ordonnance de classement en tant qu'ultima ratio dans les cas les plus extrêmes (<ref-ruling> consid. 1.4.1 p. 377 s.; <ref-ruling> consid. 3.6 p. 26; arrêt 6B_1086/2019 du 6 mai 2020 consid. 7.3.1).
L'autorité judiciaire doit mentionner expressément la violation du principe de célérité dans le dispositif du jugement et, le cas échéant, indiquer comment et dans quelle mesure elle a tenu compte de cette violation (arrêts 6B_1385/2019 du 27 février 2020 consid. 5.1; 6B_790/2017 du 18 décembre 2017 consid. 2.3.2 et les références citées, en particulier <ref-ruling> consid. 2.3 p. 278).
Pour déterminer les conséquences adéquates de la violation du principe de la célérité, il convient de prendre en considération la gravité de l'atteinte que le retard dans la procédure a causé au prévenu, la gravité des infractions qui sont reprochées, les intérêts des lésés, la complexité du cas et à qui le retard de procédure doit être imputé (<ref-ruling> consid. 4e p. 129 s.; arrêts 6B_1463/2019 du 20 février 2020 consid. 2.1; 6B_790/2017 du 18 décembre 2017 consid. 2.3.2).
1.2. Le principe de l'autorité de l'arrêt de renvoi découle du droit fédéral non écrit (<ref-ruling> consid. 5.3.3 p. 222). Conformément à ce principe, l'autorité cantonale à laquelle la cause est renvoyée par le Tribunal fédéral est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Elle est ainsi liée par ce qui a déjà été définitivement tranché par le Tribunal fédéral et par les constatations de fait qui n'ont pas été attaquées devant lui ou l'ont été sans succès (<ref-ruling> consid. 5.2.1 p. 220; <ref-ruling> consid. 5.2 p. 94). La motivation de l'arrêt de renvoi détermine dans quelle mesure l'autorité précédente est liée à la première décision et fixe aussi bien le cadre du nouvel état de fait que celui de la nouvelle motivation juridique (<ref-ruling> consid. 2 p. 335).
1.3. Dans l'arrêt 6B_417/2019 du 13 septembre 2019 (consid. 4.2), le Tribunal fédéral a indiqué que tant dans le jugement de première instance - auquel se référait la cour cantonale - que dans le jugement attaqué, le juge n'avait pas indiqué, comme l'exige la jurisprudence, comment et dans quelle mesure il avait tenu compte de la violation du principe de célérité.
1.4. En l'espèce, il n'est pas contesté que le fait qu'il n'y avait eu aucune opération entre le 23 décembre 2013 et le 10 juillet 2017 violait le principe de célérité (cf. arrêt 6B_417/2019 précité consid. 4.2).
Il ressort du jugement de première instance que, dans le cadre de la fixation de la peine, les juges ont relevé que " la durée de la procédure sera[it] également prise en considération à décharge " (consid. 9), sans toutefois expressément retenir une violation du principe de célérité, ni indiquer dans quelle mesure une telle violation était prise en compte dans la fixation dans la peine. En définitive, ils ont condamné le recourant à une peine privative de liberté de 12 mois avec sursis durant trois ans.
Dans le jugement attaqué, la cour cantonale a confirmé la peine de 12 mois avec sursis prononcée en première instance. Elle a précisé que, compte tenu notamment du concours entre deux infractions graves, c'était une peine privative de liberté de deux ans qui devait être fixée. Elle a expliqué que la peine était réduite à un an pour tenir compte de la violation du principe de célérité dans la fixation de la peine, ce qui correspondait à une réduction de l'ordre de 50 % (cf. jugement de la Cour d'appel pénale du 12 novembre 2019, consid. 2.3).
Dans ces conditions, le recourant ne saurait être suivi lorsqu'il soutient que la violation du principe de célérité n'a pas été réellement prise en compte par la cour cantonale dans le cadre de la fixation de la peine, étant pour le surplus rappelé que le jugement de première instance n'est pas l'objet du recours en matière pénale (<ref-law>). Par ailleurs, on ne saurait non plus reprocher à la cour cantonale d'avoir violé le principe de l'autorité de l'arrêt de renvoi, dès lors qu'elle a expliqué dans quelle mesure elle avait tenu compte de la violation du principe de célérité dans la fixation de la peine.
1.5. Au demeurant, c'est en vain que le recourant reproche à la cour cantonale d'avoir estimé que le fait que certaines infractions auraient été atteintes par la prescription " suffirait - ou du moins participerait - à la réparation du principe de célérité ". En effet, si la cour cantonale a constaté que la violation du principe de célérité, donc l'écoulement du temps, avait eu pour effet la prescription de certains délits, qui n'ont dès lors pas été retenus à la charge du recourant, elle n'a pas dit que la prescription atteinte " réparait " la violation du principe de célérité, ni qu'elle avait un effet sur la peine (cf. arrêt 6B_189/2017 du 7 décembre 2017 consid. 5.3.3). Le grief du recourant est rejeté dans la mesure où il est recevable.
1.6. Dès lors qu'elle a indiqué dans quelle mesure elle avait tenu compte de la violation du principe de célérité, la cour cantonale n'a pas violé le droit fédéral en confirmant la peine privative de liberté de 12 mois avec sursis.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 décembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann