Faits :
A.
Par jugement du 29 août 2019, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné A.A._ pour vol en bande et par métier et tentative de vol en bande et par métier à une peine privative de liberté de 4 ans, sous déduction de 432 jours de détention avant jugement, a ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention. Il a constaté que A.A._ avait subi 15 jours de détention dans des conditions illicites (Hôtel de police), ordonné que 8 jours soient déduits de la peine, constaté qu'il avait subi 417 jours dans des conditions difficiles (Bois-Mermet) et ordonné que 139 jours soient déduits de la peine.
En outre, i l a condamné B.A._ pour vol en bande et par métier et tentative de vol en bande et par métier à une peine privative de liberté de 4 ans, sous déduction de 432 jours de détention avant jugement, ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention, constaté qu'il avait subi 23 jours de détention dans des conditions illicites et ordonné que 12 jours soient déduits de la peine.
Il a également condamné C.A._ pour vol en bande et par métier, tentative de vol en bande et par métier et conduite d'un véhicule en état défectueux, à une peine privative de liberté de 4 ans, sous déduction de 266 jours de détention avant jugement, ainsi qu'à une amende de 200 fr., ordonné son expulsion du territoire suisse pour une durée de 10 ans, constaté qu'il avait subi 24 jours de détention dans des conditions illicites et ordonné que 12 jours soient déduits de la peine.
Enfin, il a statué sur les prétentions civiles des parties plaignantes, le sort des objets séquestrés, les indemnités et les frais.
B.
Statuant le 17 janvier 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a admis l'appel du Ministère public vaudois et rejeté les appels formés par A.A._, B.A._ et C.A._ contre ce jugement.
Elle a condamné A.A._ pour vol en bande et par métier et usurpation de fonctions à 4 ans et 5 mois de peine privative de liberté, sous déduction de 432 jours de détention avant jugement, ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention, constaté qu'il avait subi 15 jours de détention dans des conditions illicites (Hôtel de police) et ordonné que 8 jours soient déduits de la peine.
Elle a en outre condamné B.A._ pour vol en bande et par métier et usurpation de fonctions à 4 ans et 5 mois de peine privative de liberté et condamné C.A._ pour vol en bande et par métier, usurpation de fonctions et conduite d'un véhicule en état défectueux à 4 ans et 5 mois de peine privative de liberté, le jugement étant au surplus confirmé les concernant.
En substance, la décision cantonale repose sur les faits suivants.
A D._, entre le 10 mars 2016 et le 28 juin 2018, date de leur interpellation, les frères C.A._ (né en 1986) et B.A._ (né en 1979), ainsi que leur père, A.A._, né en 1955, alias E._ (né en 1952), ressortissants français, ont commis 22 vol s et tentatives de vols à l'astuce - 20 plaintes pénales ayant été déposées -, au moyen du mode opératoire suivant.
Généralement, l'un des membres du trio contactait téléphoniquement la partie plaignante - qui était une femme âgée de 89 ans en moyenne - en se faisant passer pour un employé de la Poste ou d'un service étatique ou pour un ouvrier sanitaire. Lors de l'échange téléphonique, il obtenait d'elle les informations nécessaires à la commission de l'acte délictueux (notamment le code de la porte d'entrée de l'immeuble) et s'assurait que celle-ci vivait seule. L'un d'eux se rendait ensuite chez elle et se présentait comme étant un plombier qui devait procéder à une vérification de la tuyauterie et de l'écoulement des eaux. Le faux plombier occupait son attention, parfois en l'invitant à observer le débit d'eau et en la laissant seule. Ensuite, soit il en profitait pour dérober différents biens de valeur ou numéraires qu'il trouvait dans l'appartement, soit il ouvrait la porte du logement afin que son complice y accède pour commettre des vols. Quelques instants plus tard, cette seconde personne se présentait à son tour et indiquait être policier, se légitimant au moyen d'une carte de police. Le faux policier expliquait à la femme âgée que des vols avaient eu lieu dans le quartier ou l'immeuble et lui présentait certains des objets dérobés par son comparse ou lui-même. Le faux policier lui demandait alors de procéder à une vérification de ses objets de valeur. Le faux policier, qui portait des gants, en profitait pour dérober d'autres biens ou numéraires. Il " désinfectait " ensuite parfois, au moyen d'une solution d'eau et de javel, les zones où se trouvaient ceux-ci, pour effacer les traces. Il arrivait également que le faux policier, arguant un relevé d'empreintes, demande de la farine à la femme âgée afin de repérer et d'effacer les éventuelles empreintes que lui ou son complice auraient laissées. Finalement, en quittant les lieux, le " policier " lui ordonnait de garder secrète l'enquête en cours à tout le moins pendant une heure. Tout au long du scénario mis en place, le troisième comparse assurait, quant à lui, la surveillance depuis l'extérieur de l'appartement ou de l'immeuble. Le mode opératoire a parfois été légèrement modifié, en fonction des circonstances. Les rôles du " plombier " et du " policier " ont été assumés tour à tour par C.A._, B.A._ et A.A._. Le butin ainsi réalisé (composé essentiellement d'argent liquide et de bijoux) s'est élevé à plus de 100'000 francs.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, en ce sens qu'il est acquitté d'usurpation de fonctions et condamné pour vol en bande et par métier à une peine privative de liberté d'une durée entièrement compensée par celle de la détention déjà subie jusqu'à droit jugé sur le recours, sa libération immédiate devant être ordonnée. Subsidiairement, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Par ailleurs, il requiert l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Invoquant l'arbitraire dans l'établissement des faits et la présomption d'innocence, le recourant fait grief à la cour cantonale de lui avoir imputé à tort les 22 cas répertoriés dans le jugement attaqué, seuls 5 ou 6 d'entre eux pouvant être retenus.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503; sur la notion d'arbitraire v. <ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; ATF <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP), le principe in dubio pro reo n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 1.1 p. 503).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_150/2020 du 19 mai 2020 consid. 4.1; 6B_146/2020 du 5 mai 2020 consid. 1.1.1; 6B_324/2017 du 8 mars 2018 consid. 1.1).
1.2. La cour cantonale a retenu que l'escroquerie dite du faux neveu, le vol à l'astuce du faux plombier ou le vol à l'astuce du faux policier constituaient des schémas de délinquance patrimoniale couramment utilisés depuis plusieurs années en France et en Suisse romande. Les 22 cas répertoriés présentaient des caractéristiques qui en faisaient une série unique comportant une signature opérationnelle permettant de les attribuer à des auteurs déterminés.
Dans tous les cas où la partie plaignante avait ouvert la porte de son logement (soit tous à l'exception de 3 cas), celui-ci avait été investi non seulement par un faux plombier intervenant en premier, mais aussi par un faux policier intervenant dans un second temps. Le faux policier parachevait la mise en confiance en restituant à la partie plaignante un ou des objets dérobés par le faux plombier, en prétendant qu'ils provenaient de la récente arrestation d'un voleur, puis en lui demandant de vérifier la présence de ses biens de valeur pour s'en emparer.
La localisation de ces 22 cas se situait au sud de la ville de D._, vraisemblablement pour disposer d'une desserte autoroutière comme voie de fuite rapide. Les cibles étaient exclusivement des femmes très âgées (en moyenne 89 ans), seules à leur domicile. Le butin était composé uniquement d'espèces, de bijoux, de montres, de pièces et médailles en or.
Comme marqueur spécifique répété, la cour cantonale a noté un appel téléphonique préalable dans 10 cas, le plus souvent à partir d'une cabine téléphonique ou d'un numéro fictif, pour obtenir par tromperie, en prétextant la livraison par coursier d'un colis postal ou la venue d'un ouvrier d'une entreprise sanitaire, le code d'entrée de l'immeuble, et vérifier le cas échéant que la partie plaignante vivait seule. Deux de ces appels avaient été enregistrés.
La cour cantonale a relevé, comme autre marqueur répété, l'usage d'un liquide indéterminé pour effacer des traces à l'emplacement des vols (dans 10 cas) ou le saupoudrage de diverses surfaces avec de la poudre ou de la farine obtenue des parties plaignantes (dans 6 cas), en prétextant un relevé d'empreintes. Une autre particularité résidait dans la consigne finale, pour couvrir la fuite des voleurs, donnée par le faux policier aux parties plaignantes de n'aviser personne durant une heure (dans 7 cas).
Un autre élément caractéristique ressortait de l'obsession sécuritaire des auteurs, délinquants expérimentés au vu de leurs antécédents judiciaires en France, qui avaient pris un grand nombre de précautions pour échapper à l'arrestation. Ainsi, en s'en prenant à des femmes très âgées, ils avaient facilité la réalisation de leurs vols, mais pouvaient aussi tabler sur des souvenirs parfois flous ou estompés compliquant ou fragilisant la description des voleurs à la police. Ils avaient utilisé des déguisements sommaires sous forme de couvre-chefs et d'habits/vestes permettant de modifier rapidement leur apparence, comme la fouille de leur véhicule l'avait révélé. Ils portaient des gants et/ou effaçaient leurs traces et empreintes là où ils volaient. Des paquets de lingettes nettoyantes et des produits d'entretien avaient été trouvés dans leur voiture. Ils n'utilisaient pas de téléphone portable pour contacter leurs cibles, mais des cabines téléphoniques dont ils essuyaient soigneusement l'écouteur avec un chiffon. Parfois, selon les dépositions des parties plaignantes, ils mettaient des chaussons en plastique pour ne pas laisser d'empreintes de semelles. Le faux plombier et le faux policier étaient appuyés par un guetteur qui veillait à leur sécurité et assurait leur prompte fuite en voiture. Pour communiquer entre eux, ils disposaient de deux talkie-walkie placés dans une mallette trouvée dans leur véhicule. Ils détenaient des sprays de défense pour neutraliser d'éventuels adversaires. Ils prenaient la précaution de ne pas passer de nuits en Suisse, mais en France, où ils louaient des chambres d'hôtel sous de faux noms. Le véhicule qu'ils utilisaient n'était pas immatriculé au nom de l'un d'eux mais à celui d'un tiers, et ils disposaient d'autocollants (Franche Comté 25) pouvant être apposés sur les plaques d'immatriculation françaises.
L'attribution de ce mode opératoire au recourant et aux deux coauteurs était consolidée par les observations de la police, qui avait placé le trio sous surveillance durant l'accomplissement des deux derniers cas. Ainsi que le soulignait le rapport de police et l'inspecteur F._ lors de son audition par le tribunal de première instance, la systématique du mode opératoire impliquait qu'il s'était agi des mêmes auteurs, aucun autre cas adoptant un mode opératoire similaire n'ayant été signalé durant la période couverte par les 22 cas. De plus, depuis l'interpellation du trio le 28 juin 2018, aucun cas similaire n'était parvenu à la connaissance de la police de D._. On pouvait en déduire qu'il n'existait pas d'autre équipe, oeuvrant en parallèle, que celle formée par le recourant et les deux coauteurs.
Quant à sa composition, la sécurité de l'équipe au moment critique de la présence de deux d'entre eux dans le logement de la partie plaignante rendait indispensable qu'un troisième ait fonctionné comme guetteur/chauffeur, rôle que le recourant avait admis. Comme la police l'avait démontré dans son rapport, la location parfois d'une ou deux chambres individuelles dans le même hôtel n'excluait pas une équipe de trois, une ou des chambres supplémentaires étant louées dans un autre établissement ayant de la place. De même, il n'était pas déterminant que la gérante de l'hôtel " G._ " n'eût identifié que le recourant, qui avait été son seul interlocuteur et, de loin, le fils aîné. Il était révélateur que pour écarter les soupçons, notamment concernant le plus jeune fils, le recourant ait inventé la légende de " H._ ", alias " I._ ", dont la photographie formellement identifiée par le recourant était en réalité issue d'un montage internet mélangeant les traits de plusieurs acteurs. " H._ " endossait ainsi commodément la plus grande responsabilité en étant censé avoir été l'initiateur et l'instructeur de la technique de vol, le troisième participant à ceux-ci, celui qui avait fourni la voiture, celui qui avait sa photo affichée sur la fausse carte de police et celui qui écoulait les bijoux volés auprès d'un receleur. S'agissant des activités professionnelles du plus jeune fils, le seul qui avait tenté d'esquisser un " pseudo alibi ", le contrat de travail du 1er mars 2017 ne disait rien des jours et horaires de travail, mais indiquait uniquement que le salaire mensuel brut de 1'480.30 euros était versé pour 151.67 heures. Les fiches de paie qui s'étalaient de mars 2017 à novembre 2017 n'en disaient pas plus. Quoi qu'il en ait été, cette charge de travail, dont la répartition était inconnue, n'excluait pas la commission d'un vol par mois de mars à novembre 2017, voire de deux en octobre 2017. Il était au demeurant frappant qu'il n'eût pas entrepris de prouver l'exercice de son activité professionnelle le jour des vols en question.
En définitive, l'enquête n'ayant pas mis à jour un autre troisième membre que le plus jeune fils, qui avait joué son rôle dans les deux derniers cas, et la sécurité chère à ces délinquants étant la mieux assurée par les liens du sang, l'implication des trois auteurs en coactivité dans les 22 cas devait être retenue. La singularité et les spécificités du mode opératoire ainsi que les autres preuves réunies par les enquêteurs suffisaient à établir leur culpabilité sans qu'il ne fût nécessaire de s'arrêter aux détails des témoignages, parfois peu précis, des parties plaignantes âgées les mettant en cause.
1.3. Selon le recourant, la cour cantonale aurait arbitrairement considéré que les 22 cas présentaient des caractéristiques qui en faisaient une série unique. Le mode opératoire serait similaire, pas identique. Ainsi, les auteurs n'auraient pas systématiquement téléphoné à leur cible au préalable ou ne leur auraient pas demandé de se taire, ni n'auraient tenté d'effacer leurs traces. Deux parties plaignantes auraient décrit l'intervention de deux plombiers, respectivement deux policiers. Selon l'une d'elles, un des protagonistes lui aurait montré une photographie de son compagnon décédé. La cour cantonale n'aurait ainsi pas dû exclure l'implication de plusieurs bandes. En outre, de nombreux éléments mettaient en doute la présence du recourant sur les lieux des vols. En particulier dans les cas où les parties plaignantes ne l'auraient pas identifié lors du " tapissage ", ou l'auraient exclu sur planche photographique. La cour cantonale aurait ainsi arbitrairement écarté les déclarations de celles-ci. La présence du recourant en France voisine ou en Suisse romande les nuitées suivant les vols n'aurait pas été démontrée dans tous les cas. En définitive, c'était tout au plus 5 ou 6 vols qui pouvaient lui être imputés.
Ce faisant, le recourant développe une argumentation purement appellatoire et, partant, irrecevable, par laquelle il présente librement son appréciation des preuves, sans démontrer dans quelle mesure l'un ou l'autre élément évoqué aurait fait l'objet d'une constatation ou d'une omission insoutenable de la part de la cour cantonale.
Au demeurant, il fait grand cas du fait que les parties plaignantes ne l'auraient pas identifié, voire l'auraient exclu lors du " tapissage " ou sur planche-photographique. Il perd cependant de vue qu'il s'agissait de femmes très âgées - 89 ans en moyenne -, chez qui le recourant et ses fils ne sont restés que brièvement, parés de déguisements. Dans ces circonstances, il ne paraît pas invraisemblable que les parties plaignantes n'aient pas reconnu le recourant. A tout le moins, cela ne rend pas arbitraire le fait que la cour cantonale ait considéré que le recourant et les deux coauteurs étaient à l'origine des 22 cas. Il en va de même de l'argumentation tirée des prétendues discrépances de mode opératoire. Quoi qu'en dise le recourant, le scénario demeure pour l'essentiel identique, en dépit de légères divergences. Celles qu'il met en exergue peuvent aisément s'expliquer par diverses circonstances, comme l'a d'ailleurs évoqué la cour cantonale. On peut de plus admettre, avec la cour cantonale, qu'il est frappant qu'aucun cas similaire ne soit parvenu à la connaissance de la police de D._ depuis l'interpellation du trio. Enfin, il n'est pas déterminant que la présence du recourant en France voisine ou en Suisse romande les nuitées suivant les vols n'ait pas été démontrée pour tous les cas retenus. Il ne s'agit que de l'un des indices dont la cour cantonale a tenu compte pour corroborer la solution retenue. En conclusion, les points invoqués par le recourant ne démontrent pas qu'il était insoutenable, fondé sur le rapprochement de l'ensemble des éléments retenus par la cour cantonale, de conclure que le recourant et ses fils étaient les coauteurs des 22 cas. Le grief est rejeté, dans la mesure de sa recevabilité.
2.
Le recourant conteste sa condamnation pour usurpation de fonctions en coactivité.
2.1. L'<ref-law> réprime le comportement de celui qui, dans un dessein illicite, aura usurpé l'exercice d'une fonction ou le pouvoir de donner des ordres militaires. Cette disposition vise l'exercice de la puissance publique, en particulier le droit de rendre des décisions. Le comportement punissable consiste à exercer le pouvoir en faisant croire que l'on est autorisé à agir alors que tel n'est pas le cas. L'usurpation peut se limiter à une seule activité entrant dans la compétence de la fonction usurpée (<ref-ruling> consid. 3c/aa p. 167; arrêt 6B_218/2013 du 13 juin 2013 consid. 3.1).
Est un coauteur celui qui collabore, intentionnellement et de manière déterminante, avec d'autres personnes à la décision de commettre une infraction, à son organisation ou à son exécution, au point d'apparaître comme l'un des participants principaux. Il faut que, d'après les circonstances du cas concret, la contribution du coauteur apparaisse essentielle à l'exécution de l'infraction. La seule volonté quant à l'acte ne suffit pas. Il n'est toutefois pas nécessaire que le coauteur ait effectivement participé à l'exécution de l'acte ou qu'il ait pu l'influencer. La coactivité suppose une décision commune, qui ne doit cependant pas obligatoirement être expresse, mais peut aussi résulter d'actes concluants, le dol éventuel quant au résultat étant suffisant. Il n'est pas nécessaire que le coauteur participe à la conception du projet, auquel il peut adhérer ultérieurement. Il n'est pas non plus nécessaire que l'acte soit prémédité; le coauteur peut s'y associer en cours d'exécution. Ce qui est déterminant, c'est que le coauteur se soit associé à la décision dont est issue l'infraction ou à la réalisation de cette dernière, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal (<ref-ruling> consid. 2.3.1 p. 155; <ref-ruling> consid. 3a p. 136).
2.2. La cour cantonale a retenu que les rôles du " plombier " et du " policier " avaient été assumés tour à tour par chacun des coaccusés dans 13 cas. La coaction résultait de la volonté délictueuse d'intervenir en tant qu'auteur plus que des actes d'exécution. Même si l'énoncé légal parlait de celui qui aura usurpé l'exercice d'une fonction, l'infraction avait été réalisée par des coauteurs dès lors que l'usurpation par l'auteur s'insérait dans la réalisation du plan commun de vol à l'astuce faisant intervenir le faux policier et apparaissait comme l'expression d'une volonté commune. Le faux plombier, également sur place, avait renforcé l'usurpation en se référant à son comparse ou en le traitant comme un " policier ".
2.3. Le recourant conteste l'usurpation de fonctions en coactivité en tant qu'il n'aurait pas contribué à la réalisation de l'infraction. Il n'aurait en effet endossé que le rôle - non indispensable - du " plombier ", ce qui ressortirait de ses aveux et de ceux de ses fils. Aucun élément ne permettrait de retenir qu'il se serait fait passer pour un " policier ". Son fils aîné aurait agi seul en ayant la totale maîtrise des opérations.
Le recourant conteste sa condamnation non sur la base des faits retenus, dont il n'a pas démontré l'arbitraire, mais sur la base de faits qu'il invoque librement. Il n'articule aucun grief tiré de l'application erronée du droit matériel. Cette manière de procéder est irrecevable.
En tout état, sur la base des constatations de fait dénuées d'arbitraire, la cour cantonale pouvait parvenir à la conclusion que le recourant avait adhéré au plan global dans lequel l'usurpation de fonctions jouait un rôle déterminant. Il a en effet collaboré intentionnellement et de manière significative à l'élaboration du scénario commun comportant un faux policier, et à sa mise en oeuvre. Il s'est de la sorte associé à l'usurpation de fonctions, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal. En cela, peu importe quel rôle a été joué par qui lors de la perpétration des vols. C'est donc à juste titre que la cour cantonale a retenu que le recourant et les deux coauteurs devaient être reconnus coupables d'usurpation de fonctions. Le grief soulevé doit partant être rejeté, dans la mesure de sa recevabilité.
3.
Le recourant conteste la quotité de la peine privative de liberté infligée et se plaint d'un défaut de motivation à cet égard.
3.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
La culpabilité de l'auteur doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 9.1 p. 147; <ref-ruling> consid. 6.1.1 p. 66 s. et les références citées).
Le juge dispose d'un large pouvoir d'appréciation dans la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'<ref-law>, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation. L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (<ref-law>). La motivation doit ainsi justifier la peine prononcée, en permettant de suivre le raisonnement adopté, même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 5.6 p. 61; <ref-ruling> consid. 2.1 p. 19 s.). Plus la peine est élevée, plus la motivation doit être complète (<ref-ruling> consid. 1.2 p. 319; <ref-ruling> consid. 2c p. 105).
3.2. S'agissant de la situation personnelle du recourant, la cour cantonale a notamment retenu que celui-ci habitait en France à proximité immédiate de ses deux fils et de leurs familles respectives. On trouvait dans le dossier, notamment à l'occasion de séjours en détention antérieurs, quelques traces d'un état psychique fragile, avec des périodes de décompensation. Son casier judiciaire français comportait six inscriptions entre le 24 mai 2002 et le 16 juillet 2014, essentiellement pour escroquerie, violence sur personne dépositaire de l'autorité publique, recel de bien provenant d'un délit, vols aggravés, détention frauduleuse de faux documents administratifs, participation à une association de malfaiteurs, usage de fausse plaque et vol facilité par l'état d'une personne vulnérable aggravé (récidive). Son casier judiciaire suisse était vierge, de même que le casier judiciaire français sous le nom d'alias. Son comportement en détention à Bois-Mermet n'avait pas attiré l'attention.
Concernant la fixation de la peine, la cour cantonale a retenu que les 22 vols en bande et par métier commis à l'occasion d'expéditions répétées à D._ étalées du 10 mars 2016 au 28 juin 2018, précisément ciblées et localisées, suivant un mode opératoire rigoureusement identique, procédaient d'une décision unique et avaient donc fait l'objet d'une seule et même série, quand bien même les intervalles temporels séparant chaque cas du suivant avaient quelque peu varié dans leur durée.
La cour cantonale a admis que la culpabilité du recourant et des deux coauteurs était extrêmement lourde. Ils s'en étaient pris à des personnes faibles et incapables de se défendre. Ils les avaient dépouillées non seulement de biens ou de quantités d'argent importantes, mais aussi d'objets ayant une valeur sentimentale. Seule leur arrestation avait permis de mettre fin à une activité délictueuse de longue durée, d'une grande efficacité et reposant sur l'exploitation de la faiblesse de personnes vulnérables. A cela s'ajoutait qu'ils avaient tous trois de lourds antécédents. Le vol était un moyen normal de gagner leur vie. Leur collaboration à l'établissement des faits avait été inexistante. Aucun élément à décharge n'était décelé.
S'agissant du recourant, mis à part des documents médicaux français, le dossier contenait une lettre de sortie des Hôpitaux J._ à la suite du séjour qu'il y avait effectué du 31 juillet au 9 août 2018. Le diagnostic était celui de retard mental avec caractéristiques autistiques. Y étaient évoquées des hallucinations auditives. Le patient entendait la voix de son père et mangeait très peu pour s'alléger, pour que celui-là puisse l'emporter, selon la teneur d'une lettre envoyée à sa soeur le 16 juillet 2018. Pour la cour cantonale, le problème résidait en ce que cet état affiché comme très diminué ne coïncidait pas du tout avec la mise en oeuvre raffinée du mode opératoire consistant à manipuler une partie plaignante en la prenant en tenaille entre deux acteurs, soit le " plombier " et le " policier ", avec la réflexion et la méticulosité des précautions prises pour échapper à l'arrestation, avec le rôle du dirigeant patriarche d'une famille de délinquants, et, surtout, avec le contenu des conversations enregistrées qui démontraient une maîtrise dans la communication incompatible avec la prétendue arriération. Il était donc possible que le recourant eût simulé ou exagéré certains symptômes pour en tirer avantage. En tous les cas, dans l'exécution des délits, aucune faiblesse mentale ne s'était manifestée. Les médecins traitants n'étaient pas des experts et ils avaient pu être manipulés. De toute manière, s'agissant de l'état de santé le cas échéant déficient du recourant, cette atténuation était largement compensée par l'aggravation qu'impliquait son rôle de " leader " familial et son âge dans la conduite de cette bande familiale.
La cour cantonale a souligné que le stratagème minutieux mis au point pour commettre les infractions reprochées dénotait une intensité délictuelle exceptionnelle. Partant, les 22 vols commis justifiaient une peine privative de liberté de 4 ans pour chacun des coauteurs. Leurs regrets n'étaient que de façade. Leur refus obstiné de réparer en restituant le butin des cas avoués dénotait une absence totale de regrets investis. A cette peine de base s'ajoutait celle induite par les délits d'usurpation de fonctions, le premier cas - initiatique - justifiant une majoration de peine privative de liberté de 30 jours, le choix de la peine étant dicté tant par le lien de l'infraction avec le crime du vol par métier que par des motifs de prévention spéciale, puis les 12 cas suivants d'un supplément de 10 jours à chaque fois, ce qui donnait une augmentation totale pour cette infraction de 150 jours, soit 5 mois. En conséquence, la cour cantonale a infligé une peine privative de liberté de 4 ans et 5 mois à chacun des coauteurs.
3.3. Le recourant invoque une réduction de la peine fondée sur sa libération du nombre de cas retenus à son encontre - qui ne devrait pas dépasser 6 - et du chef d'infraction d'usurpation de fonctions. Dès lors qu'il n'obtient pas son acquittement pour les points précités, cette argumentation est irrecevable.
Le recourant reproche à la cour cantonale d'avoir ignoré son état de santé et de s'être arbitrairement écarté des avis médicaux. Il souffrirait d'une arriération intellectuelle et affective évoluant depuis l'âge de 10 ans constatée par plusieurs médecins. La psychose chronique associée à l'arriération mentale le rendrait particulièrement vulnérable et influençable. Pour ces raisons, il ferait l'objet d'une mesure de tutelle depuis de nombreuses années. Sa santé se serait en outre dégradée au cours de la détention, d'où son hospitalisation aux Hôpitaux J._ du 31 juillet au 9 août 2018.
Ce faisant, le recourant ne fait qu'opposer sa propre appréciation des pièces médicales à celle de la cour cantonale dans une démarche purement appellatoire. Quoi qu'il en soit, la cour cantonale a tenu compte de son état de santé à décharge. Elle a cependant considéré que l'atténuation qui en découlait était de toute manière compensée par l'aggravation qu'impliquait son rôle de chef de famille. Or le recourant ne prétend pas qu'il eût fallu accorder un poids plus important à son état de santé dans les circonstances d'espèce, se contentant d'affirmer que la cour cantonale n'en a pas tenu compte. Il ne démontre pas non plus en quoi la cour cantonale aurait commis un abus de son pouvoir d'appréciation en considérant que l'aggravation compensait la diminution retenue. Infondé, le grief est rejeté, dans la mesure de sa recevabilité.
Le recourant soutient que la cour cantonale n'aurait pas tenu compte de sa collaboration à l'enquête. Elle lui aurait infligé une peine identique à celle de ses comparses, alors que ceux-ci auraient fait valoir leur droit au silence presque tout au long de la procédure. Toutefois, le recourant n'expose pas en quoi sa propre collaboration aurait consisté, pas plus qu'il n'indique quels éléments la cour cantonale aurait arbitrairement omis à cet égard. Insuffisamment motivée, sa critique est irrecevable.
Le recourant fait grief à la cour cantonale de ne pas avoir tenu compte de ses regrets et de son repentir sincère. A cet égard, la cour cantonale a souligné son refus obstiné à réparer le dommage en restituant le butin des cas avoués, dont elle a déduit que ce comportement était révélateur d'une absence totale de regret. Encore une fois, le recourant s'écarte des faits retenus par la cour cantonale sans démontrer que ceux-ci auraient été établis de manière arbitraire, si bien que sa critique est irrecevable. Pour le surplus, le recourant ne développe pas plus avant en quoi il aurait fait montre d'un repentir sincère au sens de l'art. 48 let. d CP. Insuffisamment motivé, le grief est ainsi irrecevable.
C'est en vain que, sur la base d'un rapport de la prison du 29 juillet 2019, le recourant se prévaut de son comportement exemplaire en détention. En effet, un bon comportement en détention a un effet neutre sur la peine, puisqu'il correspond à ce que l'on doit pouvoir attendre d'un détenu (arrêts 6B_938/2019 du 18 novembre 2019 consid. 3.3; 6B_99/2012 du 14 novembre 2012 consid. 4.6).
Enfin, le recourant soutient que la peine serait excessive en comparaison à d'autres affaires du même type. Il invoque deux jugements du Tribunal cantonal vaudois et se réfère à un arrêt 6B_484/2012 du 11 décembre 2012, dans lequel le Tribunal fédéral a confirmé la condamnation d'un recourant à une peine privative de liberté de 2 ans et 6 mois et à une peine pécuniaire de 3 jours-amende à 50 fr. le jour, pour vol en bande et par métier, dommages à la propriété, violation de domicile, conduite d'un véhicule non couvert par une assurance RC et usage abusif de plaques. Il souligne que dans les cas précités, la peine infligée serait inférieure de moitié à celle de la présente affaire.
S'agissant de l'arrêt porté devant le Tribunal fédéral, le recourant perd de vue que le condamné dans cette affaire n'avait formulé aucun grief recevable tiré d'une violation de l'<ref-law> (arrêt 6B_484/2012 du 11 décembre 2012 consid. 4), de sorte qu'il ne peut rien en déduire. En outre, pour les cas examinés par le Tribunal fédéral, le rejet d'un recours du condamné contre la quotité de la peine signifie uniquement que celle-ci n'a pas été considérée trop sévère, mais non pas qu'une peine plus sévère n'eût pas aussi été encore compatible avec le large pouvoir d'appréciation qu'accorde l'<ref-law> (arrêts 6B_845/2016 du 29 juin 2017 consid. 2.3.2; 6B_352/2014 du 22 mai 2015 consid. 6.7 non publié aux <ref-ruling>). Pour ce qui est des références aux jugements du Tribunal cantonal vaudois, elles sont vaines dès lors que ces décisions n'ont pas fait l'objet d'un contrôle par le Tribunal fédéral. Au surplus, c omme le Tribunal fédéral a eu l'occasion de le rappeler à maintes reprises, la comparaison d'une peine d'espèce avec celle prononcée dans d'autres cas concrets est d'emblée délicate, compte tenu des nombreux paramètres qui interviennent dans la fixation de la peine (ATF <ref-ruling> consid. 6.3.2 p. 69). Les critiques du recourant sont partant infondées.
En définitive, la peine a été fixée sur la base de critères pertinents et on n'en discerne pas qui auraient été omis ou pris en considération à tort. Les éléments à prendre en compte ont par ailleurs abouti au prononcé d'une peine qui ne peut être qualifiée d'excessive. La sanction infligée ne viole donc pas l'<ref-law>.
En outre, dûment motivée, elle respecte les exigences en la matière, telles que résultant de l'<ref-law>. Le grief formé par le recourant à cet égard s'avère ainsi également infondé.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chance de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires, dont le montant sera fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 juin 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Rettby