Faits : A. Par jugement du 29 août 2019, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné A.A._ pour vol en bande et par métier et tentative de vol en bande et par métier à une peine privative de liberté de 4 ans, sous déduction de 432 jours de détention avant jugement, a ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention. Il a constaté que A.A._ avait subi 15 jours de détention dans des conditions illicites (Hôtel de police), ordonné que 8 jours soient déduits de la peine, constaté qu'il avait subi 417 jours dans des conditions difficiles (Bois-Mermet) et ordonné que 139 jours soient déduits de la peine. En outre, i l a condamné B.A._ pour vol en bande et par métier et tentative de vol en bande et par métier à une peine privative de liberté de 4 ans, sous déduction de 432 jours de détention avant jugement, ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention, constaté qu'il avait subi 23 jours de détention dans des conditions illicites et ordonné que 12 jours soient déduits de la peine. Il a également condamné C.A._ pour vol en bande et par métier, tentative de vol en bande et par métier et conduite d'un véhicule en état défectueux, à une peine privative de liberté de 4 ans, sous déduction de 266 jours de détention avant jugement, ainsi qu'à une amende de 200 fr., ordonné son expulsion du territoire suisse pour une durée de 10 ans, constaté qu'il avait subi 24 jours de détention dans des conditions illicites et ordonné que 12 jours soient déduits de la peine. Enfin, il a statué sur les prétentions civiles des parties plaignantes, le sort des objets séquestrés, les indemnités et les frais. B. Statuant le 17 janvier 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a admis l'appel du Ministère public vaudois et rejeté les appels formés par A.A._, B.A._ et C.A._ contre ce jugement. Elle a condamné A.A._ pour vol en bande et par métier et usurpation de fonctions à 4 ans et 5 mois de peine privative de liberté, sous déduction de 432 jours de détention avant jugement, ordonné son expulsion du territoire suisse pour une durée de 10 ans et son maintien en détention, constaté qu'il avait subi 15 jours de détention dans des conditions illicites (Hôtel de police) et ordonné que 8 jours soient déduits de la peine. Elle a en outre condamné B.A._ pour vol en bande et par métier et usurpation de fonctions à 4 ans et 5 mois de peine privative de liberté et condamné C.A._ pour vol en bande et par métier, usurpation de fonctions et conduite d'un véhicule en état défectueux à 4 ans et 5 mois de peine privative de liberté, le jugement étant au surplus confirmé les concernant. En substance, la décision cantonale repose sur les faits suivants. A D._, entre le 10 mars 2016 et le 28 juin 2018, date de leur interpellation, les frères C.A._ (né en 1986) et B.A._ (né en 1979), ainsi que leur père, A.A._, né en 1955, alias E._ (né en 1952), ressortissants français, ont commis 22 vol s et tentatives de vols à l'astuce - 20 plaintes pénales ayant été déposées -, au moyen du mode opératoire suivant. Généralement, l'un des membres du trio contactait téléphoniquement la partie plaignante - qui était une femme âgée de 89 ans en moyenne - en se faisant passer pour un employé de la Poste ou d'un service étatique ou pour un ouvrier sanitaire. Lors de l'échange téléphonique, il obtenait d'elle les informations nécessaires à la commission de l'acte délictueux (notamment le code de la porte d'entrée de l'immeuble) et s'assurait que celle-ci vivait seule. L'un d'eux se rendait ensuite chez elle et se présentait comme étant un plombier qui devait procéder à une vérification de la tuyauterie et de l'écoulement des eaux. Le faux plombier occupait son attention, parfois en l'invitant à observer le débit d'eau et en la laissant seule. Ensuite, soit il en profitait pour dérober différents biens de valeur ou numéraires qu'il trouvait dans l'appartement, soit il ouvrait la porte du logement afin que son complice y accède pour commettre des vols. Quelques instants plus tard, cette seconde personne se présentait à son tour et indiquait être policier, se légitimant au moyen d'une carte de police. Le faux policier expliquait à la femme âgée que des vols avaient eu lieu dans le quartier ou l'immeuble et lui présentait certains des objets dérobés par son comparse ou lui-même. Le faux policier lui demandait alors de procéder à une vérification de ses objets de valeur. Le faux policier, qui portait des gants, en profitait pour dérober d'autres biens ou numéraires. Il " désinfectait " ensuite parfois, au moyen d'une solution d'eau et de javel, les zones où se trouvaient ceux-ci, pour effacer les traces. Il arrivait également que le faux policier, arguant un relevé d'empreintes, demande de la farine à la femme âgée afin de repérer et d'effacer les éventuelles empreintes que lui ou son complice auraient laissées. Finalement, en quittant les lieux, le " policier " lui ordonnait de garder secrète l'enquête en cours à tout le moins pendant une heure. Tout au long du scénario mis en place, le troisième comparse assurait, quant à lui, la surveillance depuis l'extérieur de l'appartement ou de l'immeuble. Le mode opératoire a parfois été légèrement modifié, en fonction des circonstances. Les rôles du " plombier " et du " policier " ont été assumés tour à tour par C.A._, B.A._ et A.A._. Le butin ainsi réalisé (composé essentiellement d'argent liquide et de bijoux) s'est élevé à plus de 100'000 francs. C. A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement précité. Il conclut, avec suite de frais et dépens, à sa réforme, en ce sens qu'il est acquitté d'usurpation de fonctions et condamné pour vol en bande et par métier à une peine privative de liberté d'une durée entièrement compensée par celle de la détention déjà subie jusqu'à droit jugé sur le recours, sa libération immédiate devant être ordonnée. Subsidiairement, il conclut à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Par ailleurs, il requiert l'octroi de l'assistance judiciaire.