Faits : A. Par jugement du 29 août 2019, le Tribunal correctionnel de l'arrondissement de Lausanne a reconnu A._ coupable de vol en bande, tentative de brigandage qualifié, dommages à la propriété, violation de domicile, usage abusif de permis et/ou plaques de contrôle, usurpation de plaques de contrôle et entrée et séjour illégal en Suisse. Le tribunal a prononcé une peine privative de liberté de 30 mois, sous déduction de 402 jours de détention avant jugement. Il a ordonné que soient déduits de la peine, à titre de réparation pour tort moral, 12 jours pour 24 jours de détention subis dans des conditions illicites en zone carcérale d'un centre de gendarmerie et 33 jours pour 259 jours de détention subis dans des conditions illicites à la prison du Bois-Mermet. Le tribunal a également ordonné l'expulsion du territoire suisse de A._ pour une durée de 10 ans et son maintien en exécution anticipée de peine. Par ce même jugement, B._ a été reconnu coupable de vol en bande, tentative de brigandage qualifié, dommages à la propriété, violation de domicile, violation simple des règles de la circulation routière, usage abusif de permis et/ou plaques de contrôle et usurpation de plaques de contrôle. Le Tribunal correctionnel a prononcé une peine privative de liberté de 18 mois ( sous déduction de la détention avant jugement) assortie d'un sursis partiel de 12 mois et d'un délai d'épreuve de 5 ans. B. Par jugement du 13 janvier 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a admis partiellement les appels formés par A._ et B._, a libéré ces derniers de l'accusation de vol en bande et tentative de brigandage qualifié et les a condamnés pour vol et tentative de brigandage simple. Elle a accordé le sursis complet (assorti d'une règle de conduite) à B._ et a confirmé le jugement de première instance pour le surplus. C. En substance, la cour cantonale a retenu les faits suivants. C.a. Entre le début de l'année 2018 et juillet 2018, A._ a pénétré et séjourné en Suisse à plusieurs reprises alors qu'il n'était titulaire d'aucun titre de séjour et faisait l'objet d'une interdiction d'entrée sur le territoire. Le 21 juillet 2018 vers 7h30, venant de France, A._ et B._ se sont rendus à la gare de l'entreprise de transports publics C._ SA, à D._, après avoir effectué plusieurs repérages les mois précédents, dans le but de commettre un brigandage. En chemin, les comparses ont dérobé, à Genève, des plaques d'immatriculation qu'ils ont apposées sur leur véhicule. Arrivés au lieu du forfait, visages masqués, cachés derrière un distributeur, A._ et B._ ont fait irruption dans le bureau de la gare pour y dérober de l'argent et des biens, dès que E._, l'employé de gare, en avait déverrouillé la porte. Ce dernier a tenté de maintenir la porte fermée depuis l'intérieur, mais les deux comparses ont tout de même réussi à pénétrer dans les locaux. A._ a sommé E._ de désactiver l'alarme en le menaçant de le gazer avec un spray au poivre. E._ est parvenu à gagner du temps en s'éloignant avant que l'alarme retentisse, ce qui a fait prendre la fuite aux comparses sans qu'ils n'aient rien dérobé. E._ a souffert d'une rupture du tendon d'Achille entrainant une incapacité de travail. Ce même jour, après être retournés en France, A._ et B._ sont revenus en Suisse et se sont rendus au domicile de F._, logement dont B._ avait photographié à trois reprises la porte palière. Entre 10h30 et 11h00, munis d'un pied de biche, les comparses ont pénétré par effraction dans l'appartement en forçant la porte d'entrée. Ils ont fouillé les lieux et dérobé divers biens tels que bijoux, montres, documents, environ 600 fr. en espèces et un petit coffre-fort. Avant de partir, A._ a aspergé l'appartement avec son spray au poivre dans le but de faire disparaître toute trace. Les comparses ont été interpellés le jour même dans le fourgon de B._, dans lequel ils tentaient d'ouvrir le coffre-fort dérobé, au moyen d'une meule à disque. C.b. Le casier judiciaire suisse de A._ fait état de quatre condamnations à des peines privatives de liberté allant de 3 mois à 3 ans et demi, prononcées entre août 2012 et juin 2015 pour deux vols, deux brigandages (dont un muni d'une arme) et un délit manqué de brigandage. Son casier judiciaire français mentionne une condamnation en mai 2011 pour menace ou acte d'intimidation. C.c. Saisi d'une requête en constatation des conditions de détention formée par A._, le Tribunal des mesures de contrainte a, par ordonnance du 26 juillet 2019, constaté que les conditions de détention avant jugement de l'intéressé entre le 15 août 2018 et le 1er mai 2019, dans la prison du Bois-Mermet, étaient illicites. Si la surface minimale individuelle de 4 m2 était respectée, les toilettes étaient séparées par un rideau ignifuge et non pas par des cloisons, l'isolation thermique du bâtiment était insuffisante et l'intéressé était confiné en cellule en présence d'un codétenu 23 heures par jour. D. A._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 13 janvier 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme, en ce sens qu'il est condamné à une peine privative de liberté n'excédant pas la durée de la détention déjà subie et qu'il soit déduit 86 jours de détention pour 259 jours de détention subis dans des conditions illicites à la Prison du Bois-Mermet. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.