Faits :
A.
Par jugement du 7 août 2013, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a notamment reconnu Y._ et X._ coupables de brigandage, vol d'usage, conduite d'un véhicule malgré le refus, le retrait ou l'interdiction de conduire, usage abusif de permis et de plaques et infraction à la loi fédérale sur les armes. Tous deux ont été condamnés à une peine privative de liberté; le premier d'une durée de 42 mois et le second d'une durée de 60 mois, sous déduction de la détention subie avant jugement.
B.
Par jugement du 16 décembre 2013, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté les appels principaux des prévenus et a admis l'appel joint du Ministère public portant sur la peine prononcée à l'encontre de Y._. Elle a ainsi porté la peine privative de liberté de ce dernier à 60 mois. Pour le reste, elle a confirmé le jugement de première instance.
Ce jugement repose en substance sur les faits suivants.
Le 29 février 2012, vers 23h55, Y._ et X._ ont pénétré gantés et casqués dans la station-service A._ de C._ et ont ordonné aux quelques clients présents de se coucher au sol, avant de menacer les deux employées au moyen d'une arme de poing que le premier nommé s'était procurée, afin d'emporter le contenu de la caisse (soit 803 fr. 50). L'une des caissières a par ailleurs été giflée et bousculée. Les prévenus ont ensuite quitté les lieux au moyen d'un scooter volé, muni d'une plaque d'immatriculation volée également.
Le 3 juillet 2012, à 14h30 à D._, Y._ et Z._, équipés de gants et de casques de motard, ont fait irruption dans le hall de la banque B._. Ils ont d'abord exigé que les clients présents et une employée de banque se mettent à genoux. Ils ont pointé leur arme en direction de la hanche d'une apprentie de la banque et sur la main prise dans une attelle d'un autre apprenti, lequel a reçu un coup à la tête de Z._. Les prévenus ont pressé les apprentis de leur remettre de l'argent et sont repartis avec un sac contenant un montant de l'ordre de 36'000 fr., au moyen d'un scooter volé conduit par Y._. Z._ et Y._ ont abandonné le scooter à quelques centaines de mètres de la succursale et sont montés dans une voiture parquée à proximité et conduite par X._. Ce scénario avait été mis au point les jours précédents par Y._, Z._ et X._. Lors de son interpellation intervenue quelques heures plus tard, X._ était notamment en possession d'un coup de poing américain, d'une clé de garage et d'une somme de 600 fr.
C.
X._ forme un recours en matière pénale contre la décision cantonale et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il n'est plus condamné comme auteur du brigandage de la banque B._, mais simplement comme complice, la durée de sa peine privative de liberté devant être ramenée à 40 mois, sous déduction de la détention préventive. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour qu'elle le libère de l'accusation de brigandage en lien avec le braquage de la banque B._ et ne le condamne que pour complicité, puis réduise la peine en conséquence. Il sollicite en outre l'assistance judiciaire.

Considérant en droit :
1.
Le recourant allègue avoir joué un rôle secondaire dans le brigandage de la banque B._ et estime qu'il n'est qu'un complice, de sorte que sa peine doit être atténuée en vertu de l'<ref-law>.
1.1. Par opposition au complice, qui prête intentionnellement assistance à l'auteur pour commettre un crime ou un délit par une participation accessoire, est un coauteur celui qui collabore, intentionnellement et de manière déterminante, avec d'autres personnes à la décision de commettre une infraction, à son organisation ou à son exécution, au point d'apparaître comme l'un des participants principaux. Il faut que, d'après les circonstances du cas concret, la contribution du coauteur apparaisse essentielle à l'exécution de l'infraction. La seule volonté quant à l'acte ne suffit pas; il n'est toutefois pas nécessaire que le coauteur ait effectivement participé à l'exécution de l'acte ou qu'il ait pu l'influencer. La coactivité suppose une décision commune, qui ne doit cependant pas obligatoirement être expresse, mais peut aussi résulter d'actes concluants, le dol éventuel quant au résultat étant suffisant. Il n'est pas nécessaire que le coauteur participe à la conception du projet; il peut y adhérer ultérieurement. Il n'est pas non plus nécessaire que l'acte soit prémédité; le coauteur peut s'y associer en cours d'exécution. Ce qui est déterminant c'est que le coauteur se soit associé à la décision dont est issue l'infraction ou à la réalisation de cette dernière, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal (<ref-ruling> consid. 2.3.1 p. 155; <ref-ruling> consid. 9.2.1 p. 66; <ref-ruling> consid. 3a).
Le complice est un participant secondaire qui prête assistance pour commettre un crime ou un délit (<ref-law>). La complicité suppose que le participant apporte à l'auteur principal une contribution causale à la réalisation de l'infraction, de telle sorte que les événements ne se seraient pas déroulés de la même manière sans cette assistance. Il n'est pas nécessaire que celle-ci soit une condition sine qua non de la réalisation de l'infraction, il suffit qu'elle accroisse les chances de succès de l'acte principal. Subjectivement, il faut que le complice sache ou se rende compte qu'il apporte son concours à un acte délictueux déterminé et qu'il le veuille ou l'accepte. A cet égard, il suffit qu'il connaisse les principaux traits de l'activité délictueuse qu'aura l'auteur, lequel doit donc avoir pris la décision de l'acte. Le dol éventuel suffit (<ref-ruling> consid. 1.1 p. 51 s.).
1.2. La cour cantonale a retenu en premier lieu que les deux comparses du recourant l'avaient clairement mis en cause dans le braquage de la banque en déclarant notamment qu'ils avaient discuté les trois ensemble du projet, et qu'il avait refusé d'entrer dans l'établissement en raison du fait que tout le monde le connaissait à D._ et qu'il ne voulait pas prendre le risque de se faire reconnaître. Par ailleurs, le recourant avait servi d'interprète entre ses deux comparses, de sorte qu'il était au courant de la préparation du brigandage et avait décidé d'y participer. Avec Z._, il s'était procuré le véhicule ayant servi à quitter le lieux, il s'était également personnellement chargé de trouver un garage pour dissimuler le scooter, garage dont il possédait la clé lors de son interpellation. En outre, les traces ADN du recourant avaient été retrouvées sur le volant, le levier de vitesse et le frein à main de la voiture et sur le scooter utilisés pour quitter l'établissement, ainsi que sur l'une des cagoules retrouvées dans le véhicule. Enfin, le recourant avait reçu une part du butin.
Au vu de ces éléments, la cour d'appel a retenu que le recourant avait collaboré intentionnellement à la commission du braquage de la banque. Son rôle déterminant le faisait apparaître comme un participant principal.
1.3. Le recourant se borne à répéter qu'il n'a pas pénétré dans la banque B._, qu'il s'est cantonné à un rôle de chauffeur et s'est abstenu de faire le guet ou d'user de menace ou de violence. Or la cour a mis cela sur le compte de sa seule crainte d'être reconnu, ce que le recourant ne conteste pas, et a fondé sa coactivité sur de nombreux autres éléments. En tant qu'il prétend n'avoir reçu qu'une part minime du butin (soit 600 fr. sur les 36'000 fr. dérobés), il se contente d'une simple affirmation, qui ne ressort pas de la décision entreprise (<ref-law>), laquelle précise simplement que la somme de 600 fr. a été retrouvée sur le recourant au moment de son interpellation. Cela ne signifie pas pour autant que cette somme correspondait à sa part du butin qui n'a au demeurant pas pu être récupéré.
Au vu de l'état de fait cantonal, dont il n'est pas prétendu qu'il aurait été établi arbitrairement (cf. <ref-law>), force est de constater que le recourant apparaît comme l'un des participants principaux à l'infraction litigieuse. Outre sa participation à la mise au point du scenario, ses prestations d'interprète, la mise à disposition des véhicules impliqués dans le braquage et ses intérêts financiers en découlant, le recourant a activement participé aux faits en attendant ses comparses à un lieu précis, prédéterminé, au volant d'un véhicule, leur permettant de fuir les lieux immédiatement. Il avait dès lors une certaine maîtrise des opérations et investissait un rôle important dans l'accomplissement du second brigandage. Ce faisant, il ne s'est pas borné à favoriser la commission du braquage de la banque mais y a apporté une contribution essentielle, sur la base d'une décision commune des trois protagonistes et avec une intention directe portant sur le résultat délictueux.
Partant, la cour cantonale n'a pas violé le droit fédéral en retenant que le recourant avait agi comme un coauteur, et non comme un simple complice. Le grief de violation de l'<ref-law> doit être rejeté.
2.
Le recourant fait valoir une inégalité de traitement à l'égard de Y._, également condamné à une peine privative de liberté de 60 mois, alors que ce dernier avait, contrairement à lui, pénétré dans la banque B._.
2.1. Dans l'exercice du pouvoir d'appréciation que lui confère l'<ref-law>, le juge doit, notamment, respecter le principe d'égalité de traitement (art. 8 al. 1 Cst; <ref-ruling> consid. 3a p. 144 et les arrêts cités). S'il est appelé à juger les coauteurs d'une même infraction ou deux coaccusés ayant participé ensemble au même complexe de faits délictueux, il est tenu de veiller à ce que la différence des peines infligées aux deux intéressés soit justifiée par une différence dans les circonstances personnelles en fonction desquelles, conformément à l'<ref-law>, la peine doit être individualisée (cf. <ref-ruling> consid. 3.2 p. 193 ss; <ref-ruling> consid. 2d p. 204 ss). Lorsque des coauteurs jugés dans une seule procédure sont condamnés à des peines différentes, il y a violation du principe d'égalité de traitement uniquement si le juge omet d'établir une juste proportion entre les deux peines (<ref-ruling> consid. 3.2 p. 194).
2.2. En l'occurrence, tant la culpabilité de Y._, que celle du recourant ont été jugées très lourdes par la cour cantonale. Outre les infractions de vol d'usage, de conduite d'un véhicule sous retrait, usage abusif de plaques et infraction à la loi fédérale sur les armes, les deux coprévenus se sont rendus coupables de deux brigandages en l'espace de quatre mois, à l'occasion desquels des employés ont été menacés par une arme. La cour cantonale a pris en considération l'absence de prise de conscience et de regrets, ainsi que leur refus de dédommager les lésés. Tous deux apparaissaient comme des délinquants endurcis et dangereux aux yeux de la cour d'appel, qui a également tenu compte des concours d'infractions et de leurs antécédents respectifs pour fixer la peine.
A décharge, la cour cantonale a tenu compte des aveux de Y._, bien que tardifs. Le recourant avait quant à lui fait preuve d'un défaut de collaboration durant la procédure.
2.3. Le recourant ne saurait prétendre à une réduction de sa peine du fait qu'il n'a pas personnellement pénétré dans le second établissement, dans la mesure où c'est sa crainte d'être reconnu qui l'y a fait renoncer. En tout état il s'est pleinement associé à ce braquage. Pour autant que sa part d'activité dans le second brigandage puisse avoir un impact sur la culpabilité du recourant, il serait en tout état compensé par son absence de collaboration durant la procédure, élément en sa défaveur, qui ne concerne pas son comparse (cf. ATF <ref-ruling> consid. 2d p. 204 ss, s'agissant notamment du poids des aveux et de la collaboration dans la mesure de la peine). Il s'agit là d'un élément ayant eu un impact positif sur la sanction du comparse mettant les peines dans un juste rapport de proportion.
Aussi, la fixation de peines identiques pour les coauteurs ne viole pas, en l'espèce, le principe de l'égalité de traitement. Le recourant ne prétend par ailleurs pas qu'un critère en sa faveur aurait été omis dans la fixation de la peine. Le grief soulevé doit être rejeté.
3.
Le recours doit être rejeté. Il était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui seront fixés en tenant compte de sa situation économique, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 août 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Boëton