Faits : A. Par jugement du 11 juillet 2016, le Tribunal criminel de l'arrondissement de l'Est vaudois a reconnu X._ coupable de brigandage qualifié et de dommage à la propriété. Il l'a condamné à une peine privative de liberté de 7 ans, sous déduction de 258 jours de détention avant jugement et de 228 jours de détention en exécution anticipée de peine. Il a ordonné que cinq des dix jours de détention provisoire subis dans des conditions illicites soient également déduits de la peine fixée, à titre de réparation du tort moral. Il a réservé les prétentions civiles des plaignants pour les réclamations allant au-delà des montants admis par les reconnaissances de dettes signées par X._. Il a mis les frais de justice par 32'344 fr. 75 à la charge de celui-ci, l'a condamné à verser aux plaignants une indemnité de 8'254 fr. 90 pour les dépenses obligatoires occasionnées par la procédure et a taxé les honoraires de son avocat d'office. B. Par jugement du 28 octobre 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ et confirmé intégralement le jugement du Tribunal criminel. Elle a ordonné son maintien en détention, a fixé l'indemnité au défenseur d'office pour la procédure d'appel et a mis à sa charge les frais de l'instance d'appel. En substance, la cour cantonale a retenu que X._ et A._, renvoyé en jugement séparément, faisaient partie d'une bande criminelle organisée agissant depuis la Lituanie dans le dessein de commettre des brigandages pour tirer ensuite bénéfice des butins volés. Le samedi 14 mars 2015, à B._, X._ et A._ se sont rendus dans la bijouterie C._, où A._ a neutralisé le personnel au moyen de son arme et de ligatures. Pendant ce temps, X._ a cassé les vitrines intérieures du magasin et a dérobé des montres de valeur, soit 49 montres de marque D._ et 3 de marque E._, d'une valeur commerciale totale de 741'250 francs. Les deux comparses ont ensuite pris la fuite. X._ a été appréhendé par la police à B._ et A._ a été arrêté après avoir commis un brigandage à main armée avec deux de ses compatriotes dans une bijouterie belge. Le casier judiciaire suisse de X._ fait état d'une condamnation à une peine privative de liberté de trois mois prononcée le 15 février 2015 par le ministère public du canton de Soleure pour vol d'usage d'un véhicule. C. X._ interjette un recours en matière pénale contre ce jugement. Il conclut, principalement, à sa modification en ce sens que la peine privative de liberté soit fixée à 4 ans, et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Il sollicite l'octroi de l'assistance judiciaire.