Faits :
A.
Par jugement du 29 janvier 2016, le Tribunal criminel de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable de brigandage qualifié, de tentative de vol qualifié, de dommages à la propriété, de séquestration, de violation de domicile, de tentative de violation de domicile et d'infraction à la loi fédérale sur les étrangers. Il l'a condamné à une peine privative de liberté de huit ans, sous déduction de 949 jours de détention avant jugement.
B.
Statuant le 6 juillet 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a très partiellement admis l'appel de X._ contre le jugement de première instance. Elle l'a libéré du chef d'infraction de séquestration et prononcé une peine privative de liberté de sept ans et demi. La condamnation de X._ pour l'infraction de brigandage qualifié se fonde en substance sur les faits suivants.
B.a. Entre le mois d'octobre 2012 et le mois de juin 2013, X._ a organisé des infractions contre le patrimoine contre des " cibles " sises en Suisse romande. Pour ce faire, il recrutait des hommes de main, particulièrement rompus aux cambriolages, voire aux cambriolages commis avec violence et/ou à l'aide d'armes à feu. X._ procédait au repérage préalable des " cibles " et donnait des instructions à ses hommes de main. Bien que ne jouant qu'un rôle secondaire dans la perpétration proprement dite des infractions contre le patrimoine, il percevait, ou devait percevoir, une part substantielle du butin.
B.b. C'est ainsi que le 10 octobre 2012, vers 10h50, B._ a pénétré dans l'Office postal de C._ et a menacé A._, la buraliste, d'une arme à feu. D._, entré dans l'office postal peu après son comparse, a maîtrisé deux clients, leur intimant l'ordre de s'asseoir, le premier sur le sol et le second sur une chaise. D._ a ensuite fouillé les tiroirs du guichet et fait main basse sur l'argent qui s'y trouvait. Pendant ce temps, B._ a essayé d'obtenir de A._ l'ouverture du coffre-fort de l'office postal en braquant son arme sur la tempe de la buraliste. Ce coffre était cependant verrouillé et protégé par une minuterie, de sorte qu'il n'a pas pu être ouvert. D._ a ligoté A._ et les deux clients et les a conduits, avec l'aide de B._, en direction des toilettes dans le dessein de les y enfermer. Sitôt après, les deux hommes ont quitté l'office postal en emportant 29'671 fr. 60 en espèces, une liasse de 2000 fr. ayant toutefois été perdue dans leur fuite. X._, qui avait organisé le brigandage, avait également conduit sur les lieux D._ et B._ au moyen de sa voiture. Il était prévu qu'il revienne les chercher après le brigandage, mais il y a finalement renoncé, probablement par crainte de l'important dispositif policier qui avait été déployé.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il sollicite, avec suite de frais et dépens, sa libération du chef d'accusation de brigandage qualifié, sa condamnation à une peine n'excédant pas la durée de la détention effectuée avant jugement, ainsi que sa libération du paiement des conclusions civiles, subsidiairement le renvoi de la cause à l'autorité inférieure pour nouvelle décision. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint de l'appréciation arbitraire des preuves et de la violation du principe de la présomption d'innocence. Il nie toute implication dans le brigandage de l'Office de poste de C._.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.3 p. 375). Il n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3.1 p. 253). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence à la présomption d'innocence (<ref-law> et 32 al. 1 Cst.), celle-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci, ou même chacun d'eux pris isolément, soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction. (arrêts 6B_445/2016 du 5 juillet 2017 consid. 5.1; 6B_275/2015 du 22 juin 2016 consid. 2.1).
1.2. Le recourant soutient que la cour cantonale a privilégié sans raison valable les déclarations de D._, qui mettait en cause un " troisième homme ", à celles de B._, qui a indiqué que le recourant n'était pas au courant de leur projet. Cette distinction était injustifiée car tous les deux avaient des antécédents d'actes de brigandage et avaient mal collaboré à l'enquête. Il relève par ailleurs qu'il a habité à E._ lorsqu'il vivait et travaillait en Suisse. Or, C._ se trouvait sur l'axe E._-F._, de sorte que l'on ne pouvait rien déduire du fait qu'il soit passé plusieurs fois dans cette région pendant la période où avait eu lieu le brigandage. Enfin, ses antécédents se résumaient à des cambriolages de nuit, dans des locaux vides, se distinguant en cela du braquage à main armée de l'Office de poste de C._.
1.3. La cour cantonale a considéré que les déclarations de D._ étaient empreintes de plus de sincérité que celles de B._. D._ avait clairement mis en cause " un troisième homme ", sans indiquer son identité, le désignant comme chef de la bande avec qui le butin devait être partagé en trois parts égales. Il avait notamment précisé que cette personne lui avait parlé de l'affaire au Kosovo, qu'il devait fonctionner comme chauffeur, que c'était un ami de la famille et qu'il avait été avec lui " chez une dame monter des meubles ". Or D._, le recourant et leur familles se connaissaient depuis toujours. Ils s'étaient revus au Kosovo puis en Suisse. En outre, le recourant avait conduit D._ et B._ sur le lieu du brigandage. Qui plus est, D._ et le recourant étaient allés, selon leurs déclarations concordantes, quelques jours avant le brigandage, aider une connaissance à monter des meubles.
A cela s'ajoutait que, juste après les faits, D._ avait envoyé un sms à leur chauffeur, à savoir le troisième comparse, et il avait précisément envoyé un sms à X._, comme l'établissaient les relevés téléphoniques. D._, B._ et le recourant avaient également mangé ensemble à G._ quelques jours avant les faits. Le recourant avait d'ailleurs réuni B._ et D._, qui ne se connaissaient pas. Enfin, le relevé des appels et messages échangés et les emplacements d'antennes et de téléphonie mobiles activées par les téléphones portables des trois hommes permettaient d'établir que ceux-ci avaient été en contact dans les semaines précédant l'infraction. Ils attestaient de surcroît de la présence de D._ à E._, commune de résidence de X._, durant la nuit du 7 au 8 octobre 2012 de 21h06 à 1h37, puis le 8 octobre également à 10h26 et vers 17h15 et, enfin, le 9 octobre suivant de 14h49 à 23h59. Pour le reste, l'autorité précédente a considéré que les déclarations du recourant étaient peu crédibles. Il avait par exemple affirmé qu'il n'avait jamais revu D._ en Suisse, pour revenir ultérieurement sur ses déclarations et admettre qu'il l'y avait rencontré à plusieurs reprises.
1.4. Le recourant tente d'imposer sa propre appréciation des preuves sur celle retenue par la cour cantonale, sans toutefois établir son caractère insoutenable. Il en va ainsi notamment lorsqu'il allègue, mais ne dit pas en quoi les données techniques récoltées viendraient appuyer les déclarations de B._ niant la participation d'un troisième acolyte. De même n'établit-il d'aucune façon sa thèse selon laquelle D._ aurait jugé utile de faire porter la responsabilité de l'organisation du braquage à un tiers dans le but d'alléger sa propre culpabilité, étant au surplus relevé que D._ n'a jamais nié avoir agi de son plein gré (jugement attaqué, p. 25-26). Son argumentation est ainsi appellatoire dans une large mesure, partant irrecevable (consid. 1.1 supra). Quoi qu'il en soit, l'appréciation cantonale n'apparaît pas arbitraire pour les motifs qui suivent.
1.4.1. Les détails livrés par D._ sur le " troisième homme " permettaient d'identifier le recourant; ils pouvaient de surcroît être appréciés comme des signes de l'authenticité de son récit. Les déclarations de D._ étaient en outre corroborées notamment par les résultats des mesures techniques d'investigation, que le recourant ne remet pas en cause. De surcroît, la cour cantonale pouvait tenir les déclarations du recourant pour peu crédibles compte tenu de leurs contradictions.
1.4.2. Si le recourant souligne que la Commune de C._ se trouve sur l'axe F._-E._, il n'établit pas les raisons de sa présence à cet endroit le 7 octobre 2012, à 20h46 - autre que le repérage des lieux en vue du brigandage -, étant au surplus ajouté, comme la cour cantonale l'a constaté, que le raccordement de D._ avait activé la même antenne de H._, au même moment (jugement attaqué p. 26). Quoiqu'il ne soit pas décisif à lui seul, cet élément de fait constitue un indice pertinent de la participation du recourant au brigandage.
1.4.3. Enfin, il n'était pas insoutenable de retenir que le modus operandi du recourant dans le brigandage coïncidait avec sa manière d'agir dans les autres cas jugés en l'espèce. Si, dans les autres affaires, les auteurs n'avaient certes pas fait usage de la contrainte et menacé les personnes présentes d'une arme à feu, le recourant avait à chaque fois joué le rôle de l'organisateur des infractions contre le patrimoine, fonctionné comme chauffeur et envoyé des hommes sur le terrain. Il n'est en particulier pas décisif que le recourant ait, à une occasion, renoncé à un cambriolage parce que des personnes se trouvaient à l'intérieur des locaux visés, tant on peut concevoir que l'infraction n'était plus réalisable s'il était initialement prévu que les lieux soient inoccupés.
1.4.4. Ainsi, contrairement aux allégations du recourant, on ne voit pas que l'autorité précédente ait systématiquement écarté les éléments à décharge et se soit fondée sur des faits insuffisants. A l'inverse, compte tenu du faisceau d'indices dont elle disposait, en particulier les déclarations de D._ corroborées par les résultats des mesures techniques d'investigation, c'est sans arbitraire que la cour cantonale a retenu l'implication du recourant dans l'organisation et l'exécution du brigandage. Dans ce contexte, il n'est pas décisif que B._ ait déclaré lors de la procédure préliminaire que le recourant n'était pas au courant, étant encore souligné que ces déclarations n'ont pas été confirmées lors des débats, l'intéressé ne s'y étant pas présenté. Les griefs invoqués à l'encontre de l'état de fait cantonal sont en conséquence infondés.
2.
Sur le vu de ce qui précède, le recourant n'avance aucun élément permettant d'admettre que la cour cantonale aurait violé le droit fédéral en retenant sa culpabilité pour l'infraction de brigandage aggravé. Pour le surplus, il ne conteste pas les autres infractions retenues dans le jugement d'appel. Il ne subsiste dès lors plus aucun grief à l'encontre de la peine qui lui a été infligée et de sa condamnation au paiement des conclusions civiles. De même, au vu de l'issue du recours, les conclusions du recourant relative à l'indemnisation de ses frais de défense et la répartition des frais de la procédure d'appel deviennent sans objet.
3.
Dans la mesure de sa recevabilité, le recours doit être rejeté. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 août 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy