Faits : A. Par jugement du 29 janvier 2016, le Tribunal criminel de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable de brigandage qualifié, de tentative de vol qualifié, de dommages à la propriété, de séquestration, de violation de domicile, de tentative de violation de domicile et d'infraction à la loi fédérale sur les étrangers. Il l'a condamné à une peine privative de liberté de huit ans, sous déduction de 949 jours de détention avant jugement. B. Statuant le 6 juillet 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a très partiellement admis l'appel de X._ contre le jugement de première instance. Elle l'a libéré du chef d'infraction de séquestration et prononcé une peine privative de liberté de sept ans et demi. La condamnation de X._ pour l'infraction de brigandage qualifié se fonde en substance sur les faits suivants. B.a. Entre le mois d'octobre 2012 et le mois de juin 2013, X._ a organisé des infractions contre le patrimoine contre des " cibles " sises en Suisse romande. Pour ce faire, il recrutait des hommes de main, particulièrement rompus aux cambriolages, voire aux cambriolages commis avec violence et/ou à l'aide d'armes à feu. X._ procédait au repérage préalable des " cibles " et donnait des instructions à ses hommes de main. Bien que ne jouant qu'un rôle secondaire dans la perpétration proprement dite des infractions contre le patrimoine, il percevait, ou devait percevoir, une part substantielle du butin. B.b. C'est ainsi que le 10 octobre 2012, vers 10h50, B._ a pénétré dans l'Office postal de C._ et a menacé A._, la buraliste, d'une arme à feu. D._, entré dans l'office postal peu après son comparse, a maîtrisé deux clients, leur intimant l'ordre de s'asseoir, le premier sur le sol et le second sur une chaise. D._ a ensuite fouillé les tiroirs du guichet et fait main basse sur l'argent qui s'y trouvait. Pendant ce temps, B._ a essayé d'obtenir de A._ l'ouverture du coffre-fort de l'office postal en braquant son arme sur la tempe de la buraliste. Ce coffre était cependant verrouillé et protégé par une minuterie, de sorte qu'il n'a pas pu être ouvert. D._ a ligoté A._ et les deux clients et les a conduits, avec l'aide de B._, en direction des toilettes dans le dessein de les y enfermer. Sitôt après, les deux hommes ont quitté l'office postal en emportant 29'671 fr. 60 en espèces, une liasse de 2000 fr. ayant toutefois été perdue dans leur fuite. X._, qui avait organisé le brigandage, avait également conduit sur les lieux D._ et B._ au moyen de sa voiture. Il était prévu qu'il revienne les chercher après le brigandage, mais il y a finalement renoncé, probablement par crainte de l'important dispositif policier qui avait été déployé. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il sollicite, avec suite de frais et dépens, sa libération du chef d'accusation de brigandage qualifié, sa condamnation à une peine n'excédant pas la durée de la détention effectuée avant jugement, ainsi que sa libération du paiement des conclusions civiles, subsidiairement le renvoi de la cause à l'autorité inférieure pour nouvelle décision. Il requiert par ailleurs le bénéfice de l'assistance judiciaire.