Faits : A. Par jugement du 7 décembre 2015, le Tribunal correctionnel de la Broye et du Nord vaudois a condamné X._ pour brigandage (art. 140 ch. 1 CP), dommages à la propriété (art. 144 al. 1 CP), violation de domicile (art. 186 CP), infraction et contravention à la loi fédérale sur les stupéfiants (art. 19 al. 1 let. b, c, d et 19a ch. 1 LStup) et conduite d'un véhicule malgré le refus, le retrait ou l'interdiction de l'usage du permis (art. 95 al. 1 let. b LCR) à une peine privative de liberté de 28 mois, avec un sursis partiel de trois ans portant sur 16 mois, ainsi qu'à une amende de 500 fr., la peine privative de liberté de substitution étant de cinq jours. Il a par ailleurs révoqué le sursis accordé le 28 mai 2014 à X._ par le Ministère public du canton de Fribourg. B. Statuant sur l'appel de X._, la Cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté par jugement du 28 juin 2016. B.a. Ce jugement repose en substance sur les faits suivants. Le 12 mars 2014, entre 9h et 9h30, A._, X._, surnommé " B._ ", et au moins deux autres comparses non identifiés, les dénommés C._ et D._, se sont rendus au domicile de E._, à F._, dans l'intention de voler du cannabis ou de l'argent. Pour ce faire, ils se sont munis d'un pistolet, d'une masse, de cagoules, de foulards et d'un couteau. Ils ont attendu que E._ et son épouse quittent l'appartement puis, vers 11 heures, A._ a forcé la porte de l'appartement au moyen d'une masse. Aux alentours de 11h05, G._, qui logeait à cette époque chez E._, est revenu à l'appartement après être allé faire des courses. Voyant des hommes avec des cagoules à l'intérieur, il est allé s'enfermer dans la cuisine. A._ et un autre comparse l'ont suivi, cassant la porte avec la masse. A._ a tenu G._ en respect avec un couteau, tandis que l'autre homme, qui ne portait pas de cagoule, l'a menacé avec un pistolet, à 5 centimètres environ de sa tempe gauche. A._ et son comparse ont forcé G._ à se mettre à genou et ont tenté de lui enfiler un sac sur la tête, sans succès. Ils lui ont dit plusieurs fois " money, money " et lui ont fait le signe de l'argent avec les doigts. Pendant que G._ était maintenu dans cette position, les autres comparses ont fouillé l'appartement, endommageant au passage de nombreux meubles. Vers 11h20, ils ont quitté l'appartement en emportant divers appareils électroniques. B.b. Le casier judiciaire de X._ mentionne qu'il a été condamné le 28 mai 2014, par le Ministère public du canton de Fribourg, à 120 heures de travail d'intérêt général avec sursis pendant deux ans et à 1000 fr. d'amende pour conduite en incapacité de conduire et contravention à la loi fédérale sur les stupéfiants. C. X._ forme un recours au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à sa libération des accusations de brigandage, dommages à la propriété et violation de domicile, à la fixation d'une peine de 270 jours-amende, le jour-amende étant fixé à 20 fr., et à 500 fr. d'amende, sous déduction de 99 jours de détention avant jugement, la peine pécuniaire étant suspendue au bénéfice du sursis, dont le délai d'épreuve est fixé à deux ans, à ce qu'il soit renoncé à révoquer le sursis accordé le 28 mai 2014 par le Ministère public du canton de Fribourg, et à ce que l'Etat de Vaud lui doive immédiat paiement de la somme de 48'000 fr. avec intérêts à 5% l'an à compter du 1er février 2015 à titre d'indemnité au sens de l'art. 429 CPP. Subsidiairement, il conclut à sa condamnation à une peine privative de liberté de 20 mois et à 500 fr. d'amende, sous déduction de 99 jours de détention avant jugement, à ce que la peine privative de liberté de 20 mois soit suspendue avec un délai d'épreuve de deux ans, et à ce qu'il soit renoncé à révoquer le sursis accordé le 28 mai 2014 par le Ministère public du canton de Fribourg. Plus subsidiairement encore, il sollicite l'annulation du jugement entrepris et le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.