Faits : A. Le 8 septembre 2015, le Tribunal pénal de l'arrondissement de la Gruyère a reconnu X._ coupable d'infractions aux art. 19 al. 2 let. a et 19a LStup (RS 812.121), ainsi que d'infractions à la LAVS et à la LAA. Il l'a condamné à une peine privative de liberté de 4 ans ainsi qu'au paiement d'une amende de 200 francs. Il l'a en outre astreint au paiement d'une créance compensatrice de 4'000 francs. B. Par arrêt du 23 août 2016, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté dans la mesure de sa recevabilité l'appel déposé par X._ contre ce jugement, qu'elle a confirmé. Les faits à l'origine de la condamnation sont en substance les suivants. X._ a organisé l'importation, aux fins de vente, de 1488,97 grammes d'héroïne représentant 495,76 grammes d'héroïne pure en provenance du Kosovo. Le 9 octobre 2012, cette marchandise, cachée dans le véhicule conduit par A._, a été interceptée à la frontière serbe. X._ a par ailleurs été reconnu coupable d'avoir, entre l'hiver 2010 et septembre 2012, acquis notamment pour la revente, entreposé, préparé, consommé, vendu ou encore offert une quantité totale de 272 grammes de cocaïne, de plus d'un kilo de marijuana ainsi que 230 branches (7 plants) de chanvre et 20 kilos de têtes de chanvre. Enfin, entre mars 2011 et le 16 octobre 2012, il a travaillé pour différentes personnes sans s'acquitter de ses obligations envers les assurances sociales. C. X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt de la Cour d'appel pénal. Il conclut, avec suite de dépens, à son acquittement de tous les chefs d'accusation en lien avec la participation au trafic d'héroïne qui lui est reprochée et au renvoi de la cause à la cour cantonale pour nouvelle fixation de la peine ainsi que de la créance compensatrice et des frais pénaux, réservant par ailleurs son droit à une indemnité au sens de l'art. 429 CPP.