Faits : A. Par ordonnance pénale du 3 juillet 2015, la Procureure d'arrondissement itinérante a reconnu X._ coupable d'infraction et de contravention à la LStup et l'a condamné à une peine privative de liberté de 10 jours-amende à 3'000 francs avec sursis pendant deux ans, à une amende de 6'000 francs, convertible en cas de non paiement en 2 jours de peine privative de liberté de substitution, et aux frais de la procédure. A la suite de l'opposition de X._, la Procureure a maintenu son ordonnance pénale et a transmis le dossier au Tribunal de police de l'arrondissement de l'Est vaudois, qui, par jugement du 11 février 2016, a condamné X._ pour infraction aux art. 19 ch. 1 let. c et 19a ch. 1 LStup à une peine privative de liberté de 10 jours-amende à 300 francs le jour, avec sursis pendant deux ans, à une amende de 600 francs, convertible en cas de non paiement en 2 jours de peine privative de liberté de substitution, et aux frais de la procédure. B. Par jugement du 27 mai 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._, confirmant ainsi le jugement du Tribunal de police. Elle a mis les frais de la procédure d'appel à sa charge. La Cour d'appel pénale a retenu qu'en date du 13 février 2015, X._ avait acheté à un inconnu un sachet de marijuana, de la cocaïne et du haschich pour un montant total de 750 francs. X._ a amené ces substances dans la suite de son hôtel à Montreux, qu'il occupait avec A._ et B._. Les trois ont consommé ensemble deux ou trois joints de marijuana et une ligne de cocaïne. Le 14 février 2015, C._ a déposé une plainte pénale pour atteinte à l'intégrité sexuelle. Le même jour, la police est intervenue dans la suite occupée par X._ sur la base d'un mandat de perquisition oral de la procureure de service. A l'arrivée de la police, X._ a spontanément indiqué l'endroit où il avait déposé la drogue achetée la veille. La police a saisi un sachet de marijuana de 23,5 gr bruts, une boulette de poudre blanche de 1,2 gr bruts et deux bouts de haschich pesant au total 13,5 gr bruts. X._ a donné son accord à la destruction de ces substances par la police. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à son acquittement de tous les chefs d'accusation retenus contre lui ainsi que, subsidiairement, à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.