Faits :
A.
Par ordonnance pénale du 3 juillet 2015, la Procureure d'arrondissement itinérante a reconnu X._ coupable d'infraction et de contravention à la LStup et l'a condamné à une peine privative de liberté de 10 jours-amende à 3'000 francs avec sursis pendant deux ans, à une amende de 6'000 francs, convertible en cas de non paiement en 2 jours de peine privative de liberté de substitution, et aux frais de la procédure.
A la suite de l'opposition de X._, la Procureure a maintenu son ordonnance pénale et a transmis le dossier au Tribunal de police de l'arrondissement de l'Est vaudois, qui, par jugement du 11 février 2016, a condamné X._ pour infraction aux art. 19 ch. 1 let. c et 19a ch. 1 LStup à une peine privative de liberté de 10 jours-amende à 300 francs le jour, avec sursis pendant deux ans, à une amende de 600 francs, convertible en cas de non paiement en 2 jours de peine privative de liberté de substitution, et aux frais de la procédure.
B.
Par jugement du 27 mai 2016, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._, confirmant ainsi le jugement du Tribunal de police. Elle a mis les frais de la procédure d'appel à sa charge.
La Cour d'appel pénale a retenu qu'en date du 13 février 2015, X._ avait acheté à un inconnu un sachet de marijuana, de la cocaïne et du haschich pour un montant total de 750 francs. X._ a amené ces substances dans la suite de son hôtel à Montreux, qu'il occupait avec A._ et B._. Les trois ont consommé ensemble deux ou trois joints de marijuana et une ligne de cocaïne.
Le 14 février 2015, C._ a déposé une plainte pénale pour atteinte à l'intégrité sexuelle. Le même jour, la police est intervenue dans la suite occupée par X._ sur la base d'un mandat de perquisition oral de la procureure de service. A l'arrivée de la police, X._ a spontanément indiqué l'endroit où il avait déposé la drogue achetée la veille. La police a saisi un sachet de marijuana de 23,5 gr bruts, une boulette de poudre blanche de 1,2 gr bruts et deux bouts de haschich pesant au total 13,5 gr bruts. X._ a donné son accord à la destruction de ces substances par la police.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à son acquittement de tous les chefs d'accusation retenus contre lui ainsi que, subsidiairement, à l'annulation du jugement et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.

Considérant en droit :
1.
1.1.
Le recourant conteste sa condamnation pour infraction à la LStup, estimant qu'elle est fondée sur des preuves inexploitables au sens de l'art. 141 al. 2 et 4 CPP. Il considère que le mandat de perquisition oral délivré par la procureure de service dans la procédure pour infraction à l'intégrité sexuelle n'était pas valable, car la condition nécessaire de l'urgence (art. 241 al. 1 2ème phrase CPP) n'était pas donnée. De plus, il estime que le mandat oral contrevenait aussi à l'art. 241 al. 1 in fine CPP du fait qu'il n'aurait pas été confirmé par écrit et qu'il ne lui aurait pas été notifié.
1.2 La juridiction cantonale a considéré que la procédure suivie par la procureure de service le 14 février 2015 était conforme aux exigences posées par l'<ref-law>. Elle a constaté que la police avait informé la procureure, le jour en question à 9h30, du fait que des ressortissants étrangers, sans attache avec la Suisse et séjournant dans la suite d'un hôtel à Montreux, étaient suspectés d'avoir commis des actes d'ordre sexuel sur une jeune femme, après l'avoir droguée. Dans de telles circonstances, la juridiction cantonale a admis qu'il se justifiait d'agir rapidement, ce qui autorisait la procureure à délivrer oralement un mandat de perquisition. De plus, elle a retenu que celle-ci avait confirmé le mandat par écrit le même jour.
2.
2.1. L'<ref-law> dispose que les perquisitions, fouilles et examens font l'objet d'un mandat écrit. En cas d'urgence ces mesures peuvent être ordonnées par oral, mais doivent être confirmées par écrit.
2.2. En présence d'infractions à l'intégrité sexuelle, pour lesquelles on sait que les traces et les indices peuvent disparaître rapidement, et de suspects étrangers demeurant dans un hôtel, une intervention rapide de la police se justifiait et la procureure était donc autorisée à délivrer un mandat de perquisition oral en raison de l'urgence. Contrairement à ce que prétend le recourant, l'urgence ne concerne pas la rapidité de l'intervention policière mais bien la nécessité d'agir rapidement compte tenu des éléments à disposition du procureur au moment où il est saisi.
En l'espèce, il apparaît que les conditions de l'<ref-law> était données et qu'un mandat de perquisition oral pouvait être délivré.
3.
3.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être discutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3.1 p. 253).
3.2. La juridiction cantonale a constaté que le mandat de perquisition avait été confirmé par écrit. Le recourant conteste ce fait en invoquant des éléments tirés du dossier, desquels il déduit un " doute " sur l'existence d'une confirmation écrite du mandat, sans toutefois préciser en quoi le constat de la juridiction cantonale serait arbitraire ou contraire au droit. Il oppose ainsi sa lecture du dossier à celle de la juridiction cantonale dans une argumentation de nature purement appellatoire. Dans cette mesure, le recours n'est pas recevable faute de motivation adéquate. Pour le reste, le grief de violation du droit d'être entendu est infondé attendu que la requête d'instruction du recourant était tardive (art. 399 al. 4 let. c CPP) et que l'administration de preuves complémentaires n'était de toute façon pas nécessaire (<ref-law> a contrario).
3.3. La juridiction cantonale a considéré que le recourant avait acheté deux boulettes de cocaïne pour 200 francs et 55 gr de cannabis à 10 francs, soit 42,5 gr de marijuana et 13,5 gr de haschich, pour 550 francs. Le constat se fonde sur les quantités saisies par la police lors de la perquisition et reconnues exactes par le recourant ainsi que sur la consommation admise par les trois occupants de la suite.
3.3.1. Le recourant invoque une violation de l'<ref-law>, qui impose à la police de transmettre à la direction de la procédure les objets saisis pour décider de la suite de la procédure. Le fait que la drogue ait été détruite par la police ne permettrait plus de connaître les quantités exactes sur lesquelles portaient les infractions. De plus, il n'est pas établi que la police ait pesé ces stupéfiants.
3.3.2. Le recourant semble mettre en doute les quantités de drogues retenues par la juridiction cantonale, sans préciser en quoi celle-ci a agi arbitrairement ou contrairement au droit en retenant que le recourant avait acheté pour 750 francs de drogues soit 200 francs de cocaïne et 550 francs de cannabis. Faute de motivation suffisante, le recours n'est pas recevable sur ce point.
4.
Le recourant fait valoir qu'en tout état de cause le mandat de perquisition, qui est une mesure de contrainte devant faire l'objet d'un prononcé au sens de l'<ref-law>, ne lui avait pas été notifié de façon conforme à la loi. Il ne précise toutefois pas quelles conséquences exactes il tire de cet argument.
Cette argumentation du recourant ne peut de toute façon pas être suivie. En effet, l'<ref-law> prévoit que, lorsqu'une mesure de contrainte est ordonnée par écrit, une copie du mandat est remise contre accusé de réception à la personne directement concernée. En présence d'une mesure de contrainte ordonnée oralement, cette exigence ne s'appliquait donc pas.
5.
5.1. Le recourant considère que la découverte des stupéfiants dans sa suite viole l'<ref-law>, car elle n'aurait pas été faite de façon licite (mandat de perquisition oral sans urgence et non confirmé par écrit). Il prétend n'avoir pas compris immédiatement que la perquisition était faite dans le cadre d'une procédure pour atteinte à l'intégrité sexuelle et non pour infraction à la LStup. Cette méprise aurait amené le recourant à dire qu'il détenait des stupéfiants parce qu'il était sûr que ceux-ci seraient découverts lors de la perquisition. Si les prescriptions sur le mandat de perquisition avaient été respectées, le recourant ne se serait pas expliqué sur les stupéfiants. Il ne serait donc pas possible de prétendre que le recourant a agi spontanément. Il estime en conséquence que les preuves ainsi recueillies sont illicites et partant inexploitables au sens de l'art. 141 al. 2 et 4 CPP, même s'il s'est expliqué et qu'il a collaboré à l'enquête.
5.2. La découverte de stupéfiants dans la suite occupée par le recourant est une découverte fortuite au sens de l'<ref-law>. En effet, la police a eu connaissance de la présence de ces stupéfiants dans le cadre d'une perquisition en rapport avec une instruction pour atteinte à l'intégrité sexuelle. Ces stupéfiants n'avaient absolument aucun rapport avec les faits dénoncés par la victime. Le fait que le recourant ait indiqué qu'il possédait des stupéfiants n'enlève rien au caractère fortuit de la découverte, qui n'aurait au demeurant pas eu lieu si la suite n'avait pas été perquisitionnée.
Dans la mesure où l'illicéité de la perquisition en rapport avec l'enquête pour atteinte à l'intégrité sexuelle n'a pas été admise (consid. 2 et 3), le recourant ne peut donc pas se prévaloir de l'<ref-law> pour rendre inexploitable la découverte fortuite des stupéfiants.
6.
Le recours doit donc être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy