Faits :
A.
Par jugement du 2 juillet 2018, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a condamné X._ pour actes d'ordre sexuel sur une personne incapable de discernement ou de résistance à une peine privative de liberté de 15 mois avec sursis durant 4 ans. Il l'a condamné au versement de 5'000 fr., à titre de tort moral à A._.
B.
Statuant sur appel de X._, la Cour d'appel pénale du Tribunal cantonal vaudois l'a rejeté par jugement du 17 décembre 2018 et a confirmé le jugement de première instance.
En substance, la cour cantonale a retenu les faits suivants.
Le 10 septembre 2015, X._ et A._, qui se connaissaient depuis quelques semaines, se sont rendus en voiture en Espagne, afin de retrouver le petit ami de celle-ci, qui s'y trouvait déjà. Sur le chemin du retour, le 12 septembre 2015, à Perpignan, les deux camarades ont décidé de faire la fête et de boire de l'alcool. X._ a voulu réserver une chambre d'hôtel pour ne pas conduire sous l'influence de l'alcool et a commencé à faire des allusions grivoises à A._, allusions auxquelles celle-ci n'a pas réagi positivement. X._ et A._ se sont arrêtés dans une station-service et ont acheté deux bouteilles de vin mousseux. Ils ont commencé à boire dans la voiture avant de se rendre dans un hôtel où ils ont loué une chambre pour la nuit. Ils ont continué à boire. X._ a dû vomir plusieurs fois en raison de sa consommation d'alcool. Lorsqu'ils ont fini les bouteilles, A._ a mis une robe de nuit et un boxer et est allée se coucher de son côté du lit double en tournant le dos à X._. Ce dernier a commencé à essayer de dégrafer le soutien-gorge qu'elle portait sous sa robe. Lorsqu'elle lui a dit d'arrêter, X._ lui a répondu qu'il était un expert pour ce genre de choses. Elle lui a répondu qu'il n'avait qu'à faire ça avec sa femme. Alors qu'il essayait à nouveau, elle lui a demandé d'arrêter car elle voulait dormir.
Au milieu de la nuit, A._ a été réveillée par X._ qui l'embrassait sur la joue alors qu'il se trouvait sur elle. Elle l'a repoussé de côté et s'est endormie.
Profitant du fait que A._ était endormie, X._ a retiré le boxer de cette dernière sans qu'elle s'en rende compte. A un certain moment, A._ s'est réveillée, elle se sentait vaseuse et ne comprenait pas la situation. Elle a d'abord entendu un bruit qu'elle a interprété comme étant un bruit de succion et a ensuite senti que X._ mettait ses doigts dans son vagin. Elle a dû bouger pour le faire retirer, mais en raison de son état, elle ne comprenait pas bien ce qui se passait. Après que X._ a retiré ses doigts, A._ a senti qu'il essayait d'introduire son pénis dans l'un de ses orifices, sans pouvoir dire si c'était dans son vagin ou dans son anus. Elle s'est alors complètement réveillée, s'est immédiatement levée et a constaté que son boxer était par terre.
Choquée par ce qui venait de se produire, A._ a confronté X._, lequel a d'abord fait le surpris, puis a indiqué que selon son épouse, il lui arrivait de faire ce genre de choses en dormant. Sur le chemin du retour, X._ n'a cessé de changer de version, indiquant que ce qu'il avait fait était involontaire, avant de nier les faits, puis de dire que c'était elle qui avait profité de lui et qui l'avait allumé.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa libération de toute infraction en lien avec les événements de septembre 2015 ainsi que du paiement d'une indemnité. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Il requiert le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque l'arbitraire dans l'établissement des faits et l'appréciation des preuves. Il reproche à la cour cantonale d'avoir violé le principe in dubio pro reo.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant de manière précise (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs autres arguments de nature à emporter la conviction (arrêts 6B_1283/2018 du 14 février 2019 consid. 1.1; 6B_435/2018 du 19 septembre 2018 consid. 3.2.1; 6B_1154/2017 du 27 avril 2018 consid. 1.1).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst. et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 s.). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 2.2.3.3 p. 351 s.; <ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82).
1.2. La cour cantonale a relevé que les versions des protagonistes, lesquels ont comparu à l'audience d'appel, étaient très similaires s'agissant des événements qui se sont déroulés jusqu'au moment du coucher et depuis le départ de l'hôtel. Confrontée à deux versions contradictoires s'agissant des faits litigieux, la cour cantonale a retenu celle de la victime, qu'elle a jugée complète, constante, précise et corroborée par les éléments objectifs au dossier. La cour cantonale a considéré que l'intimée était crédible, dès lors qu'elle n'avait pas de raison de mentir, contrairement à ce que suggérait le recourant (transparence vis-à-vis de son petit ami sur la nuit d'hôtel, absence de cible financière intéressante, etc.). Sa version était cohérente, ne chargeait pas inutilement le recourant et était corroborée par les images de la caméra de surveillance de l'hôtel, sur lesquelles on voyait le recourant rechercher la proximité de sa victime, alors que celle-ci apparaissait manifestement gênée. La cour cantonale a relevé que la blague que le recourant avait faite sur le numéro de la chambre (69) corroborait la version de l'intimée s'agissant de l'attitude du premier et de son état d'esprit au moment des faits. En outre, l'intimée ne pouvait pas avoir inventé l'explication donnée par le recourant, selon laquelle il adoptait des comportements similaires avec son épouse en dormant.
La cour cantonale a considéré que le recourant adoptait une stratégie de défense basée sur l'amnésie, le déni et le sarcasme portant atteinte à la crédibilité de ses dénégations. Les dénégations parfois ridicules du recourant lors de ses auditions ne plaidaient pas en sa faveur. Bien qu'il eût souvent plaidé l'amnésie s'agissant de ses actes ou ses intentions, ses déclarations permettaient de se convaincre que la situation n'était à tout le moins pas banale de son point de vue et qu'elle avait assurément une connotation sexuelle ( "un homme et une femme bourrés dans une chambre d'hôtel, il y a 99% de chances que cela se passe"; "ce n'est pas anodin d'être dans une chambre d'hôtel avec la copine d'un copain alors que je suis en concubinage et père";etc., jugement entrepris consid. 4.6.3 p. 18). Par ailleurs, après avoir affirmé ne pas se souvenir d'avoir discuté sexualité ou fait des allusions ou plaisanteries sexuelles, le recourant avait finalement admis avoir blagué autour du numéro de chambre proposé par le réceptionniste, avoir dit à l'intimée "coucher avec un préservatif, ce n'est pas tromper"et avoir pu dire qu'il risquait de faire des bêtises s'il buvait et avoir pu demander des préservatifs au réceptionniste. Alors que le recourant soutenait avoir été particulièrement choqué et blessé par les accusations de l'intimée qui l'auraient "grandement déstabilisé", ce dernier avait souri en haussant les épaules à la lecture de l'acte d'accusation tant en audience que devant le procureur et il s'était marié avec sa concubine deux semaines après son audition par la police. La cour cantonale a encore relevé que le recourant avait régulièrement tenté de discréditer et de dénigrer l'intimée.
S'agissant des éléments objectifs, la cour cantonale a considéré que les vomissements du recourant et l'absence de traces ADN sur l'entre-jambe du boxer n'étaient pas déterminants pour l'établissement des faits. Quant aux images de la caméra de surveillance - montrant le recourant caresser les cheveux de l'intimée à plusieurs reprises, cette dernière se mettant la main devant le visage en secouant la tête -, elles contredisaient les déclarations du recourant qui prétendait qu'elle n'était "rien pour lui", seulement une "figurante" qui le "gonflait" par ses bavardages. Par ailleurs, l'intimée avait envoyé des sms à son ami, disant que le recourant était "beau excité"et que ses vomissements allaient "calmer ses pulsions" alors que le recourant avait tenu à cacher l'entier de l'épisode à sa future épouse et attendait de la recourante qu'elle en fasse de même.
1.3. Le recourant estime que la cour cantonale a fait preuve d'arbitraire en retenant la version des faits de l'intimée et en écartant la sienne. L'essentiel de son argumentation consiste à opposer sa version à celle retenue par la cour cantonale sans tenter de démontrer l'arbitraire dans l'établissement des faits et l'appréciation des preuves.
C'est le cas notamment lorsqu'il livre une appréciation personnelle des images de vidéo-surveillance de l'hôtel, en particulier de ses caresses sur les cheveux de l'intimée et affirme qu'il était aussi mal à l'aise qu'elle. C'est de manière purement appellatoire, partant irrecevable qu'il prétend que les caresses n'étaient pas affectueuses ou langoureuses mais visaient à s'excuser d'un coup donné à la jambe de l'intimée pour plaisanter. En tout état, il n'est pas insoutenable de déduire des attitudes des protagonistes, telles qu'elles ressortent des enregistrements, que le recourant recherchait la proximité de l'intimée, laquelle apparaissait gênée. Contrairement à ce que prétend le recourant, la cour cantonale n'a pas considéré que les images de vidéo-surveillance démontraient sa culpabilité, mais elle s'est fondée notamment sur ces dernières pour apprécier la crédibilité des différentes déclarations.
Selon le recourant, la cour cantonale a renversé le fardeau de la preuve en considérant que des résultats d'analyses ADN négatifs sur l'entre-jambe du boxer de l'intimée ne seraient pas déterminants. Or la cour cantonale a relevé d'une part que l'intimée avait eu une relation avec son petit ami en portant ce boxer après les faits incriminés et, d'autre part, que les actes reprochés n'étaient pas susceptibles de laisser de traces à cet endroit du vêtement. En cela, c'est sans violer la présomption d'innocence que la cour cantonale a exclu toute valeur probante des analyses ADN.
Le recourant se méprend lorsqu'il prétend que la cour cantonale n'aurait pas tenu compte du fait qu'il avait vomi à plusieurs reprises. Il livre une appréciation personnelle des événements en lien avec ces vomissements et prétend, de manière purement appellatoire, partant irrecevable, qu'il n'aurait pas pu conserver une libido suffisante par la suite et qu'il n'aurait pu que dormir. En tout état, la cour cantonale pouvait, sans arbitraire, retenir que les vomissements durant la soirée n'étaient pas déterminants pour établir les faits ayant eu lieu au milieu de la nuit.
Pour le reste, le recourant ne formule aucun grief recevable relatif à l'appréciation des déclarations des protagonistes (évolution de son récit, incohérences, sarcasme, attitude lors des auditions, volonté de taire le projet de soirée, etc.). En définitive, il échoue à démontrer dans quelle mesure l'appréciation des preuves serait insoutenable. Son moyen doit être rejeté dans la mesure où il est recevable.
2.
Le recourant invoque une violation de l'<ref-law> et prétend qu'il n'est pas établi que la recourante était incapable de résister au sens de cette disposition.
2.1. Aux termes de l'<ref-law>, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Selon la jurisprudence, est incapable de résistance la personne qui n'est pas apte à s'opposer à des contacts sexuels non désirés. Cette disposition protège les personnes qui ne sont pas en mesure de former, exprimer ou exercer efficacement une volonté de s'opposer à des atteintes sexuelles. L'incapacité de résistance peut être durable ou momentanée, chronique ou due aux circonstances. Elle peut être la conséquence d'un état mental gravement anormal, d'une sévère intoxication due à l'alcool ou à la drogue, ou encore d'entraves matérielles. Il faut cependant que la victime soit totalement incapable de se défendre. Si l'inaptitude n'est que partielle - par exemple en raison d'un état d'ivresse - la victime n'est pas incapable de résistance (<ref-ruling> consid. 7.2 p. 56 et les références citées; arrêt 6B_69/2018 du 11 juin 2018 consid. 4.1).
L'exigence jurisprudentielle d'une incapacité de résistance ou de discernement "totale" ne recouvre pas exclusivement des états de perte de conscience complète mais délimite les situations visées par l'<ref-law> de celles dans lesquelles, par exemple en raison de l'alcoolisation de la victime, celle-ci est simplement désinhibée ( Herabsetzung der Hemmschwelle; <ref-ruling> consid. 7.2 p. 56; <ref-ruling> consid. 3a p. 232; arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.1.3). Une incapacité de résistance peut être retenue lorsqu'une personne, sous l'effet de l'alcool et de fatigue ne peut pas ou que faiblement s'opposer aux actes entrepris (cf. arrêts 6B_232/2016 du 21 décembre 2016 consid. 2.2; 6B_128/2012 du 21 juin 2012 consid. 1.4).
2.2. En l'espèce, il est établi que les protagonistes ont partagé deux bouteilles de vin mousseux le soir des faits et que l'intimée dormait lors des actes reprochés. Le recourant ne tente pas d'en démontrer l'arbitraire. Aussi, la cour cantonale pouvait, sans violer le droit fédéral, considérer que la recourante était incapable de résistance au sens de l'<ref-law>. Contrairement à ce que suggère le recourant, la quantité exacte d'alcool ingérée, l'indice de masse corporelle ainsi que le taux d'alcool ne sont pas déterminants.
3.
Pour le surplus, le recourant n'invoque aucun grief concernant la fixation de la peine. Alors qu'il conclut à sa libération du paiement de toute indemnité en faveur de l'intimée, il ne fait valoir aucune violation du droit fédéral sur ce point (cf. <ref-law>).
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dépourvu de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 avril 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke