Faits : A. Par jugement du 22 août 2018, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ des chefs de prévention de contrainte sexuelle (art. 189 al. 1 CP), viol (art. 190 al. 1 CP) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP). Il l'a en revanche condamné pour infraction à la loi fédérale sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54) à une peine pécuniaire de 30 jours-amende à 30 fr. l'unité. B. Statuant le 14 février 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par A._, partie plaignante, et par le ministère public. Le jugement du 22 août 2018 a été réformé en ce sens que X._ était condamné pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et infraction à la LArm à une peine privative de liberté de 30 mois et qu'il était expulsé du territoire suisse pour une durée de 5 ans. En substance, la cour cantonale a retenu les faits suivants s'agissant de l'infraction réprimée à l'art. 191 CP. B.a. Le 5 octobre 2017, au soir, des étudiants de l'Ecole H._ de la Vallée de Joux, dont en particulier A._, née en 1996, et X._, né en 1994, se sont retrouvés au bar C._, au D._. Au cours de la soirée, les deux précités ont bu de l'alcool, dont notamment, s'agissant de A._, plusieurs verres de rhum-coca et de tequila. Vers 23 heures, X._ a proposé à A._, ainsi qu'à sa copine E._, que lui et F._ les ramènent chez elles en voiture, ce que les jeunes femmes ont accepté. Lorsque F._ s'est arrêté pour déposer A._ à proximité de son domicile, à G._, X._ est descendu du véhicule pour l'accompagner jusque chez elle. Une fois à l'appartement de A._, celle-ci s'étant sentie mal en raison de sa consommation d'alcool, elle s'est rendue aux toilettes pour vomir, alors que X._ s'est pour sa part installé sur le canapé du salon. Après que A._ était revenue des toilettes, ce dernier lui a demandé s'il pouvait dormir sur place. Elle a accepté et lui a donné un sac de couchage pour qu'il puisse passer la nuit sur le canapé. Plus tard, X._ a rejoint A._ dans son lit, où elle s'était couchée en gardant la robe qu'elle portait pour la soirée. Alors que A._ s'était assoupie, X._, couché à côte d'elle, a commencé à la caresser, d'abord sur le ventre par-dessus sa robe, puis sur le sexe, à même la peau, avant de tenter d'introduire un doigt dans son vagin. Réveillée par ces gestes, elle lui a alors dit: " arrête, arrête ". Se trouvant dans un état de conscience altéré en raison de son alcoolisation, elle s'est rendormie aussitôt que le précité avait retiré sa main. Quelque temps plus tard, X._ a, à nouveau, caressé le sexe de la jeune femme. Celle-ci s'est alors une nouvelle fois réveillée et lui a répété: " non, arrête, arrête ". Après que A._ s'est rendormie, X._ a, pour une troisième fois, caressé le sexe de la jeune femme avant de lui introduire un doigt, puis deux, dans le vagin en faisant des mouvements de va-et-vient. Il lui a ensuite enlevé son string, dégrafé son soutien-gorge et caressé les fesses, avant d'introduire une nouvelle fois ses doigts dans son vagin. Il s'est ensuite déshabillé et a fait un geste pour que A._ se tourne vers lui. La jeune femme, se trouvant toujours dans un état de conscience altéré, s'est alors mise sur le côté, tournant le dos à X._. Ce dernier s'est collé à elle, l'a pénétrée vaginalement avec son sexe en faisant deux mouvements de va-et-vient. A._ lui a dit une nouvelle fois: " arrête, arrête ". X._ s'est alors retiré sans avoir éjaculé, s'est levé pour aller fumer une cigarette, puis s'est couché dans le lit et s'est endormi. B.b. Le 13 novembre 2017, A._ a déposé plainte contre X._. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 14 février 2019. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef de prévention d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP), à sa condamnation pour infraction à la LArm à une peine pécuniaire de 30 jours-amende à 30 fr. l'unité ainsi qu'à l'annulation de la mesure d'expulsion du territoire suisse pour une durée de 5 ans. Subsidiairement, il conclut à l'annulation du jugement du 14 février 2019 et au renvoi de la cause à la cour cantonale pour nouveau jugement dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.