Faits :
A.
Par jugement du 22 août 2018, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a libéré X._ des chefs de prévention de contrainte sexuelle (<ref-law>), viol (<ref-law>) et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>). Il l'a en revanche condamné pour infraction à la loi fédérale sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54) à une peine pécuniaire de 30 jours-amende à 30 fr. l'unité.
B.
Statuant le 14 février 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par A._, partie plaignante, et par le ministère public. Le jugement du 22 août 2018 a été réformé en ce sens que X._ était condamné pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) et infraction à la LArm à une peine privative de liberté de 30 mois et qu'il était expulsé du territoire suisse pour une durée de 5 ans.
En substance, la cour cantonale a retenu les faits suivants s'agissant de l'infraction réprimée à l'<ref-law>.
B.a. Le 5 octobre 2017, au soir, des étudiants de l'Ecole H._ de la Vallée de Joux, dont en particulier A._, née en 1996, et X._, né en 1994, se sont retrouvés au bar C._, au D._. Au cours de la soirée, les deux précités ont bu de l'alcool, dont notamment, s'agissant de A._, plusieurs verres de rhum-coca et de tequila.
Vers 23 heures, X._ a proposé à A._, ainsi qu'à sa copine E._, que lui et F._ les ramènent chez elles en voiture, ce que les jeunes femmes ont accepté. Lorsque F._ s'est arrêté pour déposer A._ à proximité de son domicile, à G._, X._ est descendu du véhicule pour l'accompagner jusque chez elle.
Une fois à l'appartement de A._, celle-ci s'étant sentie mal en raison de sa consommation d'alcool, elle s'est rendue aux toilettes pour vomir, alors que X._ s'est pour sa part installé sur le canapé du salon. Après que A._ était revenue des toilettes, ce dernier lui a demandé s'il pouvait dormir sur place. Elle a accepté et lui a donné un sac de couchage pour qu'il puisse passer la nuit sur le canapé.
Plus tard, X._ a rejoint A._ dans son lit, où elle s'était couchée en gardant la robe qu'elle portait pour la soirée. Alors que A._ s'était assoupie, X._, couché à côte d'elle, a commencé à la caresser, d'abord sur le ventre par-dessus sa robe, puis sur le sexe, à même la peau, avant de tenter d'introduire un doigt dans son vagin. Réveillée par ces gestes, elle lui a alors dit: " arrête, arrête ". Se trouvant dans un état de conscience altéré en raison de son alcoolisation, elle s'est rendormie aussitôt que le précité avait retiré sa main. Quelque temps plus tard, X._ a, à nouveau, caressé le sexe de la jeune femme. Celle-ci s'est alors une nouvelle fois réveillée et lui a répété: " non, arrête, arrête ".
Après que A._ s'est rendormie, X._ a, pour une troisième fois, caressé le sexe de la jeune femme avant de lui introduire un doigt, puis deux, dans le vagin en faisant des mouvements de va-et-vient. Il lui a ensuite enlevé son string, dégrafé son soutien-gorge et caressé les fesses, avant d'introduire une nouvelle fois ses doigts dans son vagin. Il s'est ensuite déshabillé et a fait un geste pour que A._ se tourne vers lui. La jeune femme, se trouvant toujours dans un état de conscience altéré, s'est alors mise sur le côté, tournant le dos à X._. Ce dernier s'est collé à elle, l'a pénétrée vaginalement avec son sexe en faisant deux mouvements de va-et-vient. A._ lui a dit une nouvelle fois: " arrête, arrête ". X._ s'est alors retiré sans avoir éjaculé, s'est levé pour aller fumer une cigarette, puis s'est couché dans le lit et s'est endormi.
B.b. Le 13 novembre 2017, A._ a déposé plainte contre X._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 14 février 2019. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef de prévention d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>), à sa condamnation pour infraction à la LArm à une peine pécuniaire de 30 jours-amende à 30 fr. l'unité ainsi qu'à l'annulation de la mesure d'expulsion du territoire suisse pour une durée de 5 ans. Subsidiairement, il conclut à l'annulation du jugement du 14 février 2019 et au renvoi de la cause à la cour cantonale pour nouveau jugement dans le sens des considérants. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste sa condamnation du chef d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>). Il invoque à cet égard un établissement arbitraire des faits ainsi qu'une violation de sa présomption d'innocence.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 2.3.1 p. 244). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 ss). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> précité consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> précité consid. 2.2.3.3 p. 351 s.; <ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82).
Si l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_217/2019 du 4 avril 2019 consid. 4.1; 6B_608/2017 du 12 avril 2018 consid. 3.1).
1.2. La cour cantonale a constaté que les versions des faits présentées par les parties étaient divergentes, en particulier quant à l'état dans lequel se trouvait l'intimée au moment où le recourant avait agi (cf. jugement entrepris, consid. 3.2.3 et 3.2.4 p. 17 ss). Ce dernier, qui reconnaissait avoir entretenu des rapports sexuels avec l'intimée la nuit des faits, soutenait ainsi que cette dernière avait toujours été éveillée et qu'elle l'aurait implicitement encouragé à entretenir de tels rapports avec elle, dès lors qu'elle n'aurait pas " réellement refusé " ses avances. Pour sa part, l'intimée avait indiqué qu'elle dormait au moment des faits, les gestes du recourant l'ayant réveillée, et affirmait n'avoir jamais laissé entendre qu'elle souhaitait une relation sexuelle avec lui (cf. jugement entrepris, consid. 3.2.5 p. 19).
Au moment de déterminer la version qui devait être retenue, la cour cantonale a considéré que la version présentée par l'intimée devait être privilégiée, celle-ci étant corroborée par d'autres éléments au dossier. Il était à cet égard constant que l'intimée avait beaucoup bu le soir des faits, ce qui ressortait des témoignages recueillis, un témoin ayant en particulier déclaré qu'elle avait vomi alors qu'elle se trouvait encore au bar C._. Les deux autres personnes présentes pendant le trajet en voiture avaient en outre indiqué, pour l'une, que l'intimée n'était ni sobre, ni lucide et, pour l'autre, qu'elle " n'était pas bien ". Celle-ci s'était du reste couchée sans enlever sa robe et avait encore vomi le lendemain des faits alors qu'elle se trouvait à l'école.
Par ailleurs, aucun élément ne démontrait que les prétendus encouragements décrits par le recourant avaient été explicites. Ainsi, si celui-ci prétendait que l'intimée " voulait quelque chose avec lui ", il avait toutefois indiqué dans le même temps que l'intimée lui avait donné un sac de couchage pour qu'il passe la nuit sur le canapé du salon et lui avait dit qu'elle voulait dormir lorsqu'il était venu dans son lit. Le recourant, qui avait également indiqué que l'intimée avait eu un comportement séducteur, qu'elle l'avait invitée dans son lit et qu'elle avait elle-même enlevé son string, avait finalement admis que celle-ci n'avait à aucun moment prononcé de paroles, ni fait de geste direct signifiant clairement qu'elle souhaitait entretenir des rapports sexuels. Il apparaissait en outre que le recourant avait envoyé un message à l'intimée quelques jours après les faits pour lui présenter des excuses en raison de son insistance à vouloir entretenir des relations sexuelles avec elle. Du reste, le parallélisme était frappant entre les faits reprochés au recourant et ceux qui lui avaient valu une précédente condamnation pour viol en 2013.
Enfin, l'intimée, qui n'avait pas fait preuve d'un esprit de vengeance, avait décrit de manière tout à fait crédible son état passif, son incapacité de s'opposer aux actes du recourant ainsi que le fait que les gestes les plus intimes l'avaient réveillée. Si elle n'avait pas relevé lors de sa première audition que le recourant l'avait également pénétrée avec son sexe, elle ne s'en était en réalité rendu compte qu'après l'audition du recourant, qui l'avait indiqué aux enquêteurs, ce qui accréditait également la version des faits de l'intimée (cf. jugement entrepris, consid. 3.2.5 p. 19 ss).
1.3. Le recourant conteste le raisonnement de la cour cantonale en soutenant que cette dernière a arbitrairement omis de tenir compte qu'avant de se coucher, l'intimée avait été en mesure de marcher quelque 150 mètres jusqu'à son appartement, de déverrouiller la porte de celui-ci ainsi que de se démaquiller et de se brosser les dents.
Contrairement à ce que prétend le recourant, les actions réalisées par l'intimée avant de se rendre dans son lit ne sont pas en tant que telles déterminantes pour juger de l'état dans lequel elle se trouvait aux moments précis où il avait agi, qui sont seuls pertinents. Dans ce contexte, il n'était pas non plus pertinent d'établir si l'intimée avait regardé sa messagerie avant de se coucher ou si elle avait programmé son réveil. Il en va de même de savoir si elle s'est levée à une ou plusieurs reprises durant la nuit pour aller aux toilettes.
Dès lors qu'il a été constaté que l'intimée se trouvait la nuit des faits sous l'effet d'une forte alcoolisation et qu'elle avait déclaré au recourant vouloir dormir, il n'y a rien d'insoutenable d'en déduire que l'intimée dormait effectivement lorsque le recourant l'avait pénétrée avec ses doigts, puis avec son sexe. Il n'existe ainsi aucun doute sérieux ou irréductible propre à remettre en cause l'appréciation de la cour cantonale, qui se fonde sur un faisceau d'indices convergents. Celle-ci n'a dès lors pas violé la présomption d'innocence du recourant.
1.4. En tant que le recourant soutient que l'état d'endormissement dans lequel se trouvait l'intimée ne permettait pas pour autant de retenir qu'elle était dans l'incapacité de lui résister, ni qu'il avait la volonté d'en profiter, il se prévaut en réalité d'une violation de l'<ref-law>, grief que le Tribunal fédéral examine avec un libre pouvoir d'appréciation (cf. art. 95 let. a et 106 al. 1 LTF).
1.4.1. Aux termes de l'<ref-law>, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. Selon la jurisprudence, est incapable de résistance la personne qui n'est pas apte à s'opposer à des contacts sexuels non désirés. Cette disposition protège les personnes qui ne sont pas en mesure de former, exprimer ou exercer efficacement une volonté de s'opposer à des atteintes sexuelles. L'incapacité de résistance peut être durable ou momentanée, chronique ou due aux circonstances. Elle peut être la conséquence d'un état mental gravement anormal, d'une sévère intoxication due à l'alcool ou à la drogue, ou encore d'entraves matérielles. Il faut cependant que la victime soit totalement incapable de se défendre. Si l'inaptitude n'est que partielle - par exemple en raison d'un état d'ivresse - la victime n'est pas incapable de résistance (<ref-ruling> consid. 7.2 p. 56 et les références citées; arrêts 6B_238/2019 du 16 avril 2019 consid. 2.1; 6B_69/2018 du 11 juin 2018 consid. 4.1).
L'exigence jurisprudentielle d'une incapacité de résistance ou de discernement " totale " ne recouvre pas exclusivement des états de perte de conscience complète mais délimite les situations visées par l'<ref-law> de celles dans lesquelles, par exemple en raison de l'alcoolisation de la victime, celle-ci est simplement désinhibée (" Herabsetzung der Hemmschwelle "; <ref-ruling> consid. 7.2 p. 56; <ref-ruling> consid. 3a p. 232; arrêt 6B_60/2015 du 25 janvier 2016 consid. 1.1.3). Une incapacité de résistance peut être retenue lorsqu'une personne, sous l'effet de l'alcool et de fatigue ne peut pas ou que faiblement s'opposer aux actes entrepris (cf. arrêts 6B_238/2019 du 16 avril 2019 consid. 2.1; 6B_232/2016 du 21 décembre 2016 consid. 2.2; 6B_128/2012 du 21 juin 2012 consid. 1.4).
Sur le plan subjectif, l'<ref-law> requiert l'intention, étant précisé que le dol éventuel suffit (arrêts 6B_578/2018 du 20 mars 2019 consid. 2.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Agit intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêts 6B_69/2018 du 11 juin 2018 consid. 4.1; 6B_996/2017 du 7 mars 2018 consid. 1.1; 6B_128/2012 du 21 juin 2012 consid. 1.6.1). Il n'y a pas d'infraction si l'auteur est convaincu, à tort, que la personne est capable de discernement ou de résistance au moment de l'acte (arrêts 6B_578/2018 du 20 mars 2019 consid. 2.1; 6B_996/2017 du 7 mars 2018 consid. 1.1; 6B_60/2015 du 25 janvier 2016 consid. 1.2.1). Déterminer ce qu'une personne a su, envisagé, voulu ou accepté relève des constatations de fait (<ref-ruling> consid. 12 p. 152; <ref-ruling> consid. 6.3 p. 375).
1.4.2. Il apparaît que le recourant a saisi l'occasion que l'intimée dormait et se trouvait sous l'effet d'une forte alcoolisation pour lui prodiguer des caresses notamment au niveau du bas-ventre et de l'entrejambe, lui ôter ses sous-vêtements et la pénétrer tant avec ses doigts qu'avec son sexe. Le fait que l'intimée soit parvenue, malgré son état, à réagir en demandant au recourant d'arrêter ne permet pas encore de retenir qu'elle était capable d'exprimer efficacement son opposition. Dans ce contexte, et dès lors que le recourant a de surcroît repris ses agissements après une première demande d'arrêt, c'est en vain que celui-ci soutient avoir obtempéré aux souhaits de l'intimée, qui avait répété sa désapprobation à l'occasion d'un nouveau réveil. L'insistance du recourant tend au contraire à établir qu'il a effectivement exploité l'état d'incapacité de résistance dans lequel se trouvait l'intimée pour s'adonner à des actes d'ordre sexuel sans son consentement.
Il s'ensuit que les éléments constitutifs objectifs de l'infraction réprimée à l'<ref-law> sont réunis.
1.4.3. Sur le plan subjectif, la cour cantonale a retenu que le recourant avait agi alors qu'il connaissait l'état de l'intimée, qui était ivre et endormie au moment de ses actes. Il peut être déduit de cette constatation, dénuée d'arbitraire, que le recourant a voulu en profiter pour lui imposer des actes d'ordre sexuel, de sorte que le comportement du recourant est intentionnel.
1.5. En définitive, la condamnation du recourant pour actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) n'est pas contraire au droit fédéral.
2.
Au surplus, le recourant ne revient pas sur sa condamnation pour infraction à la LArm. Il ne conteste du reste pas en tant que telles la quotité de la peine qui lui a été infligée en raison des infractions pour lesquelles il a été condamné, ni la mesure d'expulsion prononcée à son égard, mais s'en prévaut uniquement comme des conséquences de son acquittement du chef de l'<ref-law>.
3.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut pas être accordée (<ref-law>). Le recourant devra supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, qui ne paraît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 juillet 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely