Faits :
A.
Par jugement du 27 avril 2018, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a condamné X._ pour infraction à la loi fédérale sur les étrangers (art. 115 al. 1 let. b LEtr), voies de fait (<ref-law>), injures (<ref-law>), menaces qualifiées (art. 180 al. 1 et 2 let. a CP), actes d'ordre sexuel avec des enfants (<ref-law>) et acte d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) à une peine privative de liberté de 20 mois ainsi qu'à une amende de 300 francs. Le Tribunal correctionnel a également expulsé l'intéressé du territoire suisse pour une durée de 7 ans. Outre les frais de procédure et les indemnités dues aux conseils, X._ a également été condamné à verser une indemnité pour tort moral à ses enfants B._ et C._, à raison de 4000 fr. chacune.
B.
Statuant le 24 août 2018, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ formé contre le jugement du 27 avril 2018 et a partiellement admis l'appel joint du ministère public. Elle l'a réformé en ce sens que X._ était condamné à une peine privative de liberté de 24 mois ainsi qu'à une amende de 300 francs. Le jugement a été confirmé pour le surplus.
En substance, la cour cantonale a retenu les faits suivants.
B.a. Les époux X._ et A._, tous deux ressortissants brésiliens nés en 1984, ont vécu jusqu'en mars 2017 à L._ avec leurs filles C._, née en 2011, B._, née en 2013, et D._, née en 2016.
B.b. Le 18 mars 2017, vers 21 heures, X._, qui était rentré à son domicile alors qu'il se trouvait sous l'influence conjuguée de l'alcool et de médicaments, s'est rendu dans la chambre de ses filles C._ et B._.
Dans des circonstances qui n'ont pas pu être précisément établies, X._ a alors touché avec force le vagin de sa fille cadette B._. Il a en outre ôté la culotte de sa fille aînée C._ et lui a léché les parties génitales.
B.c. Entre le 19 décembre 2016 et le 19 mars 2017, au domicile conjugal, X._ a régulièrement traité son épouse de " fille de pute " et de " vache ", en portugais brésilien.
Le 11 mars 2017, X._, alors sous l'influence de l'alcool, a déclaré à son épouse - qui l'avait rejoint dans la chambre pour parler - qu'il pouvait la violer s'il le souhaitait et qu'il pouvait faire d'elle ce qu'il voulait. Il s'est subitement mis à califourchon sur elle et lui a serré très fort les poignets. X._ lui a alors répété qu'il pouvait la violer car c'était son épouse et qu'il pouvait faire ce qu'il voulait d'elle.
B.d. A tout le moins entre le 1 er septembre 2016 et le 19 mars 2017, X._ a séjourné en Suisse, alors qu'il ne bénéficiait d'aucune autorisation et qu'un ultime délai de départ au 31 août 2016 lui avait été imparti par le Service de la population du canton de Vaud (SPOP).
B.e. Le 19 mars 2017, A._ a déposé plainte contre son époux X._. Les enfants C._ et B._ en ont fait de même le 29 mars 2017, par l'intermédiaire de leur curatrice de représentation.
C.
Contre ce jugement, X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à l'annulation du jugement et au renvoi de la cause à la cour cantonale pour qu'elle procède à des mesures d'instruction complémentaires. Subsidiairement, il conclut à son acquittement des chefs de prévention de voies de fait, injure, menaces qualifiées, actes d'ordre sexuel avec des enfants et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, aucune peine ne lui étant infligée s'agissant de sa condamnation pour infraction à la loi fédérale sur les étrangers. Il sollicite en outre le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant produit des pièces nouvelles, expliquant que celles-ci sont supposées appuyer son grief démontrant que la cour cantonale a violé son droit d'être entendu en refusant de tenir compte des conclusions de deux expertises génétiques privées, réalisées par des instituts américains, qu'il avait produites en procédure d'appel (cf. infra consid. 2.7).
1.1. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. Cette exception - dont il appartient au recourant de démontrer que les conditions sont remplies (arrêts 5A_165/2016 du 11 octobre 2016 consid. 3.3; 4A_229/2010 du 7 octobre 2010 consid. 1.3 non publié in <ref-ruling>) - vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée; peuvent notamment être introduits des faits nouveaux concernant le déroulement de la procédure devant l'instance précédente, afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours. En dehors de ces cas, les nova ne sont pas admissibles, qu'il s'agisse de faits ou moyens de preuve survenus postérieurement à la décision attaquée ou d'éléments que les parties ont négligé de présenter aux autorités cantonales (<ref-ruling> consid. 1.2 p. 22 s.; <ref-ruling> consid. 4.4.3 p. 128 s.).
1.2. Les pièces nouvellement produites par le recourant consistent en des demandes de devis vainement sollicitées à des instituts suisses de médecine légale en vue de la réalisation d'une expertise génétique privée, le recourant cherchant à démontrer dans ce contexte qu'il n'avait d'autre choix que de s'adresser à des instituts étrangers.
Le recourant se borne à soutenir que la production des pièces en question doit être admise, dès lors que celles-ci résultent de la décision précédente. Il ne démontre toutefois pas en quoi il lui était impossible de les produire devant la cour cantonale, l'exception permettant de présenter des faits ou des moyens de preuve nouveaux en instance de recours fédérale ne devant pas servir à corriger des omissions antérieures (ATF <ref-ruling> consid. 4.4.3; arrêt 5A_904/2015 du 29 septembre 2016 consid. 2.3, non publié in <ref-ruling>). Il ne prétend pas non plus que les pièces en question sont propres à contrer une argumentation objectivement imprévisible pour les parties avant la réception de la décision (arrêt 5A_904/2015 précité consid. 2.3).
Il s'ensuit que les pièces produites par le recourant à l'appui de son recours sont irrecevables.
2.
Invoquant un établissement arbitraire des faits ainsi que des violations de son droit d'être entendu et de sa présomption d'innocence, le recourant conteste sa condamnation s'agissant des attouchements à caractère sexuel qu'il aurait commis à l'encontre de ses filles B._ et C._.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2a p. 40 s.; arrêt 6B_804/2017 du 23 mai 2018 consid. 2.2.3.1 destiné à la publication). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. arrêt 6B_804/2017 précité consid. 2.2.3.3 destiné à la publication), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 503; <ref-ruling> consid. 7 p. 82; arrêt 6B_804/2017 précité consid. 2.2.3.3 destiné à la publication).
2.2. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 6.3.1 p. 229 et les arrêts cités). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 3.3 p. 64 et l'arrêt cité). Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées).
2.3. La cour cantonale a estimé que les déclarations de son épouse étaient crédibles et fiables, celles-ci concordant avec la déposition de E._, l'arrière-grand-mère des fillettes qui était en visite au domicile de la famille au moment des faits. La version présentée par l'épouse était également confirmée par l'expertise réalisée le 26 juillet 2017 par le Dr F._, responsable de l'Unité G._ du Centre universitaire romand de médecine légale (CURML), qui avait mis en évidence la présence de traces de salive appartenant au recourant, retrouvées sur la face avant extérieure de la culotte de C._ (cf. jugement entrepris, consid. 4.2.4 p. 22).
L'autorité précédente a en outre relevé que, si B._ avait certes refusé de s'exprimer et n'avait donc pas pu être entendue par la police, il n'était pas vraisemblable qu'une enfant de 4 ans invente des faits tels que ceux retenus à l'encontre de son père pour nuire à un innocent, qui se trouvait précisément avoir laissé de la salive dans la culotte de sa soeur. Aucun élément concret ne venait étayer l'hypothèse du recourant selon laquelle les faits rapportés par B._ n'étaient pas conformes à la vérité, les doutes de H._, beau-frère du recourant à qui B._ s'était confiée après les faits, n'y changeant rien.
S'agissant de C._, ses déclarations lors de son audition filmée avaient été claires, celle-ci ayant donné des détails sur la position de son père au moment des faits, ainsi que sur la position de sa culotte, décrivant également les gestes du recourant, en particulier celui consistant à descendre sa culotte, à sortir la langue de sa bouche, en effectuant un mouvement de bas en haut " là où elle faisait pipi " (cf. jugement entrepris, consid. 4.2.3 p. 20). A cela s'ajoutait encore que, selon I._, un ami du recourant avec lequel il se trouvait au moment de son interpellation dans l'après-midi du 19 mars 2017, le recourant lui avait confié que sa vie avait changé et qu'il voulait partir. Ce dernier avait ainsi préparé sa valise, emporté son passeport et dit à son épouse qu'il partait au Portugal. Aucun élément concret du dossier ne permettait enfin de soutenir l'existence d'un quelconque complot ou d'une machination qui aurait été ourdie par l'épouse dans le but d'obtenir pour elle et ses filles une prolongation du droit de séjour en Suisse (cf. jugement entrepris, consid. 4.2.3 p. 21 s.).
Sur la base de ce qui précède, la cour cantonale a constaté que le faisceau d'indices concordait indubitablement vers la culpabilité du recourant, celui-ci devant être condamné pour actes d'ordre sexuel avec des enfants et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance.
2.4. Se prévalant de sa présomption d'innocence et d'une constatation erronée des faits, le recourant soutient qu'en ce qui concerne sa fille B._, il n'existe au dossier aucune preuve incontestable que les faits se sont bien déroulés comme rapportés par les témoins indirects, alors qu'aucune mesure n'a été mise en oeuvre pour recueillir directement la parole de l'enfant, malgré son refus de s'exprimer.
Le recourant n'apporte toutefois aucun élément propre à démontrer que la cour cantonale a versé dans l'arbitraire et a violé sa présomption d'innocence en considérant que les témoignages de l'épouse et de sa grand-mère étaient fiables et crédibles, dès lors qu'ils étaient détaillés, concordants pour l'essentiel et corroborés par d'autres éléments au dossier. Dans ses développements, le recourant se borne ainsi, dans une démarche essentiellement appellatoire - et partant irrecevable dans le recours en matière pénale -, à soutenir que les déclarations en cause ne seraient que de " pures inventions " destinées à l'accabler.
Il suffit ainsi de constater que, si le recourant se prévaut en particulier du fait que l'arrière-grand-mère avait été entendue plus de 15 jours après les faits - laissant entendre que cette dernière s'était accordée avec son épouse -, il n'apporte toutefois aucun élément pouvant suggérer l'existence d'un complot à son égard. Contrairement à ce que soutient le recourant, on observe du reste qu'il a été tenu compte de ses qualités de bon père, la cour cantonale ayant retenu que son épouse l'avait décrit comme tel, relevant qu'il s'occupait de ses enfants. Le recourant ne saurait non plus prétendre que B._ l'avait dénoncé en agissant par mimétisme avec sa grande soeur C._, le déroulement des faits retenus démontrant que B._ s'était plainte avant sa soeur du comportement du recourant. On ne voit par ailleurs pas en quoi, dans ce contexte, la cour cantonale aurait dû ordonner une nouvelle audition de H._ ou encore ordonner une commission rogatoire au Brésil afin de déterminer si une procédure pour attouchements sexuels sur mineurs avait effectivement été ouverte contre le mari de l'arrière-grand-mère des fillettes. Peu importait enfin de connaître le lieu exact des révélations de B._ à sa mère le 18 mars 2017 au soir.
2.5. Invoquant une violation de son droit d'être entendu, le recourant se plaint, s'agissant de C._, de l'absence d'expertise propre à déterminer les raisons pour lesquelles aucune trace de salive n'avait été retrouvée directement sur le corps de l'enfant. Il se plaint également qu'outre la face avant extérieure de la culotte, aucun examen du reste du sous-vêtement n'avait été effectué, une telle mesure étant selon lui susceptible de déterminer que la trace de salive détectée aurait pu provenir d'une autre source que son prétendu léchage du sexe de l'enfant.
La cour cantonale a retenu qu'il n'y avait pas matière à procéder à de telles analyses, dès lors que la présence de salive du recourant sur la culotte de l'enfant ainsi que les autres moyens de preuve administrés - telles que les déclarations concordantes de l'épouse et de sa grand-mère - suffisaient à l'incriminer. Au surplus, l'absence de trace de salive découverte sur le sexe de l'enfant n'était pas déterminante. Ainsi, un éventuel résultat négatif n'aurait pas permis d'écarter l'hypothèse selon laquelle l'absence de traces puisse être la conséquence de passages aux toilettes de la fillette et des lavements y afférant, étant observé que les prélèvements avaient été effectués le 19 mars 2017 au soir, soit environ 24 heures après les faits, et qu'il était improbable que l'enfant ne se soit pas rendue aux toilettes dans l'intervalle. Quoi qu'en dise le recourant, on ne distingue pas d'arbitraire dans l'appréciation anticipée des preuves à laquelle la cour cantonale a procédé.
2.6. Se prévalant également d'une violation de son droit d'être entendu, le recourant fait grief à la cour cantonale d'avoir nié toute force probante aux deux expertises privées qu'il a produites. Il ressortirait de celles-ci que le test Phadebas, qui aurait été utilisé par le CURML dans le cadre de son analyse du 26 juillet 2017, ne serait pas un test spécifique à la salive et qu'il serait connu pour donner des réactions faussement positives, le test en question ne faisant que détecter l'amylase, une enzyme digestive également présente dans les sécrétions vaginales, la matière fécale ou la sueur. Ces expertises privées établiraient également qu'il n'était pas envisageable que le sexe de C._ ait pu être léché dans la mesure où un test spécifique à la salive (test R-SID Saliva), pratiqué directement sur le sexe de l'enfant, aurait détecté jusqu'au nanolitre de salive.
L'expertise privée n'a pas la même valeur probante qu'une expertise judiciaire, l'expert mandaté par une partie n'étant ni indépendant ni impartial. Ainsi, les résultats issus d'une expertise privée réalisée sur mandat du prévenu sont soumis au principe de la libre appréciation des preuves et sont considérés comme de simples allégués de parties (<ref-ruling> consid. 6 p. 359). Le juge n'en est pas moins tenu d'examiner si l'expertise privée est propre à mettre en doute, sur les points litigieux importants, l'opinion et les conclusions de l'expert mandaté par l'autorité (<ref-ruling> consid. 6.2 p. 374 et les références citées; arrêt 6B_986/2015 du 23 août 2016 consid. 3.5.3).
En l'espèce, la cour cantonale a exposé les raisons pour lesquelles il n'y avait selon elle pas matière à tenir compte des rapports d'expertise produits par le recourant. Ainsi, elle a, d'une part, relevé que ceux-ci émanaient d'instituts américains privés ( J._), qui ne jouissaient pas du même crédit qu'un institut tel que le CURML, lequel collabore régulièrement avec les autorités judiciaires suisses, et qui de surcroît n'avaient pas eu accès au dossier. D'autre part, la cour cantonale a observé que ces rapports d'expertise se limitaient à une critique méthodologique de l'expertise réalisée le 26 juillet 2017 par le CURML, sans remettre en cause la conclusion de celle-ci, à savoir la présence de salive du recourant sur la face avant de la culotte de la victime.
Cela étant, dès lors en particulier que, dans ses conclusions, le rapport d'expertise du 26 juillet 2017 évoque clairement la présence de salive du recourant sur la culotte de C._ (cf. dossier cantonal, P. 29/4, p. 3), on ne distingue pas d'arbitraire dans l'appréciation des preuves opérée par la cour cantonale, les rapports d'expertise produits n'ayant au surplus pas plus de valeur que des allégués de parties.
2.7. Se prévalant d'une violation de sa présomption d'innocence et d'un établissement arbitraire des faits, le recourant conteste encore avoir léché le sexe de sa fille C._.
Les développements du recourant dans ce cadre se limitent toutefois pour l'essentiel à substituer son appréciation à celle de la cour cantonale quant à la sincérité qui se dégageait des déclarations de C._. Ils sont partant irrecevables. En outre, en tant que le recourant évoque le refus de la cour cantonale de procéder à une expertise de crédibilité, il ne démontre toutefois pas en quoi il s'imposait de procéder à une telle mesure d'instruction, la cour cantonale n'ayant pas constaté la présence de circonstances particulières justifiant sa mise en oeuvre (cf. arrêt 6B_1070/2017 du 20 avril 2018 consid. 2.1 et les références citées).
Enfin, au regard notamment des conclusions de l'expertise génétique ainsi que des déclarations détaillées et convergentes de la victime et de témoins, la cour cantonale pouvait retenir sans violer la présomption d'innocence du recourant que celui-ci avait commis les actes qui lui étaient reprochés à l'égard de sa fille C._.
2.8. Pour le surplus, le recourant ne discute pas les qualifications juridiques des infractions retenues sur la base des faits établis (<ref-law>).
Le grief doit dès lors être rejeté dans la mesure de sa recevabilité.
3.
Le recourant conteste également s'être rendu coupable de voies de fait, d'injures et de menaces qualifiées à l'égard de son épouse. Il se prévaut à cet égard également d'une violation de sa présomption d'innocence et d'un établissement arbitraire des faits.
En tant que le recourant revient sur la force probante des déclarations de son épouse A._, ses développements s'épuisent toutefois à nouveau en une discussion appellatoire, et partant irrecevable, de l'appréciation des preuves opérée par la cour cantonale. Il suffit à cet égard de relever que la cour cantonale a tenu pour convaincantes les déclarations de l'épouse, de même que celle de sa grand-mère, dès lors qu'elles étaient mesurées, les deux femmes ayant toujours nuancé leurs propos, n'hésitant pas à mettre en lumière des éléments positifs dans la personnalité du recourant.
S'agissant des injures, si l'épouse avait certes affirmé que celles-ci duraient plusieurs années sans pouvoir donner plus de détails sur les jours exacts où les insultes avaient été prononcées, il n'en demeurait pas moins que le recourant avait lui-même admis que le couple se disputait souvent et que leurs situations difficiles sur le plan financier et administratif étaient à l'origine de nombreuses tensions. Il avait ainsi admis l'avoir traitée de " vache ", même s'il avait contesté que ce terme, en portugais brésilien, fût l'équivalent de " salope " en français. Ses déclarations aux débats permettaient en outre de se convaincre que le recourant avait implicitement reconnu avoir injurié son épouse (" Lors de nos disputes, il est également arrivé à ma femme de m'injurier "; cf. jugement du 27 avril 2018, p. 9).
Quant aux voies de faits et aux menaces, la description des faits qui s'étaient produits dans la chambre à coucher le 11 mars 2017 était strictement identique à l'occasion des trois dépositions de l'intimée, à savoir que le recourant s'était mis à califourchon sur elle, l'avait saisie par les poignets et lui avait dit qu'il pouvait la violer s'il le souhaitait. Pour sa part, le recourant avait présenté des versions des faits différentes, affirmant dans un premier temps que c'était lui qui voulait entretenir des relations sexuelles avec sa femme, mais qu'il y aurait renoncé car elle ne voulait pas et que " cela aurait été un viol ". Aux débats de première instance, il avait cette fois expliqué que c'était son épouse qui souhaitait entretenir des relations sexuelles, mais qu'il ne le souhaitait pas. Il l'aurait néanmoins prise par le bras et lui aurait dit: " Même si je suis handicapé, je pourrais te violer ". Ces divergences rendaient ses déclarations moins crédibles que celles de son épouse. Pour le surplus, le recourant avait admis que sa femme lui avait dit qu'elle avait peur de lui (cf. jugement entrepris, consid. 4.3.5 p. 27).
Au vu de ce qui précède, la cour cantonale pouvait retenir sans arbitraire et sans violer la présomption d'innocence du recourant que celui-ci avait commis les faits lui valant sa condamnation pour voies de faits, injures et menaces qualifiées.
Au surplus, à l'instar des infractions à l'intégrité sexuelle, le recourant ne discute pas les qualifications juridiques des infractions retenues au regard des faits établis (<ref-law>).
Le grief doit donc être rejeté dans la mesure de sa recevabilité.
4.
Enfin, si le recourant conclut à ce qu'aucune peine ne lui soit infligée en relation avec l'infraction à la loi fédérale sur les étrangers à laquelle il a été condamné, on cherche en vain dans son recours les motifs qui devraient conduire à une exemption de peine s'agissant de cette infraction (cf. <ref-law>). Le recours est donc irrecevable dans cette mesure.
5.
Pour le surplus, le recourant ne remet pas en cause la quotité de la peine qui lui a été infligée, pas davantage que la mesure d'expulsion prononcée à son égard ou les prétentions civiles allouées à ses filles C._ et B._.
6.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Comme les conclusions du recourant étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 décembre 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Tinguely