Faits :
A.
Par jugement du 10 décembre 2015, le Tribunal correctionnel de l'arrondissement de Lausanne a condamné X._ pour injure, menaces, contrainte sexuelle, viol et infraction à la loi fédérale sur les étrangers à une peine privative de liberté de 18 mois avec sursis partiel portant sur 9 mois pendant 2 ans et 10 jours-amende à 50 fr. le jour.
B.
Par jugement du 26 avril 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et confirmé le jugement de première instance, retenant en substance les faits suivants.
X._ et A._ ont noué une relation sentimentale durant l'été 2009. Dès l'automne de cette même année, X._ a commencé à se montrer physiquement violent à l'encontre de la prénommée.
A la fin du mois de février 2011, alors qu'ils se trouvaient sur la route entre B._ et C._, X._, pris de boisson, a reproché à A._ d'avoir échangé des messages téléphoniques avec une femme qui entretenait une relation intime avec lui. A un moment donné, il a insulté la prénommée et lui a asséné des coups de poing au visage qui lui ont provoqué un saignement de nez. Une fois arrivés au domicile de cette dernière, à C._, X._ l'a enjoint de se déshabiller, tout en lui déclarant qu'elle était une " pute de merde ", avant de lui infliger plusieurs coups de poing au visage, sur les épaules et sur le dos. Il l'a ensuite forcée à entretenir une relation sexuelle et un rapport anal. A._ s'est laissé faire par peur de subir de nouveaux coups. Elle a souffert de douleurs à la tête et au cou et s'est rendue à la Policlinique D._ le lendemain matin.
Le 19 avril 2013, X._ a attendu A._, qui lui avait annoncé son intention de rompre, devant son lieu de travail à B._. Lorsqu'elle a quitté le bâtiment, il lui a demandé de le rejoindre dans sa voiture, ce qu'elle a refusé. Il l'a alors traitée de " pute de merde ", " faux cul de merde ", ajoutant qu'il la tuerait s'il la revoyait à B._ ou à C._. Elle a été effrayée par ces menaces, craignant pour elle-même et pour son fils. Elle a déposé plainte le jour même.
Le 27 septembre 2013, à E._, X._, titulaire de l'entreprise F._, a employé le dénommé G._, ressortissant du Kosovo, alors que celui-ci ne disposait d'aucune autorisation pour travailler en Suisse. Le Service de l'emploi du canton de Vaud a dénoncé le cas en date du 12 novembre 2013.
C.
X._ forme un recours en matière pénale au Tribunal fédéral. Il conclut principalement à l'annulation du jugement de la Cour d'appel pénale du Tribunal cantonal vaudois du 26 avril 2016 et à son acquittement des chefs d'accusation dont il a été reconnu coupable, ainsi qu'au versement d'une indemnité de 18'149 fr. 30 et d'une juste indemnité à titre de dépens pour la procédure fédérale. Il conclut subsidiairement à l'annulation du jugement querellé et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
1.1.
Le Tribunal fédéral n'est pas une autorité d'appel devant laquelle les faits établis en dernière instance cantonale peuvent être librement rediscutés. Il est lié par les constatations de faits de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (art. 97 al. 1 et 105 al. 2 LTF), soit, pour l'essentiel, de façon arbitraire (art. 9 Cst.; <ref-ruling> consid. 6.3 p. 375; <ref-ruling> consid. 3.4 p. 53; <ref-ruling> consid. 2.3 p. 266). Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.; <ref-ruling> consid. 3.4 p. 53).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 6.3 p. 375; ATF <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 2.1). Si l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_1183/2016 du 24 août 2017 consid. 1.1; 6B_445/2016 du 5 juillet 2017 consid. 5.1). Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont la prohibition de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3.1 p. 253).
1.2. Le recours s'ouvre sur une présentation personnelle des faits, qui ne comporte aucune critique recevable au regard des <ref-law> et 106 al. 2 LTF. Il ne sera pas tenu compte de ces allégations.
1.3. Le recourant se plaint, de manière générale, s'agissant des infractions de contrainte sexuelle (<ref-law>), de viol (<ref-law>), d'injures (<ref-law>) et de menaces (<ref-law>) retenues à son encontre, d'une constatation incomplète et inexacte des faits et d'arbitraire dans l'appréciation des preuves qui aurait conduit la cour cantonale à juger crédible, à tort, la version des faits de l'intimée plutôt que la sienne. Cependant, il invoque pêle-mêle des critiques sans établir de lien avec les infractions retenues. Son argumentation se limite pour l'essentiel à prétendre que l'intimée sait mentir et a souvent menti, en exemplifiant son propos par divers extraits de procès-verbaux sortis de leur contexte ou retranscrits de façon partielle qui ne lui sont d'aucun secours. Croyant déceler des incohérences dans la version de l'intimée, le recourant cite notamment un rapport de l'hôpital H._ évoquant les événement du mois de février 2011, dont il ressort que l'intimée a été amenée à consulter la Permanence D._ le 19 février 2011. Le recourant prétend que ce rapport a été établi à 5h du matin, de sorte que les éléments de chronologie exposés par l'intimée au sujet des événements en cause s'en trouveraient mis à mal. En réalité, le rapport en question ne comporte aucune indication concernant l'heure à laquelle il a été rédigé, mais relate que l'intimée a indiqué avoir été agressée à 5h du matin, en cohérence avec les propos qu'elle a tenus en cours d'instruction. La fragilité censée affecter l'intimée, que le recourant tente de mettre en exergue, n'a pas pour effet de rendre insoutenable l'appréciation que la cour cantonale a portée sur sa crédibilité. Le recourant persiste à soutenir devant la cour de céans que l'intimée aurait déposé plainte par vengeance à la suite d'une rupture qu'elle n'aurait pas acceptée. La cour cantonale a retenu à bon droit que cette thèse n'était pas convaincante en soulignant qu'il ressortait du dossier que l'intimée avait exposé à une amie, entendue comme témoin, avoir elle-même souhaité mettre un terme à sa relation avec le recourant, ce que le recourant avait admis durant l'instruction. L'appréciation de la cour n'est donc nullement arbitraire sur ce point. Il en va de même du caractère violent imputé au recourant, qui l'a été, non sur la base de simples ouï-dires, comme il le prétend à tort, mais en raison de multiples éléments, dont des témoignages, un séjour de l'intimée au Centre d'accueil I._, où elle a été hébergée avec son fils, se plaignant de violences physiques, psychologiques et sexuelles, ou encore une condamnation pour agression. A cet égard, le fait que des témoins cités par l'intimée n'aient pas confirmé avoir constaté la présence d'hématomes sur cette dernière ne suffit pas à rendre insoutenable l'appréciation de la cour cantonale au sujet du caractère violent du recourant, vu les nombreux autres éléments sur lesquels elle s'est fondée. En définitive, le jugement querellé échappe à toute critique sur le plan de l'établissement des faits, la cour cantonale n'ayant nullement violé l'interdiction de l'arbitraire ou la présomption d'innocence. Le grief est manifestement mal fondé, dans la mesure où il est recevable.
2. En relation avec l'épisode du mois de février 2011, le recourant soutient que l'élément subjectif des infractions de contrainte sexuelle (<ref-law>) et de viol (<ref-law>) fait défaut.
2.1. Aux termes de l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire. A teneur de l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister, aura contraint une personne de sexe féminin à subir l'acte sexuel, sera puni d'une peine privative de liberté de un à dix ans.
2.1.1. Les infractions réprimant la contrainte sexuelle interdisent toute atteinte à la liberté sexuelle. Pour qu'il y ait contrainte en matière sexuelle, il faut que la victime ne soit pas consentante, que l'auteur le sache ou accepte cette éventualité et qu'il passe outre en profitant de la situation ou en utilisant un moyen efficace (<ref-ruling> consid. 2b p. 100; arrêt 6B_71/2015 du 19 novembre 2015 consid. 2.1.2). L'<ref-law>, tout comme l'<ref-law>, tendent à protéger la libre détermination en matière sexuelle, en réprimant l'usage de la contrainte aux fins d'amener une personne à faire ou à subir, sans son consentement, l'acte sexuel ou un autre acte d'ordre sexuel. Il s'agit de délits de violence, qui doivent être considérés principalement comme des actes d'agression physique (<ref-ruling> consid. 2.2 p. 109; <ref-ruling> consid. 2b p. 99, 106 consid. 3a/bb p. 110 s.; <ref-ruling> consid. 3b p. 158 s.).
2.1.2. Sur le plan subjectif, les art. 189 et 190 CP sanctionnent des infractions de nature intentionnelle, le dol éventuel étant suffisant dans les deux cas (6B_774/2014 du 22 mai 2015 consid. 3.3; TRECHSEL/BERTOSSA in TRESCHEL/PIETH, Schweizerisches Strafgesetzbuch, Praxiskommentar, 2 e éd. 2013, n° 12 ad <ref-law> et n° 6 ad <ref-law>). L'auteur doit savoir que la victime n'est pas consentante ou en accepter l'éventualité (arrêt 6B_774/2014 du 22 mai 2015 consid. 3.3). Déterminer ce qu'une personne a su, envisagé ou accepté relève de l'établissement des faits (<ref-ruling> consid. 2.3.2 p. 156). L'élément subjectif se déduit d'une analyse des circonstances permettant de tirer, sur la base des éléments extérieurs, des déductions sur les dispositions intérieures de l'auteur. S'agissant de la contrainte en matière sexuelle, l'élément subjectif sera réalisé lorsque la victime a donné des signes évidents et déchiffrables de son opposition, reconnaissables pour l'auteur - tels des pleurs, des demandes d'être laissée tranquille, le fait de se débattre, de refuser des tentatives d'amadouement ou d'essayer de fuir (arrêt 6B_774/2014 du 22 mai 2015 consid. 3.3). La nature, les circonstances et la durée des rapports joueront également un rôle pour déterminer si l'auteur pouvait accepter l'éventualité que la victime était consentante (ibid.).
2.2. En l'espèce, le recourant prétend que l'intimée n'aurait à aucun moment marqué son refus de manière intelligible et se serait limitée à rester passive. La cour cantonale a cependant retenu que le jour en question, alors qu'ils rentraient en voiture au domicile de l'intimée, le recourant l'a d'abord insultée, puis lui a infligé des coups de poing qui lui ont provoqué un saignement au nez. Alors qu'ils étaient arrivés au domicile de cette dernière, le recourant lui a demandé de se déshabiller, la traitant de " pute de merde ", avant de lui asséner encore plusieurs coups de poing au niveau des épaules et du dos. Il l'a ensuite forcée physiquement à se rasseoir, avant de lui signifier qu'il voulait une relation sexuelle. Lorsqu'elle lui a répondu qu'elle " ne voulait pas ", le recourant lui a dit de se taire, puis l'a forcée à entretenir une relation sexuelle et un rapport anal. La cour cantonale en a déduit sans arbitraire qu'il était faux d'affirmer, comme le faisait le recourant, que l'intimée aurait déclaré être d'accord d'entretenir des relations sexuelles avec lui. Les juges précédents ont encore retenu que l'intimée, après avoir exprimé son refus, s'était ensuite " laissée faire par peur se faire encore frapper ". Compte tenu de ces éléments, la cour cantonale pouvait admettre que le recourant avait conscience de l'absence de consentement de l'intimée et retenir sans violer le droit fédéral que ce dernier a agi intentionnellement. Le grief est lui aussi manifestement mal fondé.
3. Le recourant conteste sa condamnation pour injures (<ref-law>) et menaces (<ref-law>) en relation avec les événements du 19 avril 2013. Il soutient que la cour cantonale n'a pas motivé sa décision sur ce point et qu'elle a violé son droit d'être entendu.
Ce grief n'a toutefois aucune portée distincte par rapport au grief d'arbitraire et de violation de la présomption d'innocence examiné plus haut (cf. supra consid. 1.3). La cour cantonale a retenu la version des faits de l'intimée, jugée crédible sur la base d'une appréciation exempte d'arbitraire, y compris en ce qui concerne les événements du 19 avril 2013. Sur cette base, elle était fondée à retenir que le recourant l'avait traitée ce jour-là de " pute de merde ", de " faux cul de merde " et lui avait signifié qu'il la tuerait s'il la revoyait à B._ ou à C._. La cour cantonale était également fondée à tenir pour établi que l'intimée avait été effrayée par ces propos et qu'elle en avait nourri des craintes non seulement pour elle, mais aussi pour son fils. Le recourant persiste à vouloir opposer sa propre version des faits à celle retenue par l'autorité précédente et ne formule aucun grief spécifique en rapport avec les éléments constitutifs des art. 177 et 180 CP, qui sont réalisés. Au surplus, on ne discerne pas en quoi le jugement querellé serait insuffisamment motivé, au point de donner prise au grief de violation du droit d'être entendu que soulève le recourant. Également mal fondé, les griefs précités doivent être rejetés dans la faible mesure de leur recevabilité.
4. Le recourant conteste enfin sa condamnation pour infractions à l'art. 117 al. 1 LEtr. Sur ce plan, il rediscute librement les faits, qu'il critique de façon appellatoire, partant irrecevable (<ref-law>). Au demeurant, la cour cantonale a retenu à bon droit la nationalité kosovare de son employé G._, puisque cet élément ressort sans ambiguïté du dossier (pièce 20). Le recourant ne saurait prétendre de bonne foi qu'il a pris un titre de séjour italien pour un passeport de ce même pays, au point de croire que son employé en était ressortissant. Rien n'indique non plus que sa fiduciaire, qu'il dit avoir contacté, l'aurait induit en erreur s'agissant des autorisations nécessaires pour être à même d'employer le prénommé. Ces éléments suffisent à exclure l'erreur sur les faits (<ref-law>) et sur l'illicéité (<ref-law>) dont il se prévaut en vain, référence étant faite (<ref-law>), pour le surplus, à l'argumentation claire et convaincante développée par la cour cantonale sur ce point.
5.
Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 septembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens