Faits :
A.
Par jugement du 29 avril 2015, le Tribunal de police de l'arrondissement de Lausanne a reconnu X._ coupable de calomnie (art. 174 CP), injure (art. 177 CP), contrainte (art. 180 CP) et insoumission à une décision de l'autorité (art. 292 CP), l'a condamné à une peine privative de liberté de 10 mois ainsi qu'à une amende de 1800 fr., a suspendu l'exécution de la peine privative de liberté et fixé à X._ un délai d'épreuve de 5 ans, et a subordonné le sursis à la condition qu'il s'abstienne de tout contact, quelle qu'en soit la forme, à l'égard de A._, de sa famille, de ses proches et de ses collègues de travail. Il l'a également condamné au paiement d'une indemnité pour tort moral de 1000 fr. et au versement d'un montant de 458 fr. 70 à titre de dommages et intérêts ainsi qu'au paiement des frais de justice et d'une indemnité pour les dépens.
B.
Statuant sur appel de X._, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a rejeté, confirmé le jugement du Tribunal de police et statué sur les frais et dépens.
Sur le fond, la Cour d'appel a retenu que X._, né au Rwanda en 1965, au bénéfice d'une formation en ingénierie hydraulique, a ensuite suivi une formation post grade à l'école polytechnique fédérale de Lausanne. Depuis 2001, X._ oeuvre en qualité de responsable informatique de la section de physique de B._ et s'occupe de l'achat de matériel informatique et de dépannage des utilisateurs.
Au cours de l'instruction, le prévenu a été soumis à une expertise psychiatrique qui indique que l'intéressé présente des aspects paranoïaques dans son fonctionnement psychique marqués par une rigidité du fonctionnement psychique ainsi qu'une très importante difficulté à se remettre en question. Cela ne constitue toutefois pas un trouble psychiatrique ayant une influence majeure sur son comportement général et, si les faits dont il est accusé devaient être avérés, l'expert conclut à la responsabilité pleine et entière avec un risque de récidive non négligeable.
Durant l'année 2011, X._ a importuné à plusieurs reprises et de diverses façons A._ ou ses proches. Ainsi, entre janvier 2011 et septembre 2011, il a souvent téléphoné à A._ en tenant des propos amoureux, cherchant à obtenir un rendez-vous, expliquant que son intrusion dans sa vie et celle de ses proches se justifiait par l'amour qu'il lui portait et insinuant qu'ils seraient amenés à se revoir qu'elle le veuille ou non. A la fin de l'année, X._ a intensifié ses téléphones, utilisant plusieurs portables ou des cabines téléphoniques; il l'appelait plusieurs fois par jour à toute heure du jour et de la nuit lui reprochant son arrogance et sa vie privée. Il lui a également indiqué à cette occasion qu'il avait plus de 250 pages de notes la concernant. A._ a finalement débranché sa ligne téléphonique. Toujours durant l'année 2011, X._ a envoyé à A._ une trentaine de textos désagréables, jusqu'à ce qu'elle change de numéro de portable, ainsi que neuf courriels depuis trois adresses électroniques fictives différentes après que la jeune femme eut bloqué son adresse principale.
Toujours durant l'année 2011, X._ a importuné les proches de A._. Il a ainsi adressé à la mère et au père de celle-ci des lettres dénigrantes et calomnieuses. Il a téléphoné au père de A._ lui tenant des propos infamants au sujet de sa fille. X._ a également pris contact à plusieurs reprises avec des amis de A._, notamment avec C._ avec laquelle il a parlé de façon dénigrante de A._ et avec D._ à qui il a envoyé vingt-cinq textos insultants et calomnieux sur la jeune femme. Il a également parlé avec E._ de A._ de façon particulièrement médisante.
X._ a fini par déposer dans la boîte aux lettres de A._ un courrier avec des propos inquiétants. Par la suite il l'a arrêtée dans la rue pour lui déclarer qu'elle méritait d'être défigurée. Le 17 novembre 2011, il l'a également interpellée en lui indiquant qu'il était déterminé à atteindre ses objectifs. Il a tenu des propos semblables à plusieurs reprises notamment en novembre et décembre 2011.
Durant l'année 2012, X._ a continué à harceler A._ et ses proches. Ainsi, durant le mois de janvier 2012, il a appelé A._ sur son lieu de travail presque quotidiennement, parfois plusieurs fois par jour. Entre février 2012 et février 2013, il a effectué de nombreux appels anonymes au domicile de A._ ainsi qu'au domicile de ses parents, à toute heure du jour et de la nuit. Ceux-ci ont reçu 135 appels anonymes entre mai et septembre 2012. Il a procédé de même auprès de C._ qui a relevé 45 appels entre le 15 juillet 2012 et le 23 septembre 2012. A la même période, le prévenu a effectué de nombreux appels téléphoniques anonymes sur les téléphones fixes et mobiles de F._, un ami de A._. Entre janvier 2012 et février 2013, il a, à plusieurs reprises, sonné et frappé à la porte de la jeune femme et essayé d'ouvrir la porte en appuyant sur la poignée.
Ce faisant, il a enfreint l'interdiction qui lui avait été faite le 29 février 2012 par la présidente du Tribunal civil de Lausanne, sous commination de l'art. 292 CP et selon convention valant ordonnance de mesures provisionnelles et jugement au fond, de ne plus s'approcher de la plaignante sa vie durant ni de prendre contact avec elle, sa famille, ses amis ou ses collègues de quelque manière que ce soit.
Durant l'année 2013, X._ a persisté dans son comportement, importunant même les collègues de travail de A._. Entre juillet et septembre 2013, il a effectué de nombreux appels téléphoniques anonymes sur le numéro fixe des parents de la jeune femme. Entre décembre 2013 et janvier 2014, il a intensifié ses appels allant jusqu'à 82 appels téléphoniques anonymes depuis différentes cabines à toute heure du jour et de la nuit sur le numéro fixe des parents de A._ à G._ où elle séjournait. Durant cette même période, il a circulé très lentement en voiture devant le domicile des parents de A._.
En 2011, X._ avait emménagé dans le même quartier que A._ et, jusqu'en 2013, il l'a continuellement épiée, se postant très régulièrement autour de son immeuble ou près de son lieu de travail. Il a également suivi en voiture le père de A._ ainsi que F._. En avril 2014, il a sonné avec insistance au nouveau domicile de A._ durant la nuit alors qu'il se trouvait en bas de son immeuble.
A._ a déposé plainte pénale le 15 janvier 2012, le 8 janvier 2014 ainsi qu'un complément de plainte le 19 avril 2014.
C.
X._ recourt en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut à l'admission de son recours, à l'annulation de l'arrêt rendu par la Cour d'appel pénale du Tribunal cantonal vaudois et principalement à la constatation que X._ ne s'est rendu coupable d'aucune infraction à l'encontre de A._ et au prononcé d'un non-lieu en sa faveur. Subsidiairement, il conclut au renvoi du dossier à l'autorité inférieure pour complément d'instruction, le tout avec suite de frais et dépens.
Il n'a pas été ordonné d'échanges d'écritures.

Considérant en droit :
1.
Le recourant se plaint de la violation de son droit d'être entendu. Il reproche à la cour cantonale d'avoir rejeté sa requête tendant à l'audition de deux témoins qui auraient pu l'éclairer sur la nature de sa relation avec l'intimée.
1.1. Selon l'art. 389 al. 1 CPP, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'art. 389 al. 3 CPP règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'art. 139 al. 2 CPP, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêt 6B_977/2014 du 17 août 2015 consid. 1.2 et les références). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236 s.; <ref-ruling> consid. 3 p. 157 et les arrêts cités).
1.2. En l'espèce, la cour cantonale a renoncé à entendre H._ et I._ au motif que la réquisition était tardive et que leur audition n'était ni pertinente ni nécessaire. Elle a considéré, au vu de l'ensemble des preuves administrées, que les déclarations de l'intimée, qui nie avoir entretenu une relation amoureuse avec le recourant, étaient parfaitement crédibles.
Le recourant conteste cette interprétation et fait valoir que les témoins précités auraient été à même de prouver la nature amoureuse de sa relation avec l'intimée. Il ne démontre toutefois pas en quoi l'appréciation précitée des juges cantonaux serait entachée d'arbitraire, ce qui n'est manifestement pas le cas. En particulier, comme l'a souligné la cour cantonale, l'ensemble des témoignages et des preuves versés au dossier indique que l'intimée était victime d'un harcèlement persistant du recourant et qu'elle devait le fuir continuellement. Les parents de l'intimée et ses amis confirment avoir également été harcelés par le recourant qui a même provoqué un scandale à la sortie d'un restaurant. Tous les témoins confirment aussi les propos discourtois du recourant à l'égard de l'intimée, propos que reconnaît le recourant lui-même. Par ailleurs, l'intimée a toujours nié avoir entretenu une relation sexuelle avec lui et, comme l'avait souligné l'autorité de première instance, rien au dossier ne permettait de mettre en doute cette affirmation. Ce n'est qu'à réception du jugement de première instance que le recourant a tenté, en instance d'appel, d'apporter une telle preuve. La cour cantonale pouvait, sans arbitraire, au vu des preuves administrées et concordantes, arriver à la conclusion que l'audition des témoins n'était ni nécessaire ni pertinente pour juger du harcèlement exercé sur l'intimée. Cette appréciation échappe à la critique et le recourant invoque donc en vain son droit d'être entendu.
2.
Le recourant invoque une constatation arbitraire des faits ainsi que la violation du principe de la présomption d'innocence.
2.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur la notion d'arbitraire : <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379 s.). Pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.). Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_76/2015 du 17 août 2015 consid. 1.1).
La présomption d'innocence, garantie par les art. 6 § 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe in dubio pro reo, concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe in dubio pro reo, celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le grief d'arbitraire doit être invoqué et motivé de manière précise (art. 106 al. 2 LTF). Le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3 p. 352; <ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266).
2.2. Dans un premier argument, le recourant tente de minimiser son attitude en soulignant que l'envoi de 37 messages durant 10 mois de l'année 2011 n'est pas constitutif d'un harcèlement. Ainsi exposé, le grief est irrecevable car il est purement appellatoire. Le recourant ne conteste pas le nombre de messages ni n'indique en quoi la qualification juridique de contrainte ne serait pas réalisée.
Dans un deuxième argument, le recourant tente vainement de soutenir que la condition posée pour le retrait de plainte lors de la séance du 29 février 2012 a été observée et que, par conséquent, le retrait est effectif. Une fois de plus, dans une critique purement appellatoire, le recourant n'indique pas en quoi la cour cantonale aurait arbitrairement admis que la plainte n'avait pas été retirée. Au contraire, il ressort de l'instruction que lors de la séance au Tribunal civil, l'intimée n'a pas retiré sa plainte; elle a d'ailleurs formulé un complément de plainte ultérieurement. En outre, le 15 mars 2012, des pourparlers transactionnels étaient en cours, ce qui démontre que ni le recourant ni l'intimée ne considérait que la plainte avait été retirée. Au demeurant, comme l'a souligné la cour cantonale, l'infraction de contrainte se poursuit d'office.
Le recourant indique également que le témoignage de J._ aurait été construit a posteriori parce qu'il contient une incohérence temporelle puisque le témoin indique avoir parlé avec le recourant au printemps 2012, alors qu'il apparaît comme témoin déjà dans la requête de mesures provisionnelles du 10 février 2012. Or, J._ a déclaré lors de son audition en 2012 qu'il avait constaté la présence régulière du recourant en bas de l'immeuble depuis plus de deux ans. C'est pour confirmer ce fait qu'il a été cité comme témoin dans la requête de mesures provisionnelles. La cour cantonale pouvait donc sans violer le droit d'être entendu du recourant ne pas se prononcer sur ce point qui est sans pertinence. Il en va de même des témoignages de K._, de la réceptionniste-téléphoniste de l'employeur de l'intimée ou de L._. Les imprécisions ou les contradictions que le recourant relève sont sans importance au regard de l'ensemble des éléments convergents résultant de l'instruction et qui démontrent le harcèlement dont a été victime l'intimée. En effet, l'appréciation des preuves doit être examinée dans son ensemble. La solution retenue par la cour cantonale peut être déduite de manière soutenable du rapprochement de plusieurs éléments ou indices résultant de l'instruction.
Enfin, comme l'a expliqué de manière convaincante la cour cantonale, le recourant ne peut être suivi lorsqu'il prétend que la localisation de son téléphone portable permet de le disculper et que l'intimée aurait été importunée par un tiers. Cette dernière n'a jamais été importunée par une autre personne que le recourant. Il se contente d'opposer sa propre version des faits à celle de la cour cantonale sans indiquer en quoi l'argumentation de cette dernière serait arbitraire et absolument inadmissible. Il se borne à plaider à nouveau sa cause, à contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel. En particulier, l'absence de photographie attestant de la présence du recourant au bas de l'immeuble de l'intimée alors que ce fait a été confirmé par témoignage est une simple critique appellatoire et par conséquent irrecevable.
Ainsi, le recours, mal fondé, doit être rejeté dans la mesure où il est recevable.
3.
Vu l'issue de la procédure, les frais de la cause doivent être mis à la charge du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires arrêtés à 2'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy