Faits :
A.
Par jugement du 21 novembre 2014, le Tribunal de police de l'arrondissement de Lausanne a libéré X._ de la prévention de désagréments causés par la confrontation à un acte d'ordre sexuel en raison de la prescription et de la prévention de contrainte sexuelle. Il l'a reconnu coupable d'injure, de menaces et d'utilisation abusive d'une installation de télécommunication. Il l'a condamné à une peine pécuniaire de 120 jours-amende à 50 fr. le jour, avec sursis partiel, soit 60 jours-amende à titre ferme et 60 jours-amende avec sursis pendant trois ans.
B.
Par jugement du 28 mai 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a partiellement admis l'appel de X._ et l'appel joint de A._. Partant, elle a confirmé la libération de la prévention de désagréments causés par la confrontation à un acte d'ordre sexuel en raison de la prescription, a libéré X._ de la prévention de menaces et l'a reconnu coupable de contrainte sexuelle, d'injure et d'utilisation abusive d'une installation de télécommunication. Elle a condamné X._ à une peine pécuniaire de 240 jours-amende à 50 fr. le jour, avec sursis partiel, soit 120 jours-amende à titre ferme et 120 jours-amende avec sursis pendant trois ans. Elle l'a aussi condamné à payer à A._ une indemnité pour tort moral de 2'500 francs. Elle a mis les frais de première instance à la charge de X._ et a réparti les frais d'appel à raison de quatre cinquièmes à la charge de X._ et d'un cinquième à celle de A._.
L'autorité précédente a retenu les faits suivants.
En mai 2010, à G._, au chemin B._, dans les locaux de l'entreprise C._ Sàrl, X._ a, de force et à deux reprises, amené A._ contre son gré au sol. A une des deux reprises, il a mis sa main à même le sexe de A._, a tenté de l'embrasser et de lui toucher la poitrine. De septembre 2011 à mars 2012, X._ a harcelé A._ en lui envoyant environ une dizaine de SMS par jour. Le 8 mars 2012, X._ a traité A._ de « grosse pute », « grosse merde » et « connasse » dans l'établissement « D._ » à Lausanne.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 28 mai 2015. Il conclut, avec suite de frais et dépens, principalement à sa libération de tous les chefs d'accusation retenus contre lui. Partant, il demande à être libéré de toute peine et du paiement de l'indemnité pour tort moral. Subsidiairement, il conclut au renvoi de la cause à la juridiction d'appel pour nouvelle décision au sens des considérants.

Considérant en droit :
1.
Le recourant considère que ce serait sans preuve que l'autorité précédente aurait retenu qu'il avait envoyé une dizaine de SMS par jour à l'intimée durant la période de septembre 2011 à mars 2012. Il demande à être mis au bénéfice du doute et que soit uniquement admis l'envoi de trois à cinq SMS par jour durant un mois après leur rupture, soit de septembre à octobre 2011. De ce fait, la plainte de l'intimée déposée le 9 mars 2012 serait tardive (cf. <ref-law>).
1.1. Lors de son audition par la police le 22 avril 2012, l'intimée a déclaré que, depuis septembre 2011, elle n'arrêtait pas d'être harcelée par SMS et qu'elle en avait encore reçu le matin de l'audition. Elle a estimé en avoir reçu plus de dix par jour environ. Entendu le 18 juin 2012, le recourant a reconnu avoir écrit des SMS. Il a affirmé ne plus en avoir écrit en avril 2012.
Il ressort de ces déclarations que le recourant a reconnu avoir envoyé des SMS au moins jusqu'en mars 2012. Il s'est borné à contester le nombre d'envois journaliers. Estimant que dix par jour c'était un peu beaucoup, il a déclaré en avoir peut-être écrit cinq.
Dans ces conditions, l'autorité précédente pouvait, sans arbitraire, retenir que le recourant avait envoyé à l'intimée environ une dizaine de SMS par jour de septembre 2011 à mars 2012. Son appréciation des preuves, qui privilégie la version de l'intimée, n'a rien d'insoutenable.
1.2. L'utilisation abusive d'une installation de communication (art. 179 septies CP) est un délit punissable sur plainte. L'<ref-law> fixe le délai de plainte à trois mois.
En présence d'une activité coupable exercée à plusieurs reprises, le point de départ du délai de plainte, à l'instar de ce qui prévaut pour la prescription, court dès le jour du dernier acte (<ref-law>).
En l'espèce, l'autorité précédente ayant admis l'envoi de SMS en tout cas jusqu'en mars 2012, le délai de trois mois pour porter plainte n'était pas échu lors du dépôt de la plainte le 9 mars 2012.
2.
Le recourant reproche à l'autorité précédente d'avoir admis que les éléments constitutifs de l'utilisation abusive d'une installation de télécommunication (art. 179 septies CP) étaient donnés. Il considère qu'un amoureux éconduit, qui envoie trois à cinq SMS par jour pour communiquer son amour et son souhait de reconquérir l'être aimé, n'agirait pas abusivement. De plus, il fait valoir qu'il n'aurait pas eu l'intention d'importuner l'intimée par ses SMS mais qu'il aurait voulu lui dire son amour et la reconquérir.
2.1. L'art. 179 septies CP prévoit que celui qui, par méchanceté ou par espièglerie, aura utilisé abusivement une installation de télécommunication pour inquiéter un tiers ou pour l'importuner sera, sur plainte, puni d'une amende.
Cette disposition protège le droit personnel de la victime à ne pas être importunée par certains actes commis au moyen d'une installation de télécommunication (cf. <ref-ruling> consid. 5b p. 137). Selon la jurisprudence (cf. <ref-ruling> consid. 2b/aa p. 219 s.), les téléphones inquiétants et importuns doivent atteindre une certaine gravité minimale sur le plan quantitatif et/ou qualificatif, pour constituer une atteinte à la sphère personnelle de la victime punissable pénalement au sens de l'art. 179 septies CP. En cas d'atteintes légères ou moyennes à la sphère personnelle causées par l'usage du téléphone, la limite de la punissabilité exige une certaine quantité d'actes. La question du nombre d'appels nécessaire pour admettre une utilisation abusive d'une installation de communication, dépend des circonstances du cas d'espèce et ne peut pas être déterminée de façon abstraite. Il y a méchanceté lorsque l'auteur commet l'acte répréhensible parce que le dommage ou les désagréments qu'il cause à autrui lui procurent de la satisfaction. Quant à l'espièglerie, elle signifie agir un peu follement, par bravade ou sans scrupule, dans le but de satisfaire un caprice momentané (<ref-ruling> consid. 5b p. 137).
2.2. En l'espèce, sur la base des faits admis par l'autorité précédente et dont le recourant n'a pas établi qu'ils avaient été retenus arbitrairement, il faut considérer que l'envoi d'environ dix SMS par jour sur une période de sept mois est quantitativement suffisant pour importuner la personne visée et constituer une utilisation abusive d'une installation de télécommunication.
Concernant l'aspect subjectif, qui nécessite que l'auteur ait agi intentionnellement par méchanceté ou espièglerie, le recourant a, selon ses propres déclarations, utilisé ces SMS pour déclarer son amour à l'intimée et pour essayer de la reconquérir. Si durant la période qui a immédiatement suivi la rupture, le recourant pouvait encore penser que l'intimée reviendrait sur sa décision, ultérieurement, son action incessante, malgré la volonté affichée de l'intimée de ne pas renouer la relation, s'apparente au « stalking » (<ref-ruling> consid. 3.2.2 p. 441 s.; <ref-ruling> consid. 2.3 p. 265 s.) avec les conséquences néfastes qu'il peut avoir sur le psychisme de la victime. Dans de telles conditions, il y a à tout le moins lieu de retenir, comme l'a fait l'autorité précédente, une volonté d'agir par espièglerie.
Le recours doit donc être rejeté sur ce point.
3.
Le recourant requiert d'être exempté de toute peine en application de l'<ref-law>.
3.1. L'<ref-law> stipule que celui qui, de toute autre manière, aura, par la parole, l'écriture, l'image, le geste ou par des voies de fait, attaqué autrui dans son honneur sera, sur plainte, puni d'une peine pécuniaire de 90 jours-amende au plus (al. 1). Si l'injurié a riposté immédiatement par une injure ou par des voies de fait, le juge pourra exempter de toute peine les deux délinquants ou l'un d'eux (al. 3).
3.2. L'autorité précédente a admis que le recourant avait injurié l'intimée. Elle n'a cependant pas considéré que les injures proférées à l'encontre de celle-ci constituaient une réponse aux injures dont il avait lui-même été victime. Elle a considéré qu'il était entièrement responsable de la dispute en raison de son attitude harcelante et humiliante face à l'intimée durant des mois. Ainsi, elle a refusé de faire application de l'<ref-law>.
3.3. Le recourant conteste cette appréciation. Il estime qu'il serait établi qu'il y aurait eu une altercation entre lui et l'intimée, que des injures auraient été échangées entre les protagonistes et qu'il n'aurait fait que de riposter. De plus, il considère que les reproches qui lui auraient été faits par l'intimée au début de la dispute seraient injustifiés. Selon le recourant, l'intimée lui aurait reproché le fait de la suivre, elle et son nouvel ami. Or, l'instruction n'aurait pas permis de retenir ces faits à sa charge. Il estime donc ne pas avoir provoqué l'altercation.
3.4. Dans sa plainte du 9 mars 2012, l'intimée a précisé qu'en arrivant au « D._ », elle avait vu le recourant et qu'elle avait voulu obtenir de lui des réponses concernant les raisons qu'il avait de « foutre » sa vie en l'air. Pour sa part, le recourant s'est borné à dire que l'intimée était arrivée et qu'elle avait commencé à l'insulter. E._, entendu comme témoin, a déclaré qu'il n'était pas là « lorsqu'il y a eu le problème ». Il a toutefois entendu des insultes sans se souvenir du message que l'intimée voulait faire passer. Il lui a toutefois semblé avoir compris que le recourant suivait l'intimée et son nouvel ami.
Ces faits se sont déroulés le 8 mars 2012, soit après que l'intimée a fait parvenir au recourant la lettre recommandée du 13 février 2012 dans laquelle elle lui reprochait un harcèlement téléphonique et lui demandait de cesser tout contact avec elle. Cette lettre était restée sans effet, le recourant ayant continué de lui envoyer des messages (procès-verbal d'audition du recourant du 18 juin 2012). De plus, le lendemain, soit le 9 mars 2012, l'intimée a déposé sa plainte pénale.
Dans ces circonstances, l'autorité précédente pouvait, sans violer le droit fédéral, admettre que l'intimée avait abordé le recourant alors qu'elle était très énervée par ces agissements et que ceux-ci étaient à l'origine de la dispute. De ce fait, les injures du recourant ne constituaient pas une riposte immédiate à d'autres injures.
Le recours doit donc également être rejeté sur ce point.
4.
Le recourant conteste sa condamnation pour contrainte sexuelle.
4.1. Selon l'<ref-law>, celui qui, notamment en usant de menace ou de violence envers une personne, en exerçant sur elle des pressions d'ordre psychique ou en la mettant hors d'état de résister l'aura contrainte à subir un acte analogue à l'acte sexuel ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire.
4.2. L'autorité précédente a retenu l'acte de contrainte sexuelle sur la base des déclarations de l'intimée, dont elle a considéré qu'elles n'avaient pas varié durant l'instruction, qu'elles étaient précises quant au geste du recourant et crédibles en raison du fait que celui-ci était désireux depuis longtemps d'entretenir une relation, notamment sexuelle, avec l'intimée. Pour sa part, le recourant avait minimisé ses agissements sans vraiment les contester. Il avait même implicitement reconnu les faits avant de les contester.
4.3. Le recourant affirme que sa version des faits n'aurait pas varié et qu'elle serait confirmée par les déclarations de E._ et de la soeur de l'intimée, F._, tous deux entendus comme témoins. De plus, il conteste que la version de l'intimée n'aurait pas varié.
4.4. Dans sa plainte du 9 mars 2012, l'intimée a relaté les faits comme suit : « Une semaine à peine après le début de mon emploi, il [le recourant] m'a, à deux reprises, ceci contre mon gré, amenée au sol avec force et m'a touchée avec ses mains et tenté de m'embrasser sur la bouche. Je précise qu'au moment des faits, j'étais en robe et que, de fait, il a pu me toucher à même la peau ceci sur les seins et sur mon entrejambe. J'ai exprimé mon mécontentement en le repoussant vivement. Ce qui ne l'a pas empêché de recommencer par la suite quelques jours après ». Entendue par la police, l'intimée a précisé : « Une fois au sol, il [le recourant] est venu sur moi, il a essayé de m'embrasser. Il m'a tenu les bras. En fait, j'étais couchée sur le dos et il me tenait mes deux poignets qui étaient à la hauteur de mon visage avec ses mains. Il était à califourchon sur moi et j'avais son poids posé sur moi. Je ne pouvais pas bouger. Toutefois, j'essayais de me débattre [...] Vu que je bougeais beaucoup, il n'est pas arrivé à m'embrasser. Toutefois, il a mis une de ses mains sur mes parties intimes à même la peau. Il a touché uniquement cet endroit et cela n'a pas duré longtemps [...] La 2ème fois, cela s'est passé plus ou moins la même chose [...] la chaise pour me mettre au sol, se mettre à califourchon sur moi et me maintenir mes deux poignets. Par contre, il a essayé de me toucher la poitrine et une partie de mon corps et tenté de m'embrasser. Il n'est pas arrivé, car je me débattais ».
Après qu'il a été donné lecture des déclarations de l'intimée concernant le premier événement, le recourant a déclaré : « C'est vrai ce qu'elle a expliqué. Par contre, je n'avais pas mis de force ». Puis, après une remarque de son avocat, le recourant a contesté le deuxième événement en précisant : « La première fois, d'accord. Je reconnais. Je ne veux pas ramasser tout. La deuxième fois, on a baisé. On était ensemble » (procès-verbal d'audition du recourant du 18 juin 2012). Réentendu les 18 décembre 2012 et 16 mai 2013, le recourant n'a pas souhaité apporter de modifications à ses déclarations antérieures.
Lors de son audition du 3 avril 2014 par le procureur, le recourant a minimisé les faits, parlé de jeux et contesté les attouchements.
E._ a confirmé avoir vu des scènes où l'intimée se trouvait sur un fauteuil et que le recourant la faisait descendre. Il a précisé qu'ils en rigolaient. F._ a déclaré qu'elle n'avait pas eu de confidences de la part de sa soeur sur d'éventuelles menaces ou contraintes sexuelles. Lors des événements où elle a pu constater que le recourant enlaçait fortement sa soeur, celle-ci lui disait d'arrêter car elle avait mal et cela tournait à la rigolade. Elle a précisé que cela se passait à son domicile.
Compte tenu de tous ces éléments, l'autorité précédente pouvait retenir, sans arbitraire, que le recourant avait, de force et à deux reprises, amené l'intimée au sol, qu'à une des deux reprises il avait mis la main à même son sexe, qu'il avait tenté de l'embrasser et de lui toucher la poitrine. En effet, l'intimée a, lors de son audition par la police, complété les faits mentionnés dans sa plainte en donnant des explications précises sur les dates et le déroulement des actes reprochés au recourant. Les deux déclarations sont pour l'essentiel concordantes. S'agissant d'apprécier la version du recourant, il faut constater qu'il a d'abord admis les faits relatés par l'intimée concernant le premier événement puis qu'il a contesté le second en prétendant qu'il s'était déroulé alors que les protagonistes entretenaient déjà une liaison. Après avoir confirmé à deux reprises ses déclarations, le recourant a minimisé les faits lors de son audition par le procureur. La nouvelle version du recourant est intervenue après qu'il a pu réaliser la gravité des faits qui lui étaient reprochés ou après qu'il a été rendu attentif à leur gravité. S'agissant des témoignages invoqués par le recourant à l'appui de sa version, il y a lieu de relever qu'ils ne se rapportent pas aux faits qui lui sont reprochés. En effet, F._ a évoqué des faits qui s'étaient déroulés dans son appartement alors que les deux événements auxquels a fait allusion l'intimée s'étaient passés dans le bureau de C._ Sàrl. Quant aux déclarations du témoin E._, elles concernent des événements desquels les protagonistes rigolaient. Or, le recourant a admis que, la première fois, l'intimée n'était pas consentante et qu'il était allé trop loin, ce qui exclut qu'un éventuel témoin ait pu prendre la scène pour une rigolade. On peut aussi douter que le recourant ait commis les actes reprochés en présence d'un témoin sachant que l'intimée n'était pas consentante.
Pour le surplus, le recourant ne conteste pas que les éléments constitutifs de la contrainte sexuelle soient donnés.
Le recours doit donc être rejeté.
5.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 6 juin 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel