Faits :
A.
Par jugement du 23 juillet 2014, le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois (ci-après: le tribunal de police) a libéré X._ du chef de prévention d'abus de la détresse, l'a condamné pour actes d'ordre sexuel avec des enfants et contrainte sexuelle à une peine privative de liberté de 8 mois, avec sursis pendant 4 ans, a ordonné un traitement ambulatoire, au titre de règle de conduite durant le délai d'épreuve, auprès d'un organisme public italien agréé par l'Office d'exécution des peines vaudois, a dit qu'il était le débiteur de A._ et de B._, solidairement entre eux, du montant de 9'711 fr. 90 à titre de dépens pénaux, TVA comprise, et a mis les frais de procédure à sa charge.
B.
Le 19 février 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel de X._ et admis celui formé par le Ministère public de l'arrondissement du Nord vaudois (ci-après: le ministère public) en ce sens qu'elle a supprimé le sursis à l'exécution de la peine accordé par le tribunal de police, respectivement supprimé la règle de conduite ordonnée.
En bref, il en ressort les faits suivants.
A cinq ou six reprises en janvier 2011, lors de visites effectuées par A._ au domicile de X._, avec qui elle entretenait une relation amoureuse, ce dernier a profité que celle-là ait le dos tourné ou ne l'observe pas pour se livrer à des attouchements sur sa fille, C._, née en 1999. Lors de la commission de ces actes, X._ était installé dans le canapé du salon et regardait la télévision. Il plaçait alors sa main sur l'entrejambe de la fillette, en dessous de la ceinture, et la massait à cet endroit par-dessus les habits. Il lui est également arrivé de la toucher au niveau de la poitrine par-dessus les habits. Contrariée par cette attitude, C._ bougeait pour lui faire comprendre qu'il devait arrêter.
Le 31 janvier 2011, dans les bains du Centre thermal de D._, X._ a massé les fesses de C._ par-dessus son maillot, tout en lui demandant « tu veux que je te touche? ». La fillette a aussitôt répondu par la négative et s'est éloignée.
Pour parvenir à ses fins, X._ profitait du conflit de loyauté dans lequel était placée C._, laquelle craignait de voir ses révélations mettre un terme à la relation heureuse que connaissait sa mère avec lui. Il l'avait au demeurant sérieusement mise en garde en disant qu' « il arrêterait tout » si elle s'ouvrait à quelqu'un.
X._ a été soumis à une expertise psychiatrique. Dans son rapport du 13 février 2013, l'expert a, en substance, relevé que X._ présentait des troubles mixtes de la personnalité à traits narcissiques et paranoïaques et que le risque de récidive ne pouvait être exclu et, s'il devait être déclaré coupable, que ce risque serait faible à modéré.
Le 19 septembre 2003, X._ a été condamné par le Tribunal correctionnel du district de Neuchâtel pour actes d'ordre sexuel avec un enfant et actes d'ordre sexuel avec des personnes dépendantes à une peine d'emprisonnement de 18 mois avec sursis durant 3 ans, sous déduction de 3 jours de détention préventive.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 19 février 2015, concluant principalement à son acquittement, à ce que les frais soient laissés à la charge de l'Etat et à ce qu'il ne soit pas reconnu le débiteur de A._ et B._ du montant de 9'711 fr. 90. Subsidiairement, il requiert la modification du jugement en ce sens qu'il est condamné à une peine privative de liberté de 8 mois avec sursis.
La cour cantonale a renoncé à se déterminer sur le recours, se référant aux considérants de sa décision. Le ministère public a conclu au rejet du recours. A la suite de ces écritures, X._ a déposé des observations, qui ont été transmises aux autorités précitées pour information.

Considérant en droit :
1.
Le recourant soutient que la cour cantonale aurait fait une mauvaise application de l'art. 187 ch. 1 al. 1 CP. Il lui reproche également d'avoir arbitrairement apprécié les preuves et établi les faits, violant ainsi le principe in dubio pro reo.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (art. 105 al. 1 LTF). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire : <ref-ruling> consid. 6.1 p. 205 s.; <ref-ruling> consid. 6.1 p. 379 s.). Le recourant doit ainsi exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3 p. 352; <ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445 et les références citées). Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; art. 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 87 s.). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (art. 106 al. 2 LTF), suppose une argumentation claire, détaillée (<ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 1.4 p. 287) et circonstanciée (<ref-ruling> consid. 3 p. 104 s.).
1.2. La cour cantonale a estimé que les actes retenus à l'encontre du recourant avaient clairement une connotation sexuelle. Il s'agissait de caresses à caractère sexuel non équivoques sur les organes génitaux, les seins ou les fesses de C._. Née en 1999, celle-ci était donc une enfant. Les conditions d'application de l'art. 187 CP étaient ainsi remplies. En outre, A._ avait affirmé que généralement, elle s'asseyait dans le fauteuil à gauche du canapé et que la télévision était dans l'angle de la pièce, sur sa gauche, de sorte que lorsqu'elle la regardait, elle ne voyait pas ce qui se passait sur le canapé. La cour cantonale en a conclu que les explications du recourant à ce sujet - consistant à dire que les attouchements sur le canapé ne seraient pas plausibles compte tenu de la présence de la mère au moment des faits et que l'épisode dans les bains thermaux n'aurait eu aucune connotation sexuelle - étaient inconsistantes et que ses griefs devaient être rejetés.
1.3. En tant que le recourant affirme, par différents moyens, que les circonstances dans lesquelles il se trouvait ne permettaient pas la commission des infractions qui lui sont reprochées, il ne tente pas de démontrer une violation de l'art. 187 ch. 1 al. 1 CP, mais il s'en prend en réalité à des constatations de fait.
Il fait valoir, s'agissant des épisodes qui se sont déroulés au salon, que les circonstances évoquées par la cour cantonale seraient invraisemblables. Les faits se seraient produits au salon, en présence de tous les membres de la famille reconstituée, notamment de la mère dont on ne pourrait penser que, même si elle était assise dans un fauteuil à gauche du canapé, elle ne se serait pas rendue compte des actes prétendument commis par le recourant. La cour cantonale et les premiers juges ne se seraient même pas posé la question de l'invraisemblance de la situation. Il y aurait un doute sérieux sur la commission des actes. Ce faisant, le recourant, qui répète son argumentation d'appel, ne fait qu'opposer sa propre appréciation des faits et des preuves à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire. En outre, il se prévaut d'éléments qui n'ont pas été retenus ou jugés décisifs par l'autorité précédente, sans exposer l'arbitraire dans leur omission ou appréciation. Son grief est irrecevable. Pour le surplus, la cour cantonale pouvait, sans arbitraire, considérer qu'au vu de la disposition du fauteuil placé sur la gauche du canapé, A._ ne pouvait voir ce qui se passait lorsqu'elle regardait l'écran de télévision situé sur sa gauche.
Le recourant soutient, s'agissant de l'évènement survenu au Centre thermal de D._, qu'il « ne faut jamais avoir plongé dans un bain à remous pour prétendre que des actes à caractère sexuel ont été commis alors que, à cet endroit, la préoccupation principale des baigneurs est de rester debout sans perdre l'équilibre ». Ce faisant, le recourant n'expose pas dans quelle mesure l'appréciation de la cour cantonale serait arbitraire et son grief, insuffisamment motivé, est irrecevable. Au demeurant, on ne discerne pas en quoi le fait d'être dans un bain thermal aurait empêché le recourant de masser les fesses de la victime, en particulier en quoi chercher à rester debout sur ses pieds l'aurait empêché d'utiliser ses mains, si tant est qu'un bain à remous ait une influence sur l'équilibre. A tout le moins, n'était-il pas arbitraire de retenir que des attouchements pouvaient avoir eu lieu dans des bains thermaux.
1.4. Dans la mesure où le recourant conteste sa condamnation pour actes d'ordre sexuel avec des enfants sur la base des faits qu'il invoque librement, il ne discute pas de la motivation cantonale quant à la réalisation de l'infraction. Il n'articule de la sorte aucun grief recevable tiré de l'application erronée du droit matériel.
2.
Le recourant nie s'être rendu coupable de contrainte sexuelle à l'encontre de C._ au motif que l'élément de contrainte ne serait pas réalisé.
2.1. Le crime de contrainte sexuelle réprimé par l'art. 189 CP (comme celui de viol sanctionné par l'art. 190 CP) est une infraction de violence, qui suppose, en règle générale, une agression physique. En introduisant la notion de « pressions psychiques », le législateur a voulu viser également les cas où la victime se trouve dans une situation sans espoir, sans pour autant que l'auteur ait recouru à la force physique ou à la violence (<ref-ruling> consid. 2.2 p. 109). Il peut ainsi suffire que pour d'autres raisons la victime se soit trouvée dans une situation telle que sa soumission est compréhensible eu égard aux circonstances. Pour déterminer si on se trouve en présence d'une contrainte sexuelle, il faut procéder à une appréciation globale des circonstances concrètes déterminantes (<ref-ruling> consid. 2.2 p. 109). Compte tenu du caractère de délit de violence que revêt la contrainte sexuelle, la pression psychique générée par l'auteur doit, pour être pertinente, atteindre une intensité particulière (<ref-ruling> consid. 3.1 p. 170 s. et les références citées; arrêt 6B_1149/2014 du 16 juillet 2015 consid. 5.1.3). L'infériorité cognitive ainsi que la dépendance émotionnelle et sociale peuvent, particulièrement chez les enfants et les adolescents, induire une énorme pression qui les rend incapables de s'opposer à des atteintes de nature sexuelle. Toutefois, pour que la contrainte soit réalisée, il faut au moins que les circonstances concrètes rendent la soumission compréhensible. L'exploitation d'un lien de dépendance ou d'amitié ne suffit à elle seule en général pas à générer une pression psychique suffisante au regard de l'art. 189 al. 1 CP (cf. <ref-ruling> consid. 2.2 p. 109 et les références citées). On peut attendre d'adultes en pleine possession de leurs facultés une résistance supérieure à celle que des enfants sont en mesure d'opposer (<ref-ruling> consid. 3.1 p. 171 et les références citées; arrêt 6B_1149/2014 précité consid. 5.1.3).
2.2. Il ressort des constatations de la cour cantonale que C._ n'a pas réagi dans un premier temps en raison des pressions imposées par le recourant. Elle craignait, en parlant, de nuire à sa mère en mettant fin à la relation entre celle-ci et le recourant. Ce dernier lui avait par ailleurs dit que si elle parlait, « il arrêterait tout », ce qui était de nature à lui faire comprendre qu'il mettrait fin à cette relation. Or, C._, qui voyait notamment sa mère heureuse, était attachée à maintenir dite relation. Cette pression psychique l'avait ainsi placée dans un conflit de loyauté. La menace de « tout arrêter » n'avait pas seulement réduit l'enfant au silence, mais avait également permis la continuation des actes. De cette manière, le recourant avait entravé l'enfant dans sa capacité de résistance. Compte tenu de l'âge de la victime, la cour cantonale a retenu que ce moyen de pression avait atteint une intensité suffisante pour être qualifié de contrainte.
2.3. Selon le recourant, les mots « je vais tout arrêter » ne constitueraient pas une menace.
C._ n'avait pas 12 ans au moment des faits. Le recourant, quant à lui, était alors âgé de 63 ans. Il a exploité la dépendance émotionnelle de la prénommée, qui craignait de faire du tort à sa mère, qu'elle voyait heureuse dans sa relation. Il a d'ailleurs expressément exercé ce chantage émotionnel en lui intimant de garder le silence, faute de quoi « il arrêterait tout », ce qui a empêché l'enfant de parler et ce qui lui a permis de continuer les actes litigieux.
Ainsi, au regard de l'âge de la fillette au moment des faits, de l'injonction du recourant et enfin du conflit de loyauté dans lequel elle s'est trouvée à l'égard de sa mère, la juridiction précédente n'a pas violé le droit fédéral en retenant que le recourant avait usé de contrainte. Le grief de violation de l'art. 189 CP est ainsi mal fondé.
3.
Le recourant reproche à l'autorité cantonale de ne pas l'avoir mis au bénéfice du sursis.
3.1. Aux termes de l'art. 42 al. 1 CP, le juge suspend en règle générale l'exécution d'une peine privative de liberté de six mois au moins et de deux ans au plus lorsqu'une peine ferme ne paraît pas nécessaire pour détourner l'auteur d'autres crimes ou délits.
Pour l'octroi du sursis, le juge doit poser un pronostic quant au comportement futur de l'auteur. En l'absence de pronostic défavorable, il doit prononcer le sursis. Celui-ci est ainsi la règle dont le juge ne peut s'écarter qu'en présence d'un pronostic défavorable ou hautement incertain. Il prime en cas d'incertitude (<ref-ruling> consid. 2.1 p. 186; cf. également <ref-ruling> consid. 4.2.2 p. 5). Pour émettre ce pronostic, le juge doit se livrer à une appréciation d'ensemble, tenant compte des circonstances de l'infraction, des antécédents de l'auteur, de sa réputation et de sa situation personnelle au moment du jugement, notamment de l'état d'esprit qu'il manifeste. Le pronostic doit être posé sur la base de tous les éléments propres à éclairer l'ensemble du caractère du prévenu et ses chances d'amendement (<ref-ruling> consid. 2.1 p. 185 s. et les références citées). I l n'est pas admissible d'accorder un poids particulier à certains critères et d'en négliger d'autres qui sont pertinents. Le juge dispose d'un large pouvoir d'appréciation en la matière (<ref-ruling> consid. 5.2. p. 9).
3.2. L'inscription des jugements qui prononcent une peine privative de liberté avec sursis doit être éliminée d'office du casier judiciaire après dix ans (art. 369 al. 3 CP). Ce délai court du jour où le jugement est exécutoire (art. 369 al. 6 let. a CP). Aux termes de l'art. 369 al. 7 CP, l'inscription ne doit pas pouvoir être reconstituée après son élimination; le jugement éliminé ne peut plus être opposé à la personne concernée. Cela signifie qu'il ne peut plus avoir de conséquences juridiques (<ref-ruling> consid. 2.3 p. 91). Il ressort ainsi du texte de l'art. 369 al. 7 CP que l'inopposabilité est un effet de l'élimination de l'inscription, c'est-à-dire d'un acte de l'autorité administrative chargée de la tenue du casier judiciaire, et non un effet direct de l'écoulement du temps (arrêt 6B_53/2010 du 22 avril 2010 consid. 1.1; en ce sens: Message du 21 septembre 1998 concernant la modification du code pénal suisse et du code pénal militaire ainsi qu'une loi fédérale régissant la condition pénale des mineurs, FF 1999 1975 s. ch. 236.5). Pour vérifier qu'un jugement ne soit pas inopposable à un prévenu, il est donc nécessaire de disposer d'un extrait du casier judiciaire (arrêt 6B_53/2010 précité consid. 1.1).
3.3. La cour cantonale a relevé que le recourant était retourné vivre en Italie peu avant le jugement de première instance, ce qui permettait difficilement d'imposer un traitement ambulatoire et d'en contrôler le suivi. En outre, le recourant avait déjà été condamné pour des faits similaires. Il n'avait cessé de nier les faits qui lui étaient reprochés cherchant même parfois à rejeter la faute sur sa victime. Par le passé, il avait consulté un psychiatre mais avait vite interrompu le suivi. Au vu de ces éléments et de l'attitude du recourant, la cour cantonale a considéré que les chances de succès d'un traitement ambulatoire étaient faibles et que le risque de récidive était élevé. Considérant que le pronostic pour l'avenir était défavorable, elle a supprimé le sursis octroyé, respectivement la règle de conduite instaurée par le tribunal de première instance.
3.4. Le recourant fait valoir que sa précédente condamnation remonterait à plus de 12 ans et qu'il ne se justifierait pas de refuser le sursis après une aussi longue période.
En l'espèce, le jugement attaqué retient que le recourant a été condamné le 19 septembre 2003 pour actes d'ordre sexuel avec un enfant et actes d'ordre sexuel avec des personnes dépendantes à une peine d'emprisonnement de 18 mois avec sursis durant 3 ans. Le jugement de la cour cantonale ayant été rendu le 19 février 2015, la question de savoir si la condamnation du 19 septembre 2003 était opposable au recourant (cf. supra consid. 3.2) lors de l'examen du pronostic relatif au refus du sursis se pose avec acuité. Or, la cour cantonale ne fournit aucune indication à ce propos - en particulier au sujet de la date d'entrée en force du jugement rendu le 19 septembre 2003 - et le dossier ne contient pas d'extrait du casier judiciaire du recourant. Le Tribunal fédéral n'est dès lors pas en mesure de vérifier si cette condamnation a été introduite dans l'état de fait en violation de l'art. 369 al. 7 CP, ni le cas échéant de corriger les constatations de l'autorité cantonale en application de l'art. 105 al. 2 LTF. Il incombe dès lors à la cour cantonale, qui dispose d'un plein pouvoir d'examen en fait et en droit (cf. art. 398 al. 2 CPP), d'instruire sur cette question et, si l'inscription dont il s'agit a été éliminée antérieurement à son jugement rendu le 19 février 2015, d'en tirer les conséquences juridiques quant au réexamen du sursis.
3.5. Ce qui précède rend sans objets les autres griefs soulevés par le recourant.
4.
Le recours doit être partiellement admis, le jugement attaqué annulé en ce qui concerne le sursis et la cause renvoyée à la cour cantonale pour qu'elle statue à nouveau sur cette question. Il doit être rejeté pour le surplus dans la mesure où il est recevable.
Le recourant succombant sur plusieurs aspects déterminants, il doit supporter une partie des frais judiciaires (art. 66 al. 1 LTF). Il a droit à des dépens réduits, à la charge du canton de Vaud (art. 68 al. 1 LTF). Dès lors que le point sur lequel le recours est admis concerne la peine, seuls le ministère public et la cour cantonale ont été invités à s'exprimer, les intimés n'ayant pas d'intérêt à pouvoir se déterminer à cet égard. Ils n'ont pas le droit à des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis, le jugement attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision. Il est rejeté pour le surplus dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le canton de Vaud versera au recourant le montant de 1'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 novembre 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel