Faits :
A.
C._ est propriétaire de la parcelle n° 86 du registre foncier de la Commune de Pont-la-Ville, sise en zone résidentielle à faible densité. En 2012, il a décidé de démolir le bâtiment existant sur son terrain afin de construire une nouvelle maison individuelle. Compte tenu de la grandeur de son projet, il a conclu, le 5 avril 2013, une convention de report d'indice avec le propriétaire du bien-fonds n° 82, situé à une trentaine de mètres en contrebas: une surface de 264,7 m 2 a été prélevée de la parcelle n° 82 et a été reportée sur le bien-fonds n° 86, en relation avec l'indice d'utilisation brute du sol. La même opération, pour une surface de 99,2 m 2, a été réalisée en relation avec l'indice d'occupation du sol.
Mis à l'enquête publique le 12 avril 2013 et à l'enquête complémentaire le 14 juin 2013, le projet a suscité notamment l'opposition de A.A._ et B.A._, copropriétaires d'une parcelle voisine. La Commune a préavisé favorablement le projet en accordant une dérogation à la distance à la haie protégée et une dérogation relative à la pente du toit. Par décision du 11 mars 2014, le Préfet du district de la Gruyère (ci-après: le Préfet) a accordé une autorisation de démolition du bâtiment existant. Par décision du 24 avril 2014, il a accordé le permis de construire requis, moyennant l'octroi d'une dérogation à la distance d'une haie protégée. Le même jour, il a levé l'opposition formée à ce projet par les époux A._.
Ceux-ci ont recouru contre les décisions du 24 avril 2014 auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Le 22 août 2014, celle-ci a procédé à une inspection locale en présence des parties. Par arrêt du 6 mars 2015, le Tribunal cantonal a admis le recours en tant qu'il contestait le respect de la distance de 4,50 m à la haie protégée et l'a rejeté pour le surplus. Il a annulé la décision attaquée et renvoyé la cause au Préfet pour nouvelle décision au sens des considérants après modification des plans. Il a réparti les frais de procédure dans une proportion de 4/5 à charge des époux A._ et de 1/5 à charge de C._. Il a utilisé la même répartition pour l'octroi des dépens.
Par arrêt du 29 avril 2015 (1C_224/2015), le Tribunal fédéral a déclaré irrecevable le recours interjeté par les époux A._ contre l'arrêt du 6 mars 2015, qualifié de décision incidente de renvoi non susceptible de causer un préjudice irréparable (<ref-law>).
Par décision du 25 août 2015, le Préfet a autorisé la démolition du bâtiment existant et la construction d'une maison individuelle sur la base de nouveaux plans, après avoir examiné que ceux-ci répondaient en tous points aux exigences du Tribunal cantonal relatives à la suppression des aménagements inclus dans le rayon inconstructible de 4,50 m entre la construction projetée et la haie protégée.
B.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent principalement au Tribunal fédéral de réformer la décision du 25 août 2015 ainsi que l'arrêt cantonal du 6 mars 2015 en ce sens que le permis de construire est refusé. Ils concluent subsidiairement à l'annulation de la décision du 25 août 2015 et de l'arrêt du 6 mars 2015 ainsi qu'au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Invités à se déterminer, le Tribunal cantonal et l'intimé concluent au rejet du recours alors que le Préfet et la Commune de Pont-la-Ville s'en remettent à justice. Les recourants ont répliqué par courrier du 6 janvier 2016.
Par ordonnance du 15 octobre 2015, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif formée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. En tant que propriétaires d'une parcelle contiguë à celle de l'intimé, les époux A._ sont particulièrement touchés par l'arrêt attaqué qui confirme l'octroi à leur voisin d'un permis de construire qu'ils tiennent pour non conforme aux règles de police des constructions et ont un intérêt digne de protection à son annulation. Ils ont pris part à la procédure de dernière instance cantonale, de sorte que leur qualité pour agir au sens de l'<ref-law> est donnée.
Les autres conditions de recevabilité du recours étant réunies, il y a lieu d'entrer en matière.
2.
Dans un premier grief, les recourants reprochent au Tribunal cantonal d'avoir retenu que la parcelle n° 85 est la seule parcelle contiguë à la parcelle n° 86, alors que sur quelques mètres, elle jouxte le bien-fonds n° 73. Ils se plaignent d'une appréciation arbitraire des faits (<ref-law>). Ce grief peut être rejeté dans la mesure où, vu les considérants suivants, il n'est pas susceptible d'avoir une influence sur l'issue du litige.
3.
Il n'est pas contesté que la construction litigieuse ne respecte pas l'indice d'occupation du sol: sa surface excède ce qui est autorisé par le règlement communal de 59,1 m 2, soit de 24,5 %. Le constructeur a donc signé une convention de report d'indice avec le propriétaire de la parcelle n° 82.
Les recourants font valoir une application arbitraire de l'art. 131 al. 1 de la loi du 2 décembre 2008 sur l'aménagement du territoire et les constructions (LATeC; RSF 710.1), sous différents aspects.
3.1. L'indice d'occupation du sol (IOS) est le rapport entre la surface déterminante d'une construction (la surface située à l'intérieur de la projection du pied de façade) et la surface de terrain déterminante (ch. 8.4 de l'annexe à l'accord intercantonal harmonisant la terminologie dans le domaine des constructions [AIHC; RSF 710.7]).
Un report de l'indice sur des terrains contigus ou à proximité affectés à une même zone peut s'effectuer moyennant l'inscription d'une mention au registre foncier qui ne peut être supprimée qu'avec l'accord du préfet, sur le préavis communal (art. 131 al. 1 LATeC).
A teneur de l'art. 148 al. 1 LATeC, des dérogations aux dispositions de la loi et du règlement d'exécution ou aux plans et à leur réglementation peuvent être accordées, à condition qu'elles soient justifiées par des circonstances particulières et qu'elles ne portent pas atteinte à des intérêts prépondérants publics ou privés.
3.2. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Par conséquent, si celle-ci ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation cantonale en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable. De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 18). Dans ce contexte, le recourant est soumis aux exigences accrues de motivation de l'<ref-law>.
Le Tribunal fédéral fait preuve de retenue lorsqu'il s'agit de tenir compte de circonstances locales dont les autorités cantonales ou communales ont une meilleure connaissance que lui (<ref-ruling> consid. 6.1 p. 181) ou encore lorsqu'il s'agit de déterminer si elles ont fait un usage correct du pouvoir d'appréciation qui leur est reconnu dans l'octroi d'une dérogation en matière de construction (<ref-ruling> consid. 7a p. 138; arrêt 1C_123/2010 du 25 mai 2010 consid. 3).
3.3. Les recourants reprochent d'abord au Tribunal cantonal d'avoir appliqué l'art. 131 al. 1 LATeC sans avoir procédé à l'examen des conditions d'octroi d'une dérogation au sens des art. 148 al. 1 LATeC et 23 LAT. Ils prétendent qu'une convention de report d'indice ne suffit pas en elle-même à autoriser la construction litigieuse, mais qu'une dérogation exceptionnelle doit être accordée selon l'art. 148 al. 1 LATeC, à savoir qu'elle doit être justifiée par des circonstances particulières et qu'elle ne porte pas atteinte à des intérêts prépondérants publics ou privés.
Ce raisonnement ne peut être suivi, dans la mesure où la possibilité de report d'indice est prévue par la loi et ne peut pas par conséquent être qualifiée de dérogation au sens de l'art. 148 LATeC, qui vise précisément les cas qui ne sont pas prévus par "la loi et le règlement d'exécution ou par les plans et leur réglementation". L'art. 131 al. 1 LATeC ne peut pas être considéré comme une dérogation au sens de l'art. 148 al. 1 LATeC. Le mécanisme du report d'indice par le biais d'une convention, lorsqu'il est prévu par la loi, n'implique pas l'octroi d'une dérogation exceptionnelle (dans ce sens, voir Denis Piotet, Le transfert du coefficient d'utilisation ou d'occupation du sol et le droit privé fédéral, in DC 2000, p. 40).
Ainsi le Tribunal cantonal n'a pas violé le droit fédéral en n'examinant pas si les conditions d'une dérogation au sens de l'art. 148 LATeC étaient remplies. Pour les mêmes motifs, le grief de violation du droit d'être entendu (art. 29 Cst.) dont se prévalent sommairement les recourants à cet égard doit aussi être écarté, ce d'autant plus que dans leur recours cantonal ils n'avaient pas soutenu qu'un report d'indice nécessitait une dérogation.
3.4. Les recourants relèvent ensuite que le Tribunal cantonal a admis le report d'indice alors que les deux parcelles concernées sont distantes d'environ 30 m et sont séparées par deux parcelles. Ils se plaignent d'une application arbitraire de l'art. 131 al. 1 LATeC.
3.4.1. Selon le message du Conseil d'Etat au Grand Conseil accompagnant le projet de LATeC du 20 novembre 2007, "le système permet le report de [l'IOS], pour autant qu'[il soit prévu] dans la réglementation communale (...). Ce système plus adapté à des situations particulières, offre une grande flexibilité aux propriétaires. La jurisprudence exige que les reports d'indice ne puissent se faire qu'entre des terrains affectés à la même zone et pour des terrains contigus. La disposition va volontairement un pas plus loin, en ce sens qu'elle permettrait des reports entre des terrains à proximité l'un de l'autre (p. ex. s'ils sont séparés par une route) ".
3.4.2. Dans un premier temps, le Tribunal cantonal a exposé, de façon fouillée et amplement motivée, la manière d'interpréter l'expression "terrains à proximité" figurant à l'art. 131 al. 1 LATeC in abstracto. Se fondant sur le message du Conseil d'Etat précité, il s'est notamment demandé si l'idée n'était pas de permettre un transfert d'indice en sautant précisément les seules parcelles contiguës (car sinon dans l'écrasante majorité des hypothèses, il était inutile de distinguer entre terrains contigus et terrains à proximité); au vu de cette interprétation littérale du texte, l'ordre de grandeur admissible serait plutôt celui d'une profondeur de parcelle au moins; la position extrêmement restrictive défendue par les recourants qui admettaient un éloignement d'une dizaine de mètres au maximum n'était pas adaptée à la réalité des grandeurs usuelles des parcelles; elle revenait à vider de sa substance la règle de l'art. 131 al. 1 LATeC et, en définitive, à limiter les transferts d'indice entre terrains non contigus au seul cas particulier du passage de route; cela n'était pas le sens de la norme et une telle limitation ne ressortait pas des travaux législatifs.
La cour cantonale a aussi retenu que compte tenu du but des transferts d'indice - tel que visé par la loi et la jurisprudence -, qui était de permettre un usage plus judicieux de la zone à bâtir sans entrave excessive due à la grandeur effective des parcelles, une marge d'appréciation importante devait être reconnue à l'autorité d'exécution, de manière à lui permettre de tenir compte du genre de zone concernée ainsi que de sa grandeur, de son équipement et de sa configuration topographique.
Dans un second temps, l'instance précédente a estimé in concreto que la configuration des lieux (la parcelle n° 82 se trouvant dans la pente en contrebas à environ 30 m) permettait de considérer que les parcelles n° 82 et 86 étaient encore "à proximité" au sens de l'art. 131 LATeC: si la distance supposait de "sauter" les deux parcelles (n° 85 et n° 84), le fait que le bien-fonds n° 84 n'était concerné que par quelques mètres sur sa pointe sud permettait de relativiser l'éloignement qui, malgré tout, correspondait plus ou moins à une profondeur usuelle de parcelle. S'y ajoutait le fait que le transfert d'indice litigieux n'allait pas déséquilibrer la zone résidentielle en question: outre le fait que l'importance de ce transfert restait dans une mesure encore acceptable (augmentation de 25 % de l'indice autorisé), le fonds bénéficiaire était entouré sur trois côtés par la zone agricole, ce qui assurait un dégagement suffisant à la construction. L'instance précédente a enfin pris en compte le fait que les deux parcelles étaient situées dans la même zone, dans un secteur largement bâti.
3.4.3. Face à ce raisonnement, les recourants présentent leurs interprétations téléologique, systématique, littérale et comparative de l'art. 131 al. 1 LATeC. Ils exposent d'abord leur interprétation historique restrictive, selon laquelle le report d'indice n'est possible qu'entre deux parcelles uniquement séparées par une surface telle qu'un chemin ou un petit cours d'eau, guère plus. L'interprétation privilégiée par les recourants, qui ne ressort pas explicitement du Message mais repose sur leur propre appréciation ne parvient pas à rendre celle du Tribunal cantonal indéfendable, ce d'autant moins qu'il n'est pas contesté que la volonté du législateur fribourgeois était d'élargir les possibilités du report d'indice et non de les restreindre. L'arrêt du Tribunal administratif du canton de Zoug que les recourants citent n'est pas non plus pertinent, puisque la législation zougoise ne prévoit de report d'indice qu'entre des parcelles contiguës.
Les recourants défendent aussi une interprétation téléologique de laquelle il ressort que le but poursuivi par le report d'indice s'opposerait aux buts poursuivis par les indices eux-mêmes. Cette argumentation ne suffit toutefois pas à rendre arbitraire le raisonnement du Tribunal cantonal dans la mesure où les recourants perdent de vue que les reports d'indice ne doivent pas être examinés au niveau de chaque parcelle mais à l'échelle de la zone ou du quartier concerné (cf. arrêt 1C_389/2013 du 25 mars 2014 consid. 4.1).
Les recourants se lancent ensuite dans une interprétation de la validité de la convention de report d'indice selon le droit privé (notamment l'<ref-law>). Ils estiment que ladite convention n'est pas valable "puisqu'en raison de l'opposition des voisins le transport de la surface déterminante d'une parcelle à l'autre semble impossible". Leur analyse - pour autant qu'on la comprenne - ne parvient cependant pas à démontrer que la cour cantonale aurait procédé à une interprétation manifestement contraire au sens et au but de l'art. 131 al. 1 LATeC, puisque cette disposition ne prévoit pas que les propriétaires voisins non-parties au transfert d'indice doivent donner leur accord. Or par la convention signée le 5 avril 2013 le propriétaire du fonds cédant a clairement renoncé à bâtir sur la surface équivalente correspondant à la partie cédée de son IOS, créant ainsi une surface non bâtie équivalente située à quelques mètres de la parcelle du propriétaire du fonds cessionnaire.
Les intéressés exposent encore une "interprétation globale au vu de la jurisprudence et de la doctrine" ainsi qu'une interprétation comparative. Là encore, ils ne parviennent pas à démontrer que la cour cantonale a analysé de façon insoutenable l'art. 131 al. 1 LATeC. En effet, peu importe que d'autres lois cantonales soient plus strictes et exigent un report d'indice uniquement entre terrains contigus; à cet égard l'arrêt du Tribunal fédéral 1C_351/2012 du 12 février 2013 - cité par les recourants - n'est d'aucune utilité puisqu'il se fonde sur d'autres dispositions cantonales, tandis que le législateur fribourgeois a précisément voulu s'écarter du principe absolu de la contiguïté. Il en va de même de l'arrêt du Tribunal cantonal de Zurich auquel se réfèrent les recourants, dans la mesure où la législation cantonale - au contraire de la loi fribourgeoise - laissait une marge de manoeuvre aux autorités communales.
Enfin, s'agissant de la seconde partie du raisonnement du Tribunal cantonal (soit de l'analyse in concreto du report d'indice), les recourants ne contestent pas que le transfert d'indice litigieux ne va pas déséquilibrer la zone résidentielle en question. Ils se contentent d'insister sur leur absence de consentement. Ils ne convainquent pas non plus dans la mesure où le droit fribourgeois ne prévoit pas la nécessité d'un accord des propriétaires voisins non-parties à la convention de report pour qu'un report d'indice puisse être opéré. Ils critiquent encore l'arrêt cantonal en ce que le report d'indice permet de dépasser de 24,5 % l'IOS. Si la limite de 25 % n'est pas mentionnée par le droit fribourgeois, le Tribunal cantonal pouvait, sans tomber dans l'arbitraire, choisir un taux qui lui paraissait acceptable en se référant à la jurisprudence. Il n'a pas fait preuve d'arbitraire en ne prenant pas en compte les dispositions plus restrictives de certains cantons. Mal fondé, le grief doit être écarté.
3.5. En définitive, avec la retenue que s'impose le Tribunal fédéral dans cet examen, il y a lieu de constater que l'instance précédente n'a pas appliqué arbitrairement l'art. 131 al. 1 LATeC, en validant le transfert d'indice s'agissant de l'IOS entre deux parcelles distantes de 30 m, dans la configuration particulière des lieux.
Les recourants font encore valoir sommairement, dans ce cadre, une violation de la garantie de la propriété (art. 26 Cst.). Fût-il suffisamment motivé et recevable, ce grief serait rejeté dans la mesure où les recourants n'exposent pas en quoi l'autorisation d'un report d'indice entre deux parcelles voisines de la leur porterait atteinte à leur garantie de la propriété.
4.
Les recourants estiment enfin qu'ils ont obtenu entièrement gain de cause devant le Tribunal cantonal. Ils reprochent à celui-ci d'avoir mis à leur charge le 4/5 des frais judiciaires et d'avoir appliqué la même répartition s'agissant de l'indemnité de partie. Ils expliquent que le Tribunal cantonal, sans l'indiquer de manière explicite, a opéré une répartition au prorata du nombre de griefs admis (un seul grief sur cinq a été admis). Ils font valoir une application arbitraire des art. 131 al. 1 et 138 al. 2 du code de procédure et de juridiction administrative du 23 mai 1991 (CPJA; RSF 150.1).
En droit fribourgeois, l'art. 131 al. 1 CPJA prévoit qu'en cas de recours ou d'action, la partie qui succombe supporte les frais de procédure. Si elle n'est que partiellement déboutée, les frais sont réduits en proportion. Lorsqu'une partie n'obtient que partiellement gain de cause, l'indemnité est réduite en proportion (art. 138 al. 2 CPJA).
En l'espèce, l'arrêt cantonal a admis partiellement le recours sur la question de la distance à la haie protégée et a renvoyé la cause au Préfet pour nouvelle décision sur ce point; il a en revanche confirmé la décision préfectorale sur les dérogations accordées, sur l'interprétation de l'art. 131 LATeC et sur les questions procédurales. A la suite de cette décision de renvoi, le Préfet a délivré le permis de construire, le 25 août 2015, après avoir examiné uniquement si les plans modifiés répondaient aux exigences posées par l'arrêt cantonal sur la question de la distance à la haie protégée. Les recourants n'avaient ainsi pas obtenu gain de cause sur tous leurs griefs, mais seulement sur le grief lié à la distance à la haie protégée. Dans ces circonstances, même si une autre solution aurait été envisageable, l'autorité précédente n'a pas appliqué arbitrairement les art. 131 al. 1 et 138 al. 2 CPJA, en répartissant les frais judiciaires et les dépens comme elle l'a fait.
5.
Les considérants qui précèdent conduisent au rejet du recours.
Les recourants, qui succombent, supportent les frais judiciaires (art. 65 et 66 LTF). Ils verseront en outre une indemnité de dépens à l'intimé qui obtient gain de cause avec l'aide d'un mandataire professionnel (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimé une indemnité de 3'000 francs à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties, à la Commune de Pont-la-Ville, au Tribunal cantonal de l'Etat de Fribourg, IIe Cour administrative, et à la Préfecture de la Gruyère.
Lausanne, le 8 avril 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Tornay Schaller