Faits : A. C._ est propriétaire de la parcelle n° 86 du registre foncier de la Commune de Pont-la-Ville, sise en zone résidentielle à faible densité. En 2012, il a décidé de démolir le bâtiment existant sur son terrain afin de construire une nouvelle maison individuelle. Compte tenu de la grandeur de son projet, il a conclu, le 5 avril 2013, une convention de report d'indice avec le propriétaire du bien-fonds n° 82, situé à une trentaine de mètres en contrebas: une surface de 264,7 m 2 a été prélevée de la parcelle n° 82 et a été reportée sur le bien-fonds n° 86, en relation avec l'indice d'utilisation brute du sol. La même opération, pour une surface de 99,2 m 2, a été réalisée en relation avec l'indice d'occupation du sol. Mis à l'enquête publique le 12 avril 2013 et à l'enquête complémentaire le 14 juin 2013, le projet a suscité notamment l'opposition de A.A._ et B.A._, copropriétaires d'une parcelle voisine. La Commune a préavisé favorablement le projet en accordant une dérogation à la distance à la haie protégée et une dérogation relative à la pente du toit. Par décision du 11 mars 2014, le Préfet du district de la Gruyère (ci-après: le Préfet) a accordé une autorisation de démolition du bâtiment existant. Par décision du 24 avril 2014, il a accordé le permis de construire requis, moyennant l'octroi d'une dérogation à la distance d'une haie protégée. Le même jour, il a levé l'opposition formée à ce projet par les époux A._. Ceux-ci ont recouru contre les décisions du 24 avril 2014 auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Le 22 août 2014, celle-ci a procédé à une inspection locale en présence des parties. Par arrêt du 6 mars 2015, le Tribunal cantonal a admis le recours en tant qu'il contestait le respect de la distance de 4,50 m à la haie protégée et l'a rejeté pour le surplus. Il a annulé la décision attaquée et renvoyé la cause au Préfet pour nouvelle décision au sens des considérants après modification des plans. Il a réparti les frais de procédure dans une proportion de 4/5 à charge des époux A._ et de 1/5 à charge de C._. Il a utilisé la même répartition pour l'octroi des dépens. Par arrêt du 29 avril 2015 (1C_224/2015), le Tribunal fédéral a déclaré irrecevable le recours interjeté par les époux A._ contre l'arrêt du 6 mars 2015, qualifié de décision incidente de renvoi non susceptible de causer un préjudice irréparable (art. 93 al. 1 LTF). Par décision du 25 août 2015, le Préfet a autorisé la démolition du bâtiment existant et la construction d'une maison individuelle sur la base de nouveaux plans, après avoir examiné que ceux-ci répondaient en tous points aux exigences du Tribunal cantonal relatives à la suppression des aménagements inclus dans le rayon inconstructible de 4,50 m entre la construction projetée et la haie protégée. B. Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent principalement au Tribunal fédéral de réformer la décision du 25 août 2015 ainsi que l'arrêt cantonal du 6 mars 2015 en ce sens que le permis de construire est refusé. Ils concluent subsidiairement à l'annulation de la décision du 25 août 2015 et de l'arrêt du 6 mars 2015 ainsi qu'au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Invités à se déterminer, le Tribunal cantonal et l'intimé concluent au rejet du recours alors que le Préfet et la Commune de Pont-la-Ville s'en remettent à justice. Les recourants ont répliqué par courrier du 6 janvier 2016. Par ordonnance du 15 octobre 2015, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif formée par les recourants.