Faits:
A. La commune d'Avry a déposé, le 19 mai 2009, une demande de permis de construire (implantation et agrandissement) un sentier public, avec aménagement sommaire, reliant l'impasse des Agges à l'impasse du Bois, sur les parcelles 33, 428, 510, 547, 82, 78 et 916 du registre foncier. Auparavant, en 2003 et 2009, la commune avait conclu un contrat de servitude avec chacun des propriétaires de ces bien-fonds en vue de l'aménagement d'un sentier et s'était réservé le droit de le réaménager ainsi que de l'asphalter. Les travaux envisagés consistent, après réglage de la surface du chemin existant, dans la pose d'un revêtement bitumeux de 60 mm d'épaisseur. La largeur du revêtement projeté est de 2.50 m pour la partie carrossable et de 1.50 m pour le sentier piétonnier. Aucune modification significative des niveaux du chemin ou de son implantation n'est prévue. L'objectif visé est d'offrir un sentier convenable aux piétons, en particulier aux écoliers.
B. L'hoirie A._ est propriétaire des terrains 221 et 224 attenants aux parcelles 33, 428, 510, 547, 82 et 78, par lesquelles passe le chemin existant et sur lesquelles elle a un droit de passage depuis 2003 en faveur de ses fonds. Le sentier public projeté par la commune suivrait en partie ce chemin. Le 11 juin 2008, l'hoirie A._ a assisté à la présentation du projet in situ. A cette occasion, 4 points d'axe et 3 points limites ont été piquetés par un géomètre officiel. Une séance de conciliation, à laquelle des représentants de ladite hoirie ont participé, a en outre été diligentée par la commune d'Avry le 6 mai 2009.
L'hoirie A._ s'est opposée à l'octroi du permis de construire le sentier public, considérant que le projet était inutile, qu'il ne garantissait pas la sécurité des piétons et qu'il était en conflit avec les droits de passage dont elle bénéficie. Dans sa prise de position, la commune a avancé que le projet ne portait pas atteinte aux droits de l'opposante, mais améliorait au contraire sa situation. Le service cantonal archéologique, le service des ponts et chaussées ainsi que le service des constructions et de l'aménagement ont rendu un préavis favorable.
Le 12 mai 2010, le Préfet du district de la Sarine (ci-après: le Préfet) a reconnu que le projet litigieux était d'utilité publique, rejeté l'opposition de l'hoirie A._ et accordé l'autorisation de construire sollicitée.
Par arrêt du 8 février 2012, la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par l'hoirie A._ et confirmé la décision du 12 mai 2010 de la Préfecture de la Sarine. Les juges cantonaux ont considéré pour l'essentiel qu'il s'agissait d'un projet de peu d'importance, ne requérant qu'un simple aménagement sommaire. Par ailleurs, la réalisation de l'ouvrage correspondait à un intérêt public pertinent et prépondérant et aucun obstacle ne s'opposait au permis de construire sous l'angle du droit public de la construction.
C. Agissant par la voie du recours en matière de droit public, l'hoirie A._ et ses membres demandent au Tribunal fédéral d'annuler ou déclarer nul l'arrêt du Tribunal cantonal du 8 février 2012 et de retourner le dossier à "l'autorité cantonale" pour qu'elle annule le permis de construire ou suspende la procédure jusqu'à droit connu. Les recourants concluent également à ce que "l'autorité cantonale prononce une nouvelle expertise voire une nouvelle procédure de permis de construire" et "constate la non utilité publique du projet communal et la non [conformité] au droit applicable".
Le Tribunal cantonal renvoie aux considérants de son arrêt et conclut au rejet du recours. Le Préfet s'en remet à dire de justice. La commune d'Avry n'a pas d'observation complémentaire ni d'élément nouveau à formuler.
Le 6 juin 2012, les recourants modifient les conclusions de leur recours. Ils demandent à ce qu'il soit pris acte que leur recours du 22 mai 2012 est devenu sans objet, le permis de construire litigieux étant périmé. Le 15 juin 2012, les recourants informent le Tribunal fédéral que la commune d'Avry a mis à l'enquête publique la réactualisation du permis de construire pour le sentier et l'aménagement sommaire de l'impasse des Agges. La commune et la Préfecture se sont exprimées sur cette écriture. Les recourants ont encore déposé des observations les 13 juillet et 6 septembre 2012.

Considérant en droit:
1. La décision attaquée a été rendue, en dernière instance cantonale, dans une cause de droit public au sens de l'<ref-law>, sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est ouverte (art. 82 à 89 LTF).
En tant que propriétaires voisins bénéficiaires d'une servitude de passage sur les bien-fonds qu'emprunterait le sentier public litigieux, les recourants ont manifestement qualité pour recourir au sens de l'<ref-law>: ils ont pris part à la procédure devant la cour cantonale, sont particulièrement atteints par la décision attaquée et ont un intérêt digne de protection à sa modification ou à son annulation.
2. L'autorisation de construire litigieuse, délivrée le 12 mai 2010, prévoit que les travaux doivent être entrepris dans les deux ans qui suivent la délivrance du permis (entré en force) sous peine de déchéance. En l'occurrence, le permis n'est pas encore entré en force, puisque les recourants ont interjeté un recours à son encontre auprès du Tribunal cantonal, puis du Tribunal fédéral. Le fait que les recours successifs n'aient pas été assortis de l'effet suspensif n'y change rien. Il apparaît dès lors que le délai de deux ans n'a pas commencé à courir et que l'autorisation de construire n'est pas caduque, contrairement à ce que soutiennent les recourants. Leur conclusion tendant à constater que le recours est devenu sans objet, le permis de construire litigieux étant périmé, doit par conséquent être écartée. Il importe par ailleurs peu à cet égard que, par précaution et pour éviter un nouveau report de l'exécution des travaux, la commune d'Avry ait décidé de mettre à l'enquête publique une demande de réactualisation du permis contesté. Cela n'influe en effet pas sur la validité de l'autorisation délivrée le 12 mai 2010.
3. A titre de moyens de preuve, les recourants sollicitent l'édition du dossier de la cause, une inspection locale ainsi qu'une expertise.
La requête tendant à l'édition du dossier cantonal est satisfaite, le Tribunal cantonal et le Préfet ayant déposé leur dossier dans le délai que le Tribunal fédéral leur avait imparti à cette fin (cf. <ref-law>). Pour le surplus, il n'y a pas lieu de procéder à une inspection locale ou à une expertise, le Tribunal fédéral s'estimant suffisamment renseigné pour statuer en l'état du dossier, lequel comprend notamment plusieurs plans du passage litigieux.
4. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus par l'<ref-law>. Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées.
4.1 Au début de leur mémoire (ch. 1 à 9), les recourants reprennent tous les faits de la procédure, détaillent le contenu de leurs écritures devant les autorités cantonales et apportent de nombreuses précisions aux constatations des juges cantonaux. Une telle argumentation, dans la mesure où elle s'écarte des faits établis dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
4.2 Les recourants discutent ensuite plus précisément l'état de fait de l'arrêt attaqué (ch. 10). Ils contestent en particulier qu'aucune modification significative des niveaux du chemin ou de son implantation n'est prévue; ils font valoir notamment que le chemin sera défoncé, les niveaux fortement modifiés et que des dévers de 3 à 5 % seront créés. Ils n'allèguent cependant pas ni ne démontrent que les constatations du Tribunal cantonal seraient insoutenables; dans ces conditions, il n'y a pas d'arbitraire à retenir qu'il s'agit d'un projet de peu d'importance, ne requérant qu'un simple aménagement sommaire. Les recourants indiquent ensuite que le droit de passage inscrit en 2003 est erroné et ne figure pas au registre foncier, sans toutefois expliquer quelle pourrait être l'incidence d'une éventuelle correction sur l'issue du litige. Enfin, il n'y a pas lieu d'entrer en matière sur les commentaires d'ordre général concernant la procédure suivie par les autorités cantonales et communales (cf. consid. 4.1 ci-dessus).
4.3 Il résulte de ce qui précède que les critiques des recourants relatives aux constatations de fait doivent être écartées et que le Tribunal fédéral est lié par les faits retenus dans l'arrêt attaqué, conformément à l'<ref-law>.
5. Les recourants se plaignent d'une violation de leur droit d'être entendus. Ils reprochent au Tribunal cantonal de n'avoir pas organisé de visite des lieux en présence des parties et d'avoir insuffisamment motivé sa décision.
5.1 Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. comprend notamment celui de faire administrer les preuves pour autant que celles-ci soient requises dans les formes prévues par le droit cantonal et qu'elles apparaissent utiles à l'établissement des faits pertinents (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2b p. 102). L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (<ref-ruling> consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir <ref-ruling> consid. 5.1 p. 17).
Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 4.3 p. 540 et les arrêts cités).
5.2 En l'espèce, il sied tout d'abord de rappeler que le Tribunal cantonal n'est pas tenu d'organiser d'office une vision locale, ce que les recourants ne prétendent d'ailleurs pas. Au surplus, il ne ressort pas des pièces du dossier que ceux-ci auraient requis cette mesure d'instruction. Ils ne peuvent dès lors reprocher aux juges cantonaux d'avoir refusé une offre de preuve qu'ils n'avaient pas requise. En tout état de cause, l'arrêt attaqué souligne que les plans joints au dossier permettent aisément de situer et de comprendre le projet, si bien qu'une renonciation des juges cantonaux à une vision locale n'aurait pu être taxée d'arbitraire et n'aurait pas constitué une violation du droit d'être entendus des recourants.
5.3 Les recourants estiment que le Tribunal cantonal a insuffisamment motivé sa décision, "se référant uniquement au droit potentiellement applicable sans toutefois démontrer l'intérêt public du projet et le comparer à la situation piétonne existante citée, soit le trottoir existant". Il ressort toutefois de l'arrêt attaqué que les juges cantonaux ont expliqué de façon détaillée pour quelles raisons l'aménagement du sentier projeté était d'intérêt public et apparaissait prépondérant face à l'intérêt privé des recourants. La cour cantonale a, d'une manière générale, exposé de façon suffisante sous l'angle de l'art. 29 al. 2 Cst. pourquoi elle confirmait la décision attaquée.
5.4 Il résulte de ce qui précède que les recourants dénoncent à tort une violation de leur droit d'être entendus par le Tribunal cantonal. Mal fondé, le recours doit être rejeté sur ce point.
6. Au fond, les recourants s'opposent au permis de construire octroyé à la commune d'Avry par le Préfet de la Sarine et confirmé par le Tribunal cantonal. Cette autorisation se fonde uniquement sur du droit cantonal.
Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid de 1.4.2 p. 254 et les références). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 5.1 p. 17).
7. Les recourants font valoir que l'autorité compétente aurait dû obtenir la signature de l'hoirie A._, indépendamment de celle du propriétaire du fonds. Ils ne précisent toutefois pas quelle disposition de droit cantonal aurait été appliquée de façon arbitraire ni n'allèguent que l'arrêt attaqué serait insoutenable sur ce point. Quoi qu'il en soit, la motivation des juges cantonaux n'apparaît pas déraisonnable et il n'y a pas lieu de s'en écarter: ceux-ci indiquent que la procédure pour la création d'un sentier public est une procédure particulière qui doit pouvoir être introduite même sans l'accord des propriétaires concernés; l'utilité publique et l'intérêt prépondérant du projet remplacent en effet la signature du propriétaire, dont les droits sont de toute manière sauvegardés par la possibilité qu'il a de déposer une opposition au moment de la mise à l'enquête. La critique des recourants doit dès lors être rejetée.
8. Les recourants contestent ensuite pour l'essentiel l'utilité publique du projet et la pondération des intérêts effectuée par le Tribunal cantonal.
8.1 La cour cantonale a considéré que le sentier public projeté permettra aussi bien aux habitants du quartier du Bois de gagner le centre du village qu'aux écoliers du quartier Derrey Le Boux de se rendre au complexe scolaire, en évitant de faire un détour ou de passer par la route cantonale; l'intérêt public avancé par la commune était dès lors pertinent, ce d'autant que les chemins piétons sont présumés d'utilité publique par la législation cantonale.
Les arguments des recourants ne sont pas de nature à mettre en cause la motivation de la cour cantonale et le résultat auquel elle a abouti. Les intéressés ne sont en particulier pas parvenus à renverser la présomption d'utilité publique du sentier prévu. Le fait que les piétons pourraient emprunter un trottoir le long de la route cantonale, qui serait à leur avis mieux sécurisé que le sentier projeté, ne permet pas de dénier l'utilité publique du projet. Par ailleurs, c'est en vain qu'ils allèguent que la démonstration de l'intérêt public n'aurait pas été effectuée, en particulier parce qu'elle ne se serait pas fondée sur un rapport technique. Le Tribunal cantonal a en effet expliqué, sans tomber dans l'arbitraire, que la production d'un rapport technique ne s'imposait pas pour un projet de peu d'importance, qui ne requérait qu'un simple aménagement sommaire. L'utilité publique du projet peut dès lors être confirmée.
8.2 S'agissant de la pondération des intérêts, l'arrêt attaqué relève que le sentier public, tout comme le chemin existant, ne se situe pas sur les parcelles des recourants. L'utilisation de la servitude ne sera au demeurant en rien entravée par le projet lui-même, qui ne constitue qu'un aménagement sommaire. Le fait que le chemin sera aménagé avec une fine couche de bitume ne pourra en réalité qu'améliorer l'exercice de cette servitude de passage, laquelle est tout à fait compatible avec l'usage du sentier public par la population résidante. De plus, au regard de la faible densité du trafic (automobile et piéton) dans ce secteur, les recourants devraient pouvoir user de leur droit sans restriction. En définitive, l'intérêt privé des recourants, qui se réduisait à ce que peu de personnes utilisent ce chemin, était minime à l'aune du droit public de la construction.
Les recourants s'opposent à la pondération des intérêts précitée en arguant que, pour réaliser le projet communal, il faudrait reconstruire l'accès du chemin à l'est, en raison de la pente inaccessible. Par ailleurs, l'aménagement du chemin ne permettrait pas son utilisation par des véhicules lourds ou agricoles. Ces objections ne se fondent toutefois pas sur des faits retenus dans l'arrêt attaqué et qui lient le Tribunal fédéral (cf. consid. 4 ci-dessus); elles ne peuvent dès lors être prises en considération. Au demeurant, les recourants ne font pas valoir que les éléments retenus par le Tribunal cantonal seraient erronés, ni ne discutent véritablement la pesée des intérêts effectuée. Or, il apparaît que celle-ci échappe à la critique et que les juges cantonaux ont correctement exercé leur pouvoir d'appréciation en l'espèce. Le grief doit par conséquent être rejeté.
8.3 Enfin, les recourants émettent différentes considérations sur la sécurité. Ils indiquent que le trottoir le long de la route cantonale, desservant les bordiers et le quartier Derrey le Boux, est de toute sécurité. En revanche, le sentier litigieux créerait une insécurité pour les piétons et les autres usagers au vu notamment de l'étroitesse des lieux. Ces affirmations s'écartent des faits retenus dans l'arrêt attaqué et ne permettent de toute façon pas de remettre en question l'intérêt public et prépondérant du sentier litigieux. A cet égard, les juges cantonaux ont relevé que le chemin projeté était essentiellement emprunté par des véhicules agricoles et que plusieurs enclaves facilitaient les éventuels croisements avec des piétons. De plus, le risque encouru par ces derniers n'était en rien comparable avec celui présent au bord d'une route cantonale, où le trafic était autrement intense et dense. Les recourants n'allèguent pas que ces constatations seraient insoutenables, ce qui n'est manifestement pas le cas.
9. Finalement, les recourants allèguent que la cour cantonale a "commis l'illégalité de traitement, entravé l'examen de la proportionnalité et violé l'interdiction de l'arbitraire". Le Tribunal cantonal aurait également violé le principe de la coordination des procédures. Aucun de ces griefs n'est suffisamment motivé au regard de l'<ref-law> en relation avec l'art. 106 al. 1, respectivement al. 2, LTF, puisqu'ils consistent en de simples affirmations. Il n'y a dès lors pas lieu d'examiner leur bien-fondé.
10. Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge des recourants qui succombent (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Le présent arrêt est communiqué à la mandataire des recourants, à la Commune d'Avry, à la Préfecture de la Sarine et au Tribunal cantonal du canton de Fribourg, IIe Cour administrative.
Lausanne, le 26 septembre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard