Faits:
A. A.a C.X._ est décédée le 4 octobre 2007, laissant comme héritiers ses deux frères, D.X._ et E.X._ et en désignant B._ en qualité d'exécuteur testamentaire.
A.b Le 11 janvier 2008, D.X._ est décédé en laissant son fils et son épouse comme héritiers.
A.c E.X._ est décédé le 5 octobre 2009, désignant F._ en qualité d'héritier unique de sa succession et A._ en qualité d'exécuteur testamentaire.
B. Le 25 mars 2010, A._ a dénoncé B._ au Président du Tribunal d'arrondissement de la Sarine, en qualité d'autorité de surveillance, concluant au prononcé de mesures administratives afin que l'exécuteur testamentaire de la succession de feue C.X._ s'acquitte de ses obligations, notamment en ce qui concerne l'inventaire et les comptes de la succession.
B.a Par décision du 10 janvier 2012, le Président du Tribunal a révoqué B._ de sa fonction d'exécuteur testamentaire.
B._ (ci-après: le dénoncé) a recouru contre cette décision le 9 février 2012, concluant à son annulation et à la constatation que la procédure était devenue sans objet. A._ (ci-après: le dénonçant) a conclu au rejet du recours dans sa réponse du 13 mars 2012.
B.b Par arrêt du 23 avril 2012, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Cour d'appel), a admis le recours et, partant, elle a annulé la décision du Président du Tribunal du 10 janvier 2012 et rejeté la plainte du dénonçant à l'encontre de l'exécuteur testamentaire de la succession de feue C.X._, dans la mesure où cette plainte n'était pas sans objet.
C. Par acte du 30 mai 2012, le dénonçant interjette un recours au Tribunal fédéral. Il conclut principalement à l'annulation de l'arrêt entrepris et à la confirmation de la décision de première instance, subsidiairement au prononcé de mesures disciplinaires adéquates à l'encontre du dénoncé, plus subsidiairement encore, au renvoi de la cause à l'autorité précédente.
Des réponses n'ont pas été requises.

Considérant en droit:
1. 1.1 Le présent recours en matière civile a été interjeté contre une décision finale (<ref-law>) en matière de surveillance d'un exécuteur testamentaire (art. 72 al. 2 let. b ch. 5 LTF), rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Comme le litige porte sur le prononcé de mesures administratives dans le cadre de la surveillance de l'activité de l'exécuteur testamentaire, le recours a pour objet une affaire pécuniaire, dont la valeur litigieuse, qui se détermine au regard de la valeur des actes accomplis ou devant être accomplis par l'exécuteur testamentaire contesté (arrêt 5A_395/2010 du 22 octobre 2010 consid. 1.2.2), atteint manifestement 30'000 fr. dans le cas présent (art. 51 al. 1 let. a et 74 al. 1 let. b LTF). Le recours a par ailleurs été déposé en temps utile (<ref-law>) et dans la forme prévue par la loi (<ref-law>), par une partie ayant succombé devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de l'arrêt entrepris (<ref-law>); il est ainsi en principe recevable au regard de ces dispositions.
1.2 Le recours en matière civile des <ref-law> est une voie de réforme. Si le Tribunal fédéral admet le recours, il peut en principe statuer lui-même sur le fond (<ref-law>). La partie recourante ne peut dès lors se borner à demander l'annulation de la décision attaquée, mais elle doit également, en principe, prendre des conclusions sur le fond du litige (arrêt 5A_835/2010 du 1er juin 2011 consid. 1.2). Les conclusions réformatoires doivent en outre être déterminées et précises, c'est-à-dire indiquer exactement quelles modifications sont demandées (arrêts 5A_623/2011 du 20 février 2012 consid. 1.2, 5A_359/2011 du 7 septembre 2011 consid. 1.2.1). Exceptionnellement, de telles conclusions suffisent lorsque la motivation du recours ou la décision attaquée permet de comprendre d'emblée la modification requise (<ref-ruling> consid. 2 p. 236 s.; arrêt précité 5A_359/2011 consid. 1.2.1 in fine et les références).
En l'occurrence, le recourant invite le Tribunal fédéral à annuler l'arrêt attaqué et à confirmer "la décision de 1ère instance". Le jugement auquel il fait référence prononce la révocation du dénoncé de sa fonction d'exécuteur testamentaire de la succession de feue C.X._. Aussi peut-on admettre qu'il ressort du rapprochement du mémoire de recours, de l'arrêt attaqué et du jugement de première instance que le recourant demande au Tribunal fédéral de révoquer l'exécuteur testamentaire de la succession de feue C.X._. Bien qu'elle ne soit pas explicitée, sa conclusion principale sur le fond apparaît néanmoins recevable, au regard de ce qui précède.
2. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 2.2 p. 550). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). De plus, en vertu de l'<ref-law>, le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que la partie recourante ait épuisé toutes les voies de droit quant aux griefs qu'elle entend soumettre au Tribunal fédéral (<ref-ruling> consid. 1.2 p. 3 s. et 424 consid. 3.2 p. 429; <ref-ruling> consid. 1.3 p. 527).
3. Statuant sur recours de l'exécuteur testamentaire destitué, la Cour d'appel a relevé que le premier juge avait analysé en détail les nombreux reproches formulés par le dénoncé, en retenant certaines critiques et en en écartant d'autres. Elle s'est ensuite prononcée sur les divers éléments retenus par le premier juge à l'appui de sa décision de destitution.
3.1 Bien qu'il en ait ensuite tenu compte à titre d'indices en faveur de l'existence d'un conflit d'intérêts du dénoncé par rapport à la succession justifiant sa destitution de ses fonctions d'exécuteur testamentaire, le Président du Tribunal a jugé que le legs, de la testatrice au dénoncé, d'un immeuble d'une valeur de 40'000 fr., ne créait pas de conflit d'intérêts entre en sa qualité d'exécuteur testamentaire et de personne gratifiée et que l'octroi au dénoncé d'un prêt de 600'000 fr. transformé en rente viagère était sans pertinence.
La cour cantonale a, pour sa part, admis que la testatrice, qui avait la capacité de discernement lorsqu'elle a adopté les dispositions pour sa succession, avait pris ces engagements (legs et prêt converti en rente viagère) en toute connaissance de cause, étant parfaitement au courant des liens commerciaux existant avec l'exécuteur testamentaire et du fait qu'il était gratifié d'un legs dans sa succession, en sorte que ces éléments ne pouvaient en aucun cas participer à la prise d'une décision disciplinaire contre le dénoncé; un conflit d'intérêts doit être dénoncé dans le cadre d'une action en annulation de la clause pour cause de mort instituant l'exécuteur testamentaire. Les juges précédents en ont déduit que le Président du Tribunal avait "faussement appliqué le droit".
3.2 Le Président du Tribunal a considéré que l'exécuteur testamentaire avait fait preuve de partialité en conseillant un avocat aux hoirs de feu D.X._ et en payant celui-ci par les fonds de la succession.
A cet égard, la Cour d'appel a considéré que le premier juge avait omis de mentionner qu'il était établi que lorsque le litige successoral était survenu entre les héritiers de feue C.X._, l'hoirie de E.X._ bénéficiait du conseil d'avocats. Ainsi, les juges cantonaux ont jugé que l'exécuteur testamentaire n'avait pas fait preuve de partialité, mais avait souhaité préserver l'égalité des armes entre l'ensemble des membres de la succession en conseillant aux hoirs non assistés de mandater un avocat. Quant au paiement des honoraires de l'avocat de l'hoirie de feu D.X._, à hauteur de 2'690 fr., par les fonds de la succession, erreur qui a donné lieu à un remboursement, la Cour d'appel a estimé qu'il n'existait au dossier aucun élément permettant de retenir qu'il s'agissait d'un acte délibéré ne relevant pas d'une inadvertance. Dans ces conditions, la cour cantonale a jugé qu'il était arbitraire de retenir que cette erreur jetait le doute sur l'activité impartiale de l'exécuteur testamentaire.
3.3 Le Président du Tribunal a considéré que l'exécuteur testamentaire s'était mis en conflit d'intérêts avec la succession et avait manqué à ses devoirs d'indépendance, de fidélité et d'information, en s'attribuant 60'000 fr. d'honoraires pour les années 2007 et 2008 sans en avoir informé les héritiers et sans avoir fourni une note d'honoraires détaillée. Le premier juge a également douté que les honoraires, surtout aussi élevés, puissent être prélevés sur la masse successorale avant même la clôture de la succession, sans avoir été fixés et en l'absence d'accord des héritiers.
La Cour d'appel a rappelé que l'exécuteur testamentaire a droit à une rémunération, mais que celui-ci devait en principe présenter un décompte final aux héritiers, une fois ses fonctions éteintes, touchant sa rémunération à ce moment-là. Dès lors, l'autorité précédente a considéré que l'annonce dans les comptes de la succession, d'une estimation des honoraires sans encaissement n'était pas constitutive d'une violation des devoirs d'information, de fidélité ou d'indépendance. Elle a jugé qu'il s'agissait uniquement d'une expectative, permettant aux héritiers de connaître les charges de la succession à la liquidation et ne les liant pas puisque ceux-ci auraient le loisir de contester la facture finale.
3.4 S'agissant de l'offre d'achat d'un immeuble de la succession de feue C.X._ formulée par G._ SA, société appartenant à l'exécuteur testamentaire dénoncé, que le premier juge a considéré comme une violation des devoirs de l'exécuteur testamentaire, l'autorité précédente a considéré que G._ SA n'avait pas tenté d'acquérir la part de E.X._ - qui s'y était opposé - mais uniquement celle de l'hoirie de D.X._. La Cour d'appel a jugé que le fait que la société du dénoncé souhaite se porter acquéreur d'un bien de la succession n'était constitutive ni d'un conflit d'intérêts, ni d'une violation des devoirs de l'exécuteur testamentaire, précisant qu'il en serait allé autrement si le dénoncé avait utilisé ses fonctions d'exécuteur testamentaire pour tenter d'acquérir une partie de l'immeuble à un prix léonin, ce qui n'était pas le cas en l'espèce.
3.5 Le Président du Tribunal a aussi reproché à l'exécuteur testamentaire d'avoir confié la tenue de comptes de la succession à H._, de la fiduciaire du même nom, alors que celui-ci est l'administrateur de la société G._ SA, ce qui constitue un conflit d'intérêts.
Pour la Cour d'appel, le Président du Tribunal est parti de la prémisse erronée selon laquelle l'exécuteur testamentaire est opposé à la succession et qu'elle devait être protégée des actes et des appréciations de celui-là et des personnes avec qui il a des liens professionnels. Or, puisque le Président a admis que l'exécuteur testamentaire tienne les comptes lui-même, celui-ci devait également pouvoir les confier à un tiers, de sorte que ce fait ne peut fonder de sanction contre le dénoncé.
3.6 Enfin, le Président du Tribunal a considéré que l'exécuteur testamentaire avait manqué à son obligation de diligence et d'information des héritiers en ne déposant l'inventaire du patrimoine successoral que le 3 mai 2010, à savoir deux ans et demi après le décès, en ne faisant établir les comptes 2007, 2008 et 2009 que le 26 avril 2010 et en n'abordant les établissements bancaires que le 23 avril 2009, après l'intervention des autorités. Le premier juge a cependant relevé que le dénonçant avait pu avoir accès aux comptes lorsqu'il l'a demandé à l'exécuteur testamentaire dénoncé.
L'autorité précédente a approuvé le constat de retard avec lequel l'exécuteur testamentaire dénoncé a agi, mais a estimé que la destitution de l'exécuteur testamentaire, prononcée en janvier 2012, n'était pas nécessaire, s'agissant d'un retard qui existait début 2010 et comblé depuis près de deux ans, alors que la liquidation de la succession de feue C.X._ est "quasiment terminée".
3.7 En définitive, la Cour d'appel a jugé que la majorité des griefs retenus à l'encontre du dénoncé par le premier juge s'étaient révélés dépourvus de substance et que le Président du Tribunal n'avait pas examiné réellement l'opportunité d'une sanction moins sévère, n'exposant au demeurant pas que les droits des héritiers avaient été gravement mis en danger. L'autorité précédente a alors admis qu'il n'existait pas, en janvier 2012, de manquements graves de l'exécuteur testamentaire dénoncé justifiant sa destitution. La cour cantonale a donc annulé la décision de première instance et rejeté la plainte du dénonçant, dans la mesure où elle n'était pas sans objet.
4. Dans le cas d'espèce, il convient de déterminer si la requête déposée par devant le Président du Tribunal d'arrondissement de la Sarine tend au prononcé de mesures de surveillance de l'exécuteur testamentaire ou s'il s'agit d'une demande de révocation de l'exécuteur testamentaire à cause d'une situation double créée par la testatrice - ou du moins connue d'elle - et d'un grave conflit d'intérêts qui en résulte.
4.1 L'exécuteur testamentaire est soumis à la surveillance de l'autorité qui a le pouvoir d'ordonner l'exécution ou d'interdire un acte déterminé et de prendre des mesures disciplinaires (<ref-law> et <ref-law> par analogie avec l'administrateur officiel; <ref-ruling> consid. 3 p. 383 ss; KARRER/VOGT/LEU, Basler Kommentar, 4ème éd., 2011, n° 97 ad art. 518 ZGB; STEINAUER, Le droit des successions, 2006, n° 1185 p. 554 s.; BREITSCHMID, Behördliche Aufsicht über den Willensvollstrecker, in: Willensvollstreckung, 2001, n° 2 p. 151), dont la plus grave est la destitution de l'exécuteur testamentaire pour cause d'incapacité ou de violation grossière de ses devoirs (KARRER/VOGT/LEU, op. cit., no 103 ad art. 518 ZGB; BREITSCHMID, op. cit., n° 3 p. 154 s.; CHRIST/EICHNER, Praxiskommentar Erbrecht, 2ème éd., n° 97 ad art. 518 ZGB; LOB, Les pouvoirs de l'exécuteur testamentaire en droit suisse, 1952, p. 109).
L'autorité de surveillance vérifie les mesures prises ou projetées par l'exécuteur testamentaire; cependant les questions de droit matériel demeurent du ressort des tribunaux ordinaires (<ref-ruling> consid. 3 p. 383 ss; <ref-ruling> p. 325 s.; 66 II 148 p. 150 s., arrêt 5A_395/2010 du 22 octobre 2010 consid. 3.8), en sorte qu'elle n'est pas compétente pour se prononcer sur une action en révocation de l'exécuteur testamentaire à cause d'une situation double créée par le testateur - ou du moins connue de lui - et d'un grave conflit d'intérêts qui en résulte. Une telle révocation ne peut être obtenue que par une action en nullité de la disposition à cause de mort instituant l'exécuteur testamentaire (art. 519 et 520 CC), à savoir une contestation de nature civile ordinaire qui doit être tranchée au cours d'une procédure contradictoire et dans laquelle l'exécuteur testamentaire a qualité de partie (<ref-ruling> consid. 3 in fine et 4 p. 385 ss; arrêt de la Cour de cassation civile du Tribunal cantonal du Valais du 19 avril 2004 consid. 1a, in: RVJ 2005 p. 242; GUINAND/STETTLER/LEUBA, Droit civil suisse, Droit des successions, 6ème éd., 2005, n° 541 p. 258 s., spéc. note n° 984 p. 259; LOB, op. cit., p. 110; KARRER/VOGT/LEU, op. cit., n° 105 ad art. 518 ZGB; d'un autre avis: SCHULER-BUCHE, op. cit., p. 132, qui soutient que lorsque l'autorité de surveillance prend une mesure de destitution à l'encontre de l'exécuteur testamentaire, son contrôle devient de nature contentieuse).
4.2 L'objet du litige est déterminé par les conclusions de la demande et par les faits invoqués à l'appui de celle-ci, à savoir par le complexe de faits sur lequel les conclusions se fondent (<ref-ruling> consid. 4.3.1 p. 126; <ref-ruling> consid. 2 p. 743; <ref-ruling> consid. 2a in fine p. 28; <ref-ruling> consid. 2 p. 270). En l'occurrence, l'exécuteur testamentaire de la succession de feu E.X._ a introduit une "plainte au sens des articles 518 al. 1 et 595 al. 3 CC" précisant que celle-ci relevait "du droit administratif" et ne conférait pas "le statut de partie aux intervenants". Le dénonçant requérait du Président du Tribunal qu'il prenne "les mesures administratives qui s'imposent, afin que le défendeur s'acquitte de ses obligations notamment en ce qui concerne l'inventaire et les comptes de la succession de feue Mme C.X._" et invoquait à l'appui de sa demande notamment l'inaction de l'exécuteur testamentaire, l'inégalité de traitement des héritiers et des conflits d'intérêts. Il est donc manifeste que la requête tendait au prononcé de mesures administratives de surveillance contre l'exécuteur testamentaire dénoncé, en raison de la prétendue violation des devoirs liés à sa fonction et de situations créant un conflit d'intérêts.
4.3 Il résulte de ce qui précède que, en tant que le dénonçant se fonde sur l'existence de conflits d'intérêts créés et pouvant être connus de la testatrice, à savoir le legs à l'exécuteur testamentaire et le prêt transformé en rente viagère, le grief devait être invoqué à l'appui d'une action en nullité de la clause instituant l'exécuteur testamentaire, ainsi que l'a d'ailleurs constaté la cour cantonale (cf. supra consid. 3.1). Par conséquent et en relation avec les critiques précitées, la dénonciation tendant au prononcé de mesures administratives dans le cadre de la surveillance de l'activité de l'exécuteur testamentaire est irrecevable et doit d'emblée être écartée. Les autres motifs soulevés à l'appui de la dénonciation, fondés par contre sur la violation des devoirs liés à la fonction d'exécuteur testamentaire et de l'existence de conflits d'intérêts apparus postérieurement au décès de la testatrice sont en principe recevables dans le cadre de la surveillance administrative des activités de l'exécuteur testamentaire, sous réserve de la qualité de dénonçant de l'exécuteur testamentaire de la succession de feu E.X._.
5. L'autorité de surveillance n'intervient en principe que sur plainte, laquelle peut être déposée par les héritiers légaux, institués et potentiels, par toute personne gratifiée par le disposant d'une libéralité testamentaire, ainsi que par l'un des exécuteurs testamentaires en cas de pluralité (KARRER/VOGT/LEU, op. cit., n° 99 ad art. 518 ZGB; STEINAUER, op. cit., n° 1185b p. 555 et n° 1186a p. 556; BREITSCHMID, op. cit., n° 5 p. 156 s.; SCHULER-BUCHE, op. cit., p.129; GUINAND/STETTLER/LEUBA, op. cit., n° 541 p. 258; CHRIST/EICHNER, op. cit., n° 91 ad art. 518 ZGB). La personne qui dépose une plainte doit en outre être intéressée au point critiqué (PIOTET, Traité de droit privé suisse IV, Droit successoral, 2ème éd., 1988, § 20 p. 111; LOB, op. cit., p. 108).
5.1 Dans le procès qui l'oppose à des tiers au sujet des actifs de la succession, l'exécuteur testamentaire ne fait pas valoir son propre droit matériel (ATF <ref-ruling> p. 325 ss, 81 II 22 consid. 7 p. 31); il résulte cependant de sa situation légale (<ref-law> en relation avec l'<ref-law>) qu'il doit sauvegarder les droits successoraux en son propre nom. Dans les litiges judiciaires, l'exécuteur testamentaire peut ainsi conduire un procès en son propre nom et en tant que partie à la place de celui qui est, quant au fond, le sujet actif ou passif du droit contesté ("Prozessführungsbefugnis", "Prozessstandschaft", legitimatio ad causam; <ref-ruling> consid. 3a p. 134 et les références, arrêt 5C.116/2003 du 5 février 2004 consid. 2.2.2). L'exécuteur testamentaire doit alors se référer à son habilitation légale, fondée sur l'existence d'un patrimoine spécial qu'il doit administrer (<ref-ruling> consid. 3a p. 134).
5.2 Dans le cas d'espèce, E.X._, qui était l'un des héritiers de feue C.X._, avait des droits dans la succession de celle-ci, droits qui ont passé à sa mort à son unique héritier. Il résulte de ce qui précède que l'exécuteur testamentaire dénonçant, qui a exercé personnellement et en son nom propre les pouvoirs qui lui reviennent en cette qualité afin d'obtenir la délivrance des biens et actifs de la succession dont il a été nommé exécuteur testamentaire, est effectivement partie à la place de l'héritier unique de feu E.X._, lequel est, sur le fond, le sujet actif du droit de déposer plainte auprès de l'autorité de surveillance.
6. Le recourant reproche d'abord à l'autorité précédente d'avoir violé son droit d'être entendu, dès lors que celle-ci omet de retenir, voire "tourne en son contraire", des éléments invoqués par le dénonçant justifiant la perte de confiance dans l'exécuteur testamentaire, partant conduisant à admettre que le maintien de celui-ci dans ses fonctions est insoutenable. Le recourant estime en outre que les juges précédents ont violé son droit d'être entendu "au sens de l'art. 9 Cst." (sic!) en ne prenant pas en considération ses allégations et les preuves qu'il a apportées relatives au retard avec lequel l'inventaire de la succession a été déposé.
6.1 Le droit d'être entendu est un grief de nature formelle (<ref-ruling> consid. 3d/aa p. 437 s.), dont la violation entraîne l'annulation de la décision attaquée indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 3d/aa p. 437 s.). Il convient par conséquent d'examiner ce grief avant tout autre (<ref-ruling> consid. 2.6.1 p. 285; <ref-ruling> consid. 1 p. 50) et avec une cognition libre (<ref-ruling> consid. 2a p. 57 et les références).
La jurisprudence a déduit du droit d'être entendu garanti par l'art. 29 al. 2 Cst., en particulier, le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (<ref-ruling> consid. 3.1 et les références). Le point de savoir si l'autorité cantonale n'a pas pris en compte un moyen de preuve propre à modifier la décision relève toutefois de l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.).
6.2 En l'occurrence, le recourant, qui se contente d'affirmer que son droit d'être entendu a été violé et de lister les faits qu'il estime avoir été écartés à tort, ne prétend ni avoir été empêché de présenter une preuve, ni que la cour cantonale aurait refusé l'administration d'une preuve offerte, en sorte que l'on peine à comprendre en quoi la non-prise en compte de certaines allégations du recourant dans l'état de faits de l'arrêt de la Cour d'appel serait constitutive d'une violation du droit d'être entendu du dénonçant. Cela étant, le recourant, qui considère avoir prouvé les faits qu'il allègue et qui devaient donc être retenus dans le cadre de la décision entreprise, fait en realité valoir le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.; cf. supra consid. 6.1 et infra consid. 7).
7. Le recourant se plaint ensuite de l'établissement manifestement inexact des faits par la Cour d'appel (art. 9 Cst.). Ainsi qu'il a déjà été exposé, le recourant soutient que l'autorité précédente a méconnu les faits fondant la perte de confiance irrévocable dans l'exécuteur testamentaire justifiant que celui-ci soit destitué de sa fonction, ainsi que le retard avec lequel l'inventaire successoral a été dressé (cf. supra consid. 6). Selon le recourant, la cour cantonale aurait également mal établi les faits en ignorant le pacte successoral entre la fratrie X._ du 2 novembre 1970, en retenant que le paiement des honoraires de l'avocat de l'hoirie de feu D.X._ par les actifs de la succession - d'un montant supérieur à celui retenu - résultait d'une inadvertance, en estimant que l'exécuteur testamentaire a transmis une note d'honoraires non encaissée pouvant encore être contestée, en retenant que l'exécuteur testamentaire a offert d'acheter des biens de la succession revenant à feu D.X._, et enfin en considérant que le premier juge n'a justifié que "lapidairement" sa décision prononçant la destitution de l'exécuteur testamentaire de la succession de feue C.X._.
7.1 Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (<ref-law>); il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît à l'autorité cantonale dans le domaine de l'appréciation des preuves et de la constatation des faits (<ref-ruling> consid. 4b; <ref-ruling> consid. 1b et les références citées). Le recourant qui soutient que les faits ont été constatés d'une manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2.2 p. 252), doit satisfaire au principe d'allégation ("Rügeprinzip", <ref-law>), autrement dit, le grief doit être expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 1.2 p. 234; <ref-ruling> consid. 1.4.2 p. 254).
7.2 En l'occurrence, dans la première partie de son mémoire, intitulée "résumé des faits et premières considérations en droit", le recourant expose sa version du litige et substitue ainsi sa propre appréciation de la cause à celle de l'autorité cantonale, sans tenir compte du raisonnement développé par celle-ci mais en le critiquant dès lors qu'il s'écarte du sien. Le recourant ne démontrant pas en quoi l'autorité précédente aurait versé dans l'arbitraire, sa première partie consacrée à l'établissement des faits et à l'appréciation des preuves est irrecevable (<ref-law>, cf. supra consid. 7.1).
7.3 Dans la seconde partie de son mémoire, le recourant reprend point par point les éléments exposés dans la première partie. Il apparaît toutefois que le recourant se limite à nouveau à contester de manière générale l'établissement des faits et l'appréciation des preuves en opposant sa propre version aux considérations de l'arrêt entrepris, sans en démontrer l'arbitraire ou en se fondant sur des pièces contenant ses propres allégations, notamment sur des procès-verbaux d'audience, les notes de plaidoirie de son avocat ou son mémoire de réponse déposé en instance cantonale. Tel est le cas de ses critiques concernant la perte de confiance dans l'exécuteur testamentaire, le paiement de l'avocat de l'hoirie de feu D.X._ (cf. supra consid. 3.2), les honoraires du dénoncé (consid. 3.3), l'offre d'achat de G._ SA (consid. 3.4), le retard dans le dépôt de l'inventaire successoral (consid. 3.6) et la motivation " lapidaire " de l'autorité précédente s'agissant de la mesure disciplinaire appropriée. Or, de simples allégations de partie - fussent-elles même plausibles - ne suffisent pas à prouver un fait, à moins qu'elles ne soient corroborées par des pièces qui accréditent la thèse soutenue (arrêt 5A_225/2010 du 2 novembre 2010 consid. 3.2 non publié à l'<ref-ruling>). Pour le surplus, le recourant s'en prend à des constatations qui ne sont pas pertinentes dans le cadre de la surveillance administrative de l'activité de l'exécuteur testamentaire ou, à tout le moins, il ne démontre pas en quoi la modification requise de l'état de fait aurait un impact sur le résultat. Il en va ainsi lorsqu'il critique la non-prise en considération du pacte successoral de 1970, prétendument contraire au testament du 22 août 2007, qui n'est pas le fait de celui-ci, partant, qui n'est pas un motif justifiant le prononcé d'une mesure disciplinaire, de même lorsqu'il soutient que l'offre d'achat de G._ SA portait sur un bien attribué à feu E.X._ (consid. 3.4) et, enfin, lorsqu'il affirme que le montant payé à l'avocat de l'hoirie de feu D.X._ est supérieur à la somme retenue (consid. 3.2). Le grief d'arbitraire (art. 9 Cst.) dans l'établissement des faits et l'appréciation des preuves est ainsi irrecevable, faute de motivation suffisante (art. 42 al. 2 et 106 al. 2 LTF, cf. supra consid. 2 et 7.1).
8. Enfin, le recourant dresse une liste des "lois et pratiques que l'exécuteur testamentaire a violés de manière réitérée". Il reproche ainsi à l'autorité précédente d'avoir violé le droit ou fait preuve d'arbitraire dans l'application du droit en niant la violation par l'exécuteur testamentaire des dispositions énumérées.
8. Enfin, le recourant dresse une liste des "lois et pratiques que l'exécuteur testamentaire a violés de manière réitérée". Il reproche ainsi à l'autorité précédente d'avoir violé le droit ou fait preuve d'arbitraire dans l'application du droit en niant la violation par l'exécuteur testamentaire des dispositions énumérées.
8.1 8.1.1 Le recourant reproche à la Cour d'appel d'avoir méconnu la violation de l'<ref-law> par le dénoncé, dès lors que celui-ci n'aurait pas respecté les dernières volontés de la testatrice feue C.X._ en formulant une offre d'achat d'un immeuble de la succession par l'intermédiaire de sa société.
8.1.2 L'exécuteur testamentaire est chargé de faire respecter la volonté du défunt, notamment de gérer la succession et de procéder au partage conformément aux ordres du disposant ou suivant la loi (<ref-ruling> consid. 2 p. 15; STEINAUER, op. cit., n° 1171 p. 546). En l'occurrence, ni les dispositions à cause de mort de la testatrice, ni la loi n'interdisent à l'exécuteur testamentaire d'une succession - et a fortiori à la société lui appartenant - d'acquérir un bien de la masse successorale pour un prix exempt d'avantage, ce d'autant qu'en l'espèce la testatrice a légué un immeuble à l'exécuteur testamentaire et lui a également octroyé un prêt transformé par la suite en rente viagère (cf. supra consid. 3). Le dénoncé n'a ainsi pas violé l'<ref-law> et la Cour d'appel n'a pas violé le droit fédéral en le constatant.
8.1.2 L'exécuteur testamentaire est chargé de faire respecter la volonté du défunt, notamment de gérer la succession et de procéder au partage conformément aux ordres du disposant ou suivant la loi (<ref-ruling> consid. 2 p. 15; STEINAUER, op. cit., n° 1171 p. 546). En l'occurrence, ni les dispositions à cause de mort de la testatrice, ni la loi n'interdisent à l'exécuteur testamentaire d'une succession - et a fortiori à la société lui appartenant - d'acquérir un bien de la masse successorale pour un prix exempt d'avantage, ce d'autant qu'en l'espèce la testatrice a légué un immeuble à l'exécuteur testamentaire et lui a également octroyé un prêt transformé par la suite en rente viagère (cf. supra consid. 3). Le dénoncé n'a ainsi pas violé l'<ref-law> et la Cour d'appel n'a pas violé le droit fédéral en le constatant.
8.2 8.2.1 En niant les conflits d'intérêts créés par l'exécuteur testamentaire s'agissant de l'offre d'achat de G._ SA, du mandat confié à une fiduciaire pour la tenue des comptes de la succession, et enfin en retenant qu'il n'y a pas eu en l'espèce de manquements graves notamment en relation avec les honoraires de l'avocat et ceux dus à l'exécuteur testamentaire, partant en niant la violation des devoirs de l'exécuteur testamentaire, la cour cantonale aurait méconnu les <ref-law> et 12 let. a et c LLCA, ainsi que "la doctrine et la jurisprudence reconnaiss[a]nt qu'il est possible de révoquer un exécuteur testamentaire".
8.2.2 L'exécuteur testamentaire est responsable de la bonne et fidèle exécution des tâches qui lui sont confiées; cette responsabilité s'apprécie comme celle d'un mandataire, auquel on l'assimile (<ref-law>, arrêt 5C.311/2001 du 6 mars 2002 consid. 2b; PIOTET, op. cit., § 24 p. 141; STEINAUER, op. cit., n° 1186 p. 555 s.; GUINAND/STETTLER/LEUBA, op. cit., n° 534 p. 255). Il doit en principe exercer ses fonctions personnellement, mais peut recourir à des auxiliaires sous sa propre responsabilité pour l'exécution de tâches spéciales (STEINAUER, op. cit. n° 1170 p. 546; LOB, op. cit. p. 120; GUINAND/STETTLER/LEUBA, op. cit., n° 526 p. 252). En l'occurrence, le dénoncé, agissant dans le cadre de ses attributions d'exécuteur testamentaire a fait établir, sous sa responsabilité, les comptes de la succession par une fiduciaire avec laquelle il est en relation d'affaires, autrement dit par une société tierce professionnelle de confiance, ce qui équivaut à une exécution personnelle, la tenue des comptes n'étant pour le surplus pas critiquée par le recourant. En conséquence, l'on ne voit pas en quoi la tenue correcte des comptes par un tiers professionnel et de confiance constituerait un manque de diligence de la part de l'exécuteur testamentaire et créerait un conflit d'intérêts. S'agissant de l'offre d'achat de l'immeuble, elle n'est, comme exposé précédemment, ni contraire aux dispositions testamentaires, ni illégale (cf. supra consid. 8.1.2), partant elle ne constitue pas une violation des devoirs de l'exécuteur testamentaire, ni ne crée de conflit d'intérêts. Enfin, il n'a pas été retenu que l'exécuteur testamentaire ait manqué à ses devoirs en ce qui concerne l'encaissement d'honoraires et le paiement de l'avocat de l'hoirie de feu D.X._, ces faits n'ayant pu être prouvés (cf. supra consid. 7.3). Tout au plus, ainsi que la Cour d'appel l'a constaté, le dénoncé a pris du retard à contacter les établissements bancaires, à établir les comptes et à dresser un inventaire de la succession, griefs auxquels il a remédié en cours d'instance. Par conséquent, la critique relative aux conflits d'intérêts précités et aux graves manquements aux devoirs de l'exécuteur testamentaire est mal fondée. La cour cantonale n'a ainsi pas méconnu le droit en annulant le jugement du Président du Tribunal, estimant que les carences constatées avaient été corrigées, en sorte que la liquidation de la succession n'était ni empêchée, ni sérieusement compromise par le maintien du dénoncé dans ses fonctions, condition nécessaire au prononcé de la destitution de l'exécuteur testamentaire (LOB, op. cit., p. 109).
8.2.2 L'exécuteur testamentaire est responsable de la bonne et fidèle exécution des tâches qui lui sont confiées; cette responsabilité s'apprécie comme celle d'un mandataire, auquel on l'assimile (<ref-law>, arrêt 5C.311/2001 du 6 mars 2002 consid. 2b; PIOTET, op. cit., § 24 p. 141; STEINAUER, op. cit., n° 1186 p. 555 s.; GUINAND/STETTLER/LEUBA, op. cit., n° 534 p. 255). Il doit en principe exercer ses fonctions personnellement, mais peut recourir à des auxiliaires sous sa propre responsabilité pour l'exécution de tâches spéciales (STEINAUER, op. cit. n° 1170 p. 546; LOB, op. cit. p. 120; GUINAND/STETTLER/LEUBA, op. cit., n° 526 p. 252). En l'occurrence, le dénoncé, agissant dans le cadre de ses attributions d'exécuteur testamentaire a fait établir, sous sa responsabilité, les comptes de la succession par une fiduciaire avec laquelle il est en relation d'affaires, autrement dit par une société tierce professionnelle de confiance, ce qui équivaut à une exécution personnelle, la tenue des comptes n'étant pour le surplus pas critiquée par le recourant. En conséquence, l'on ne voit pas en quoi la tenue correcte des comptes par un tiers professionnel et de confiance constituerait un manque de diligence de la part de l'exécuteur testamentaire et créerait un conflit d'intérêts. S'agissant de l'offre d'achat de l'immeuble, elle n'est, comme exposé précédemment, ni contraire aux dispositions testamentaires, ni illégale (cf. supra consid. 8.1.2), partant elle ne constitue pas une violation des devoirs de l'exécuteur testamentaire, ni ne crée de conflit d'intérêts. Enfin, il n'a pas été retenu que l'exécuteur testamentaire ait manqué à ses devoirs en ce qui concerne l'encaissement d'honoraires et le paiement de l'avocat de l'hoirie de feu D.X._, ces faits n'ayant pu être prouvés (cf. supra consid. 7.3). Tout au plus, ainsi que la Cour d'appel l'a constaté, le dénoncé a pris du retard à contacter les établissements bancaires, à établir les comptes et à dresser un inventaire de la succession, griefs auxquels il a remédié en cours d'instance. Par conséquent, la critique relative aux conflits d'intérêts précités et aux graves manquements aux devoirs de l'exécuteur testamentaire est mal fondée. La cour cantonale n'a ainsi pas méconnu le droit en annulant le jugement du Président du Tribunal, estimant que les carences constatées avaient été corrigées, en sorte que la liquidation de la succession n'était ni empêchée, ni sérieusement compromise par le maintien du dénoncé dans ses fonctions, condition nécessaire au prononcé de la destitution de l'exécuteur testamentaire (LOB, op. cit., p. 109).
8.3 8.3.1 Le recourant critique aussi l'application du droit fédéral, dès lors que la cour cantonale devait admettre une violation par l'exécuteur testamentaire de la jurisprudence et de la doctrine relative à l'établissement d'un inventaire lors de son entrée en fonction, ainsi que des art. 154 al. 1 et 157 LIFD, celui-ci ayant tardé à dresser un inventaire et à prendre contact à cet effet avec les établissements bancaires.
8.3.2 Comme il a déjà été dit, il n'est pas contesté que l'exécuteur testamentaire ait pris du retard dans l'établissement d'un inventaire successoral, dans la prise de contact avec les établissements bancaires et dans la reddition des comptes de la succession, bien qu'il ait remédié à ces carences dans les six semaines ayant suivi le dépôt de la plainte du 25 mars 2010 (cf. supra consid. 3.6). Cela étant, l'obligation de dresser un inventaire successoral n'est pas absolue (PIOTET, op. cit., § 24 p. 146; LOB, op. cit., p. 45). En tant que le grief porte sur l'établissement de l'inventaire prévu par la législation fiscale (<ref-law>), qui n'est pas identique à l'inventaire conservatoire précité (GUINAND/STETTLER/LEUBA, op. cit., n° 437 p. 211), et sur l'obligation de collaborer avec les autorités fiscales (<ref-law>), la critique du recourant - qui n'avait encore jamais abordé la problématique de l'inventaire fiscal auparavant - est irrecevable, faute d'épuisement des instances cantonales (<ref-law>; cf. supra consid. 2 in fine).
8.3.2 Comme il a déjà été dit, il n'est pas contesté que l'exécuteur testamentaire ait pris du retard dans l'établissement d'un inventaire successoral, dans la prise de contact avec les établissements bancaires et dans la reddition des comptes de la succession, bien qu'il ait remédié à ces carences dans les six semaines ayant suivi le dépôt de la plainte du 25 mars 2010 (cf. supra consid. 3.6). Cela étant, l'obligation de dresser un inventaire successoral n'est pas absolue (PIOTET, op. cit., § 24 p. 146; LOB, op. cit., p. 45). En tant que le grief porte sur l'établissement de l'inventaire prévu par la législation fiscale (<ref-law>), qui n'est pas identique à l'inventaire conservatoire précité (GUINAND/STETTLER/LEUBA, op. cit., n° 437 p. 211), et sur l'obligation de collaborer avec les autorités fiscales (<ref-law>), la critique du recourant - qui n'avait encore jamais abordé la problématique de l'inventaire fiscal auparavant - est irrecevable, faute d'épuisement des instances cantonales (<ref-law>; cf. supra consid. 2 in fine).
8.4 8.4.1 Enfin, le recourant fait grief à la cour cantonale d'avoir arbitrairement annulé le jugement de première instance qui "était pertinent à l'évidence", au vu de la longue liste des lois violées par l'exécuteur testamentaire dénoncé.
8.4.2 Il apparaît que, contrairement à l'avis du recourant, l'exécuteur testamentaire de la succession de feue C.X._ n'a pas manqué gravement aux devoirs liés à sa fonction, celui-ci ayant remédié rapidement au retard pris pour établir l'inventaire et remettre des comptes, en sorte qu'il n'existe plus de carences depuis deux ans, partant de motifs de prononcer sa destitution. De surcroît, la plainte déposée par le dénonçant - dont les conclusions n'ont pas été modifiées au cours de la première instance - tendait à ce que l'exécuteur testamentaire dénoncé "s'acquitte de ses obligations notamment en ce qui concerne l'inventaire et les comptes de la succession" (cf. supra let. B. et consid. 4.2), non à la destitution de l'exécuteur testamentaire. Quoi qu'il en soit, cette dernière mesure n'entre en considération que lorsqu'il y a un danger concret pour les biens de la succession et qu'une mesure moins rigoureuse ne permet pas d'atteindre le but recherché (KARRER/VOGT/LEU, op. cit., n° 103 ad art. 518 ZGB; BREITSCHMID, op. cit., n° 3 p. 154 s.) car elle a des conséquences majeures sur l'administration future de la succession, l'autorité de surveillance n'ayant pas le pouvoir de nommer un remplaçant à l'exécuteur testamentaire destitué, les héritiers devant liquider eux-mêmes la succession (KARRER/VOGT/LEU, op. cit., n° 103 ad art. 518 ZGB; STEINAUER, op. cit. n° 1185d p. 555). En l'occurrence, il ne ressort pas de l'arrêt attaqué (cf. supra consid. 3.7) - et le recourant ne le prétend pas - que les biens de la succession aient été mis en péril par le retard de l'exécuteur testamentaire. Au surplus, les héritiers de feue C.X._ sont décédés respectivement en 2008 et 2009, et la liquidation de la succession est "quasiment terminée" (cf. supra consid. 3.6), ce que le recourant ne remet pas en cause. Il s'ensuit que les dernières opérations de liquidation de la succession seraient sensiblement plus compliquées si elles devaient être réglées directement par les deux hoiries de feus D.X._ et E.X._. Il ne se justifiait donc pas en l'espèce de prononcer la destitution de l'exécuteur testamentaire.
Quant au prononcé d'une autre mesure à l'encontre du dénoncé, elle ne paraît guère plus pertinente, dès lors que la surveillance de l'exécuteur testamentaire a pour but d'ordonner ou d'interdire à celui-ci de procéder un acte déterminé ou de prendre des mesures disciplinaires (GUINAND/STETTLER/LEUBA, op. cit., n° 541 p. 259; SCHREIBER, L'exécution testamentaire en droit suisse, 1940, p. 102), afin de sauvegarder les droits des successeurs et des créanciers de la succession (LOB, op. cit., p. 107). Or, le dénoncé a remédié aux carences relevées dans les semaines suivant le dépôt de plainte, en sorte que la requête tendant à ordonner à l'exécuteur testamentaire d'accomplir un acte déterminé ou à prononcer une mesure disciplinaire pour cause d'inexécution est sans objet.
8.5 En définitive, la Cour d'appel n'a ni violé le droit, ni versé dans l'arbitraire en constatant que l'exécuteur testamentaire dénoncé a négligé son devoir de diligence en tardant à établir les comptes et l'inventaire de la succession de feue C.X._, mais en relevant qu'il avait remédié à ces carences depuis près de deux ans, partant en jugeant que ces manquements ne justifiaient pas ou plus le prononcé d'une mesure administrative.
9. Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires seront mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'exécuteur testamentaire dénoncé qui n'a pas été invité à se déterminer.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à l'exécuteur testamentaire dénoncé et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 19 octobre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin