Faits: A. A.a C.X._ est décédée le 4 octobre 2007, laissant comme héritiers ses deux frères, D.X._ et E.X._ et en désignant B._ en qualité d'exécuteur testamentaire. A.b Le 11 janvier 2008, D.X._ est décédé en laissant son fils et son épouse comme héritiers. A.c E.X._ est décédé le 5 octobre 2009, désignant F._ en qualité d'héritier unique de sa succession et A._ en qualité d'exécuteur testamentaire. B. Le 25 mars 2010, A._ a dénoncé B._ au Président du Tribunal d'arrondissement de la Sarine, en qualité d'autorité de surveillance, concluant au prononcé de mesures administratives afin que l'exécuteur testamentaire de la succession de feue C.X._ s'acquitte de ses obligations, notamment en ce qui concerne l'inventaire et les comptes de la succession. B.a Par décision du 10 janvier 2012, le Président du Tribunal a révoqué B._ de sa fonction d'exécuteur testamentaire. B._ (ci-après: le dénoncé) a recouru contre cette décision le 9 février 2012, concluant à son annulation et à la constatation que la procédure était devenue sans objet. A._ (ci-après: le dénonçant) a conclu au rejet du recours dans sa réponse du 13 mars 2012. B.b Par arrêt du 23 avril 2012, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Cour d'appel), a admis le recours et, partant, elle a annulé la décision du Président du Tribunal du 10 janvier 2012 et rejeté la plainte du dénonçant à l'encontre de l'exécuteur testamentaire de la succession de feue C.X._, dans la mesure où cette plainte n'était pas sans objet. C. Par acte du 30 mai 2012, le dénonçant interjette un recours au Tribunal fédéral. Il conclut principalement à l'annulation de l'arrêt entrepris et à la confirmation de la décision de première instance, subsidiairement au prononcé de mesures disciplinaires adéquates à l'encontre du dénoncé, plus subsidiairement encore, au renvoi de la cause à l'autorité précédente. Des réponses n'ont pas été requises.