Sachverhalt:
A. Mit Beschluss vom 21. September 2005 ernannte das Friedensgericht A._ X._ zum Erbenvertreter der Erbengemeinschaft B._ und ermächtigte ihn, im Namen des Nachlasses sowohl gegen die Firma C._ als auch gegen Z._ und Y._, ein Mitglied der Erbengemeinschaft, Klage zu führen.
B. B.a Am 7. Oktober 2009 reichte die in Cape Town, Südafrika, wohnhafte Y._ beim nunmehr zuständigen Friedensgericht des Sensebezirks Beschwerde gegen Handlungen des Erbenvertreters ein und rügte dabei dessen Verhalten in der unter anderem gegen sie gerichteten, in Südafrika hängigen Forderungsklage.
B.b In diesem Beschwerdeverfahren ersuchte X._ am 26. Oktober 2009 das Friedensgericht, Y._ gestützt auf Art. 117 ZPO/FR zu verpflichten, ihm für die voraussichtlichen Prozesskosten angemessene Sicherheit zu leisten. Mit Beschluss vom 30. Oktober 2009 wies das Friedensgericht das Gesuch ab mit der Begründung, Art. 117 ZPO/FR sei auf das Beschwerdeverfahren nicht anwendbar.
C. X._ (Beschwerdeführer) hat gegen den Beschluss des Friedensgerichts beim Bundesgericht mit Eingabe vom 2. Dezember 2009 Beschwerde in Zivilsachen, eventuell subsidiäre Verfassungsbeschwerde erhoben. Er beantragt, den Beschluss des Friedensgerichts aufzuheben und die Gegenpartei zu einer Sicherheitsleistung von Fr. 40'000.-- zu verpflichten. Eventuell sei die Angelegenheit zur Festsetzung der Kaution an die Vorinstanz zurückzuweisen. Im Sinne einer vorsorglichen Massnahme ersucht er darum, das Aufsichtsbeschwerdeverfahren bis zum Entscheid über die vorliegende Beschwerde zu sistieren.
Das Friedensgericht hat sich am 15. Dezember 2009 zur Sache und zum Gesuch um vorsorgliche Massnahmen vernehmen lassen; es schliesst auf Abweisung der Beschwerde und weist darauf hin, dass dem Antrag auf Sistierung des Beschwerdeverfahrens mit Beschluss vom 3. Dezember 2009 entsprochen worden ist. Y._ (Beschwerdegegnerin) schliesst in ihrer Eingabe vom 5. Januar 2010 auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
D. Gestützt auf die Vernehmlassung des Friedensgerichts ist das Gesuch um Erlass vorsorglicher Massnahmen mit Verfügung der Präsidentin der II. zivilrechtlichen Abteilung des Bundesgerichts vom 21. Januar 2010 als gegenstandslos abgeschrieben worden.
Erwägungen:
1.1 Angefochten ist ein Beschluss, mit dem ein Gesuch um Festsetzung einer Sicherheitsleistung abgewiesen worden ist. Bei diesem Beschluss, der den zwischen den Parteien hängigen Rechtsstreit nicht beendet, handelt es sich um einen (selbstständig eröffneten) Zwischenentscheid, welcher entgegen der Rechtsmittelbelehrung nicht mit kantonaler Berufung angefochten werden kann (Urteil 4P.188/1994 vom 21. Juni 1995 E. 1b/aa, auszugsweise publ. in FZR 1995 S. 292 ff.). Er erweist sich damit als letztinstanzlich (Art. 75 Abs. 1 BGG). Dass es sich beim Friedensgericht nicht um ein oberes kantonales Gericht im Sinn von Art. 75 Abs. 2 BGG handelt, schadet nicht, zumal die eidgenössische Zivilprozessordnung noch nicht in Kraft getreten und die Übergangsfrist damit noch nicht abgelaufen ist (Art. 130 Abs. 2 BGG).
1.2 Der Rechtsweg gegen den Zwischenentscheid folgt jenem der Hauptsache. Dabei geht es um die Aufsicht über den Erbenvertreter und damit um eine Zivilsache im Sinn von Art. 72 Abs. 2 lit. b Ziff. 5 BGG nicht vermögensrechtlicher Natur; erweist sich die Beschwerde in der Hauptsache als gegeben, ist sie es auch gegen den vorliegenden Zwischenentscheid (BGE 133 III 645 E. 2.2 S. 647 f.).
1.3 Wie nachfolgend aufgezeigt wird, erweist sich die Beschwerde in der Sache als unbegründet. Von daher kann offenbleiben, ob der vorliegende Zwischenentscheid für den Beschwerdeführer einen nicht wiedergutzumachenden rechtlichen Nachteil im Sinn von Art. 93 Abs. 1 lit. a BGG bewirken kann. Auf die rechtzeitig (Art. 100 Abs. 1 BGG) eingereichte Beschwerde in Zivilsachen ist damit einzutreten. Die eventualiter eingereichte subsidiäre Verfassungsbeschwerde erweist sich als unzulässig (Art. 113 BGG).
1.4 Vor der letzten kantonalen Instanz hat der Beschwerdeführer lediglich um Festsetzung einer angemessenen Sicherheit ersucht. Soweit er nunmehr vor Bundesgericht eine Sicherheitsleistung von Fr. 40'000.-- verlangt, handelt es sich um ein neues und damit unzulässiges Begehren (Art. 99 BGG). Der Beschwerdeführer hat aber ebenso einen Antrag auf Rückweisung der Sache zu neuem Entscheid gestellt. Das Bundesgericht wäre aufgrund des festgestellten Sachverhalts nicht in der Lage, die Sicherheitsleistung selbst zu bestimmen, womit sich der Rückweisungsantrag als zulässig und ausreichend erweist (BGE 134 III 379 E. 1.3 S. 383).
1.5 Mit Bezug auf die gerügte Verletzung von Art. 117 ZPO/FR ist die Kognition des Bundesgerichts grundsätzlich auf Willkür beschränkt (Art. 95 lit. c bis lit. e BGG; BGE 133 I 201 E. 1 S. 203; 133 II 249 E. 1.2.1 S. 252).
2. 2.1 Nach Art. 117 Abs. 1 lit. a ZPO/FR kann der Kläger auf Begehren der Gegenpartei zur Sicherheitsleistung für die voraussichtlichen Prozesskosten verpflichtet werden, wenn er in der Schweiz keinen Wohnsitz hat oder ihn während des Prozesses ins Ausland verlegt. Zur Begründung der Abweisung des Antrages auf Sicherheitsleistung hat das Friedensgericht erwogen, in der Lehre scheine Einheit zu bestehen, dass es sich beim Beschwerdeverfahren gegen Handlungen des Erbenvertreters um eine quasi-administrative Untersuchung handle, die von der Offizialmaxime beherrscht sei. Diese ermögliche es der zuständigen Aufsichtsbehörde, das Verfahren auch ohne Antrag von Amtes wegen zu instruieren, wobei es in diesem Fall weder eine beschwerdeführende noch eine beschwerdegegnerische und folglich auch keine obsiegende und unterliegende Partei gebe. Zu Recht gehe die Lehre daher von einem Verfahren der freiwilligen Gerichtsbarkeit aus. Beim Beschwerdeverfahren gegen Handlungen des Erbenvertreters handle es sich nicht um einen kontradiktorischen Zivilprozess. Selbst wenn das Beschwerdeverfahren auf Antrag eines Betroffenen eingeleitet werde und die Aufsichtsbehörde somit nicht von Amtes wegen einschreite, stünden sich nicht zwei Parteien mit gegenseitigen Interessen gegenüber, sodass es auch bei einem materiellrechtlichen Entscheid keine obsiegende und unterliegende Partei gebe. Folglich könnten die Parteikosten auch keiner unterliegenden Partei auferlegt werden, wie dies in streitigen Verfahren in der Regel geschehe. Bestehe keine Grundlage, um die beschwerdeführende Partei zu den Kosten der Gegenpartei zu verurteilen, dürfe sie folgerichtig auch nicht zur Sicherheitsleistung dieser Kosten angehalten werden. Artikel 117 ZPO sei somit auf das vorliegende Beschwerdeverfahren nicht anwendbar.
2.2 Der Beschwerdeführer bezeichnet diesen Entscheid als willkürlich. Entgegen der Auffassung des Friedensgerichts habe das Kantonsgericht Freiburg im aufsichtsrechtlichen Beschwerdeverfahren die unterliegende Partei zu den Parteikosten der obsiegenden Partei verurteilt. Die Auferlegung der Parteikosten an den unterliegenden Prozessgegner entspreche somit gängiger kantonaler Praxis und der herrschenden Lehre, wonach die Kosten des Beschwerdeverfahrens gemäss dem Verursacherprinzip von den am Verfahren Beteiligten zu tragen seien. Falsch sei ferner die Auffassung des Friedensgerichts, es könne weder von einer unterliegenden noch von einer obsiegenden Partei gesprochen werden. Durch die willkürliche Nichtanwendung von Art. 117 ZPO handle das Friedensgericht schliesslich der ratio legis dieser Bestimmung zuwider, habe der Gesetzgeber doch damit einer obsiegenden Partei die effektive Eintreibung der ihr zugesprochenen Parteikosten ermöglichen wollen.
2.3 Die Beschwerdegegnerin vertritt den Standpunkt des Friedensgerichts.
3. 3.1 Wie das Friedensgericht zu Recht bemerkt, stellt die Aufsicht über den Erbenvertreter eine Angelegenheit der freiwilligen Gerichtsbarkeit dar (Max Guldener, Grundzüge der freiwilligen Gerichtsbarkeit der Schweiz, 1954 S. 84 IV). Das ihr eigene Verfahren kennt grundsätzlich keine Gegenpartei; es handelt sich vielmehr um ein Einparteiverfahren, bei dem Partei ist, wessen Sache behandelt wird. Ein (streitiges) Zweiparteienverfahren kommt aber zum Zug, wenn ein Betroffener gegen den Entscheid bzw. eine Amtshandlung der freiwilligen Gerichtsbarkeit Einspruch erhebt oder ein Rechtsmittel ergreift; diesfalls wird das Verfahren der freiwilligen Gerichtsbarkeit sachlich zu einem Zivilprozess, der aber formell als Verfahren der freiwilligen Gerichtsbarkeit weitergeführt wird (Guldener, a.a.O., S. 6; Urteil 5P.212/2005 vom 22. August 2005 E. 2.2). Im vorliegenden Fall hat eine Erbin gegen Handlungen des eingesetzten Erbenvertreters beim Friedensgericht Beschwerde erhoben. Insoweit liegt somit nach der geltenden Rechtsauffassung ein Zweiparteienverfahren vor und kann nicht ohne Willkür (Art. 9 BV) geschlossen werden, mangels eines entsprechenden Verfahrens könne die beschwerdeführende Partei nicht zu Kosten der beschwerdegegnerischen Partei verurteilt werden.
3.2 Nach Auffassung der Lehre sind die Kosten des aufsichtsrechtlichen Beschwerdeverfahrens von den am Verfahren Beteiligten zu tragen (für das Beschwerdeverfahren betreffend Aufsicht über den Erbschaftsliquidator: MARTIN KARRER, Basler Kommentar, 3. Aufl. 2007 N. 37 zu Art. 595 ZGB; betreffend Aufsicht über den Willensvollstrecker: BRUNO DERRER, Die Aufsicht der zuständigen Behörde über den Willensvollstrecker und den Erbschaftsliquidator, Diss. Zürich 1985, S. 91 f.; Peter Breitschmid, Behördliche Aufsicht über den Willensvollstrecker, in: Druey/ BREITSCHMID, Willensvollstreckung, 2001, S. 158; für das Verfahren betreffend Aufsicht über den Erbenvertreter: JENNIFER PICENONI, Der Erbenvertreter nach Art. 602 Abs. 3 ZGB, Zürcher Studien zum Verfahrensrecht, 2004, S. 131 f.).
3.3 Die Zivilprozessordnung des Kantons Freiburg enthält keine ausdrücklichen Bestimmungen betreffend das Verfahren der freiwilligen Gerichtsbarkeit. Nach Art. 195 EGZGB/FR ist das Friedensgericht unter Vorbehalt der Berufung an das Kantonsgericht zuständig, um für die Erbengemeinschaft eine Vertretung zu bestellen (Art. 602 Abs. 3 ZGB). Zudem können nach der kantonalen Praxis aufsichtsrechtliche Entscheide des Friedensgerichts im Zusammenhang mit der Erbenvertretung (Art. 602 Abs. 3 ZGB) beim Kantonsgericht mit Berufung angefochten werden, wobei die Gerichtskosten und Parteientschädigungen des Berufungsverfahrens nach der Kostenbestimmung von Art. 111 ZPO/FR geregelt werden (Art. 195 EGZGB/FR; Urteil des I. Appellationshofs des Kantonsgerichts Freiburg vom 22. Dezember 2003; Urteil des I. Appellationshofs des Kantonsgerichts Freiburg vom 20. Januar 2003 E. 2). Das Friedensgericht führt keine Gründe an, weshalb das vor ihm hängige Beschwerdeverfahren nicht der Zivilprozessordnung und der ihr eigenen Kostenregelung (Art. 111 ZPO/FR) unterstünde; entsprechende Gründe sind auch nicht ersichtlich. Somit ist nicht auszuschliessen, dass die beschwerdeführende Partei im aufsichtsrechtlichen Beschwerdeverfahren zu den Kosten der Gegenpartei verurteilt wird. Mit Art. 9 BV ist daher grundsätzlich nicht zu vereinbaren, über deren Gesuch um Sicherheitsleistung der Prozesskosten nicht zu befinden.
3.4 Das bedeutet aber noch nicht, dass der angefochtene Beschluss im Ergebnis (BGE 132 III 209 E. 2.1) willkürlich ist: Nach Art. 158 Abs. 1 lit. c ZPO/FR hat die Klage bezifferte Begehren zu enthalten (Michel Esseiva und andere, Code de procédure civile fribourgeois annoté. 2. Aufl. 2007, Kommentierung zu Art. 158 ZPO, S. 151). Im vorliegenden Fall hat sich der Beschwerdeführer darauf beschränkt, lediglich um "angemessene" Sicherheitsleistung zu ersuchen. Im Lichte der erwähnten Bestimmung über die Abfassung von Klagen ist es zumindest im Ergebnis nicht willkürlich, wenn ein nicht beziffertes Begehren ohne Weiteres abgewiesen wird; von einer anwaltlich vertretenen Partei darf erwartet werden, dass sie eine der Prozessordnung entsprechende Eingabe einreicht und ihr Sicherstellungsbegehren substanziiert.
4. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Im vorliegenden Fall besteht kein Anlass, der nicht anwaltlich vertretenen Beschwerdegegnerin eine Parteientschädigung zuzusprechen, zumal sie keinen entschädigungspflichtigen Aufwand ausgewiesen hat (BGE 133 III 439 E. 4 S. 446 unter Hinweis; 135 III 127 E. 4 S. 136).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Friedensgericht des Sensebezirks schriftlich mitgeteilt.
Lausanne, 31. März 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden