Faits:
A. Dans le cadre d'une procédure de divorce, le Président du Tribunal civil de la Gruyère a, par ordonnance du 29 avril 2005 étendue le 20 mars 2008, octroyé l'assistance judiciaire à Y._ et lui a désigné Me X._ en qualité de défenseur d'office.
Le 12 février 2009, la Cour d'appel civil du Tribunal cantonal fribourgeois a statué sur le recours en appel formé contre le jugement de divorce. Dans cet arrêt, elle a alloué à Me X._ pour son activité de défenseur d'office en première et seconde instances cantonales une indemnité de 8'375 fr. 60.
Par arrêt du 26 juin 2009, le Tribunal fédéral a admis le recours interjeté par Me X._ pour défaut de motivation de la décision concernant le montant de l'indemnité. Il a renvoyé la cause à l'autorité cantonale.
B. Statuant à nouveau le 13 août 2009, la Cour d'appel civil du Tribunal cantonal fribourgeois a arrêté l'indemnité globale due à Me X._ à 9'220 fr. 35, comprenant 8'360 fr. d'honoraires, 225 fr. de débours et 635 fr. 35 de TVA.
C. Le 19 août 2009, X._ a déposé un recours constitutionnel subsidiaire contre cette dernière décision, en demandant que l'indemnité soit fixée à 13'261 fr. 70.
Des déterminations n'ont pas été requises.
Considérant en droit:
1. 1.1 Le recours est dirigé contre un jugement rendu en matière civile (art. 72 al. 2 let. b LTF; arrêt 5D_145/2007 du 5 février 2008 consid. 1.1). La valeur litigieuse de la cause n'atteint pas le minimum légal de 30'000 fr. prévu pour le recours ordinaire (art. 74 al. 1 let. b LTF) et aucun des cas de dispense (art. 74 al. 2 LTF) n'est réalisé. Partant, seul le recours constitutionnel subsidiaire (art. 113 ss LTF) est ouvert en l'espèce.
1.2 Dirigé contre une décision finale (art. 90 LTF applicable par renvoi de l'art. 117 LTF) rendue par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 LTF applicable par renvoi de l'art. 114 LTF), le recours est en principe recevable. Il a également été déposé en temps utile (art. 100 al. 1 LTF applicable par renvoi de l'art. 117 LTF) par une partie qui a pris part à la procédure devant l'autorité précédente et a un intérêt juridique à la modification de l'arrêt attaqué (art. 115 LTF).
2. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral n'examine que les griefs soulevés et motivés de façon détaillée par la partie recourante (art. 117 et 106 al. 2 LTF). L'auteur du recours doit indiquer quel droit constitutionnel a été violé, selon lui, et montrer, par une argumentation circonstanciée, en quoi consiste la violation (ATF 133 III 439 consid. 3.2).
3. Le recourant voit dans la nouvelle décision de la cour cantonale une violation de son obligation de motiver (art. 29 al. 2 Cst.) parce qu'elle n'a pas expliqué pourquoi les indemnités allouées aux deux représentants successifs de la partie adverse étaient globalement supérieures à celle qui lui a été allouée pour son activité devant les deux instances cantonales.
3.1 La jurisprudence a notamment déduit du droit d'être entendu, garanti à l'art. 29 al. 2 Cst., l'obligation pour l'autorité de motiver, au moins brièvement, sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle (ATF 133 III 439 consid. 3.3; 130 II 530 consid. 4.3 et les arrêts cités). Lorsque le juge fixe les dépens sur la base d'une liste de frais et qu'il entend s'en écarter, il doit brièvement indiquer les raisons pour lesquelles il tient certaines prétentions pour injustifiées, afin que son destinataire puisse attaquer la décision en connaissance de cause (arrêt 5D_45/2009 du 26 juin 2009 consid. 3.1 et les arrêts cités).
3.2 Les juges cantonaux, reprenant les rubriques énoncées par le recourant dans sa liste de frais (écritures, séances, étude du dossier, conférence avec la bénéficiaire de la défense d'office, correspondance), ont arrêté les heures qu'ils estimaient nécessaires pour chacune de ces activités. Ils ont pour ce faire exposé sur quelle pièce du dossier ils se fondaient, en détaillant les raisons pour lesquelles ils s'écartaient, en faveur ou en défaveur du recourant, de la liste de frais déposée par celui-ci. Une telle motivation satisfait au devoir d'examiner et traiter les problèmes pertinents tel qu'il découle de la garantie constitutionnelle, car les motifs de la décision attaquée permettent de comprendre les éléments sur lesquels les juges cantonaux se sont fondés et le raisonnement qu'ils ont tenu. Ainsi, le droit d'être entendu du recourant n'a pas été violé, de sorte que le grief correspondant tombe à faux.
4. Le recourant dénonce une violation du principe de l'égalité de traitement. Il compare l'indemnité de 9'220 fr. 35 qui lui a été accordée par la Cour d'appel pour la procédure devant les deux instances cantonales et les indemnités octroyées aux deux conseils successifs de la partie adverse (11'320 fr. fixés par le président du Tribunal civil de l'arrondissement de la Gruyère pour l'activité de Me A._ en première instance; 3'146 fr. fixés par la Cour d'appel du Tribunal cantonal pour l'activité de Me B._ en appel).
4.1 Une décision viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et lorsque ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (ATF 134 I 23 consid. 9.1 et les arrêts cités).
Le droit à l'égalité de traitement ne peut être invoqué qu'à l'égard d'une même autorité; un organe étatique ne peut toutefois enfreindre le principe de l'égalité de traitement que s'il se met en contradiction avec lui-même (ATF 124 IV 44 consid. 2c; 103 Ia 115 consid. 4c).
4.2 En l'espèce, le recourant invoque dans une large mesure une décision d'une autre autorité, à savoir celle du Président du tribunal de la Gruyère, lequel a fixé l'indemnité due à l'avocat d'office de la partie adverse pour la première instance. Le recourant ne fait ainsi pas valoir une inégalité de traitement de la part d'une même autorité. Il ne tente pas de démontrer qu'en droit cantonal, la Cour d'appel civil serait liée par la décision du Tribunal de la Gruyère, de sorte que la question ne doit pas être examinée sous cet angle, faute de motivation (art. 106 al. 2 LTF). En ce qui concerne sa rémunération et celle du conseil de la partie adverse pour les débats d'appel, le recourant n'indique pas quelle part de sa rémunération, fixée globalement, se rapporte à son activité en appel. Il se borne à affirmer que l'indemnité allouée à Me B._ paraît peu proportionnée au regard de la sienne. A défaut de plus ample motivation, il n'y a pas lieu d'entrer en matière sur le grief.
5. Le recourant considère que la rémunération qui lui a été allouée est arbitraire.
5.1 La fixation de l'indemnité allouée à l'avocat d'office pour son activité devant les juridictions cantonales relève en principe du droit cantonal (ATF 132 I 201 consid. 7.2 et 7.3; 110 V 360 consid. 1b). L'avocat d'office a cependant droit au remboursement intégral de ses débours ainsi qu'à une indemnité s'apparentant aux honoraires perçus par le mandataire plaidant aux frais de son client. Pour fixer cette indemnité, l'autorité doit tenir compte de la nature et de l'importance de la cause, des difficultés particulières que celle-ci peut présenter en fait et en droit, du temps que l'avocat lui a consacré, de la qualité de son travail, du nombre des conférences, audiences et instances auxquelles il a pris part, du résultat obtenu ainsi que de la responsabilité assumée. A condition d'être équitable, il est admis que la rémunération de l'avocat d'office puisse être inférieure à celle du mandataire choisi. Elle doit non seulement couvrir les frais généraux de l'avocat (d'ordinaire 40% au moins du revenu professionnel brut, voire à la moitié de celui-ci; cf. ATF 122 I 1 consid. 3a et 3c et les références citées; voir aussi ATF 122 I 322 consid. 3b), mais aussi lui permettre de réaliser un gain modeste et non seulement symbolique (ATF 132 I 201 consid. 8.6).
L'autorité compétente dispose d'un large pouvoir d'appréciation dans l'application des normes cantonales relatives à l'indemnisation de l'avocat d'office. Le Tribunal fédéral n'intervient que si cette autorité a abusé du pouvoir d'appréciation qui lui est accordé ou si elle l'a excédé. Il en est ainsi lorsque la décision repose sur une appréciation insoutenable des circonstances, qu'elle est inconciliable avec les règles du droit et de l'équité, qu'elle omet de tenir compte de tous les éléments de fait propres à fonder la décision, ou encore lorsqu'elle prend au contraire en considération des circonstances qui ne sont pas pertinentes (ATF 125 V 408 consid. 3a; 122 I 1 consid. 3a et les arrêts cités). En particulier, le Tribunal fédéral fait preuve d'une grande réserve lorsque l'autorité estime excessifs le temps ou les opérations déclarés par le défenseur d'office, car il appartient aux juridictions cantonales de juger de l'adéquation entre les activités déployées par celui-ci et celles qui sont justifiées par l'accomplissement de sa tâche; la décision attaquée ne doit, dès lors, être annulée que si l'autorité a refusé d'indemniser des opérations qui relèvent incontestablement de la mission de l'avocat d'office (ATF 118 Ia 133 consid. 2d et les références citées). Enfin, il ne suffit pas que l'autorité ait apprécié de manière erronée un poste de l'état des frais ou qu'elle se soit fondée sur un argument déraisonnable. Le montant global alloué à titre d'indemnité doit se révéler arbitraire (sur cette notion: ATF 134 I 140 consid. 5.4 et les arrêts cités, 133 I 149 consid. 3.1 et les références).
5.2 La cour cantonale a rappelé que le tarif horaire des indemnités allouées au titre de l'assistance judiciaire est de 180 fr. (art. 1 al. 2 du tarif du 14 juin 2000 concernant les indemnités allouées aux défenseurs en matière d'assistance judiciaire au civil et au pénal et d'aide aux victimes d'infractions; RSF 136.12). Elle a ensuite repris de manière détaillée les rubriques de la liste de frais déposée par le recourant, pour retenir les opérations suivantes :
- 19 heures et 15 minutes pour les écritures (mémoires, requêtes, déterminations). Elle a indiqué précisément les opérations qu'elle comptabilisait et en a ajouté certaines que le recourant avait omises dans sa liste de frais. Elle a encore exposé les raisons pour lesquelles elle écartait certaines opérations que le recourant avait fait figurer sous cette rubrique ou réduisait le temps nécessaire pour d'autres.
- 6 heures pour les audiences et séances qui sont énumérées en détail et pour lesquelles la cour indique s'être fondée sur les citations à comparaître et les procès-verbaux.
- 10 heures 25 minutes pour l'étude du dossier, y compris la simple préparation des séances et l'examen de la correspondance qui dépasse la simple gestion du dossier. A nouveau, la cour cantonale précise sur quels points elle s'écarte de la liste de frais, en faveur ou en défaveur du recourant.
- 7 heures et 50 minutes de conférences avec la bénéficiaire de la défense d'office, ce qui correspond au temps comptabilisé dans la liste de frais, auxquels sont ajoutées 30 minutes conformément aux explications données par le recourant dans un courrier du 23 février 2009.
- 3 heures pour la correspondance. Sur ce point, la cour a mentionné qu'elle s'écartait du temps de 22 heures et 35 minutes comptabilisé par le recourant, qu'elle estimait largement excessif. Elle a relevé que l'intéressé n'apportait aucune indication permettant d'inférer que ces opérations ne relevaient pas de la gestion administrative du dossier et a fait référence, à titre indicatif, à l'art. 6 al. 2 et 3 du tarif du 28 juin 1988 des honoraires et débours d'avocat dus à titre de dépens en matière civile (RSF 137.21). Ces dispositions prévoient qu'en matière de dépens, un montant de 460 fr. au maximum peut être fixé au titre de la correspondance et des communications téléphoniques (al. 2), le juge pouvant aller jusqu'à 690 fr. dans les causes ayant nécessité une correspondance d'une ampleur extraordinaire (al. 3).
En conclusion, elle a relevé que le temps de travail de l'avocat devant les deux instances cantonales était ainsi arrêté à 46 heures et 30 minutes, ce qui représentait 4 heures et 30 minutes de plus par rapport au temps qu'elle avait retenu dans son arrêt du 12 février 2009. Elle a ensuite observé que cette différence s'expliquait par la présentation de la liste de frais produite qui ne comptabilisait pas les opérations sous les rubriques idoines, ce qu'elle n'avait pas remarqué la première fois.
5.3 Contrairement à ce que croit le recourant qui estime que "le commentaire des détails de cette décision paraît manifestement superflu", il lui appartenait de démontrer de manière circonstanciée que l'autorité cantonale a refusé d'indemniser des opérations qui relèvent incontestablement de sa mission d'avocat d'office, qu'elle a apprécié de manière erronée un poste de l'état des frais ou qu'elle s'est fondée sur un argument déraisonnable et que, finalement, le montant global alloué à titre d'indemnité est ainsi arbitraire.
Il ne satisfait ainsi nullement aux exigences de motivation lorsqu'il se plaint de la réduction drastique du temps admis pour la correspondance en prétendant que la référence à la réglementation des dépens " n'a pas d'objet" et contredit l'obligation de décider d'une indemnité globale équitable (art. 106 al. 2 LTF). Il en va de même lorsqu'il s'en prend aux considérations de la cour cantonale qui, sous certaines rubriques, a fait référence à son arrêt du 12 février 2009 pour signaler les opérations dont elle avait tenu compte ou non dans cette décision. On ne saurait suivre le recourant lorsqu'il soutient que ce procédé revient à renvoyer à la motivation de l'arrêt du 12 février 2009, lequel avait précisément été annulé pour défaut de motivation. Au contraire, la cour cantonale a expliqué de manière particulièrement complète et détaillée la décision de fixation des dépens due pour l'activité de défenseur d'office. Le recourant ne s'emploie toutefois pas à démontrer qu'elle a fixé sa rémunération de manière arbitraire, de sorte que son grief y relatif est entièrement irrecevable.
6. Le recours doit ainsi être rejeté dans la mesure où il est recevable, avec suite de frais à la charge du recourant, qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 700 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 22 septembre 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet