Faits:
A. Le 22 février 2006, X._ a adressé à la Justice de paix une requête de citation en conciliation dans l'action en libération de dette ouverte contre Y._ SA pour une créance de 2'700'000 fr. avec intérêt à 3.25 % dès le 15 juillet 2005 et une autre de 577'000 fr. avec intérêt à 3.5 % dès la même date. La conciliation n'a pas abouti. X._ n'ayant pas suivi en cause, Y._ SA a requis que soit fixée sa liste de dépens. Par décision du 22 décembre 2007, le Juge de paix a fixé la liste des frais de l'avocat de Y._ à un montant de 10'000 fr., mais a omis de notifier cette décision à X._. Le 19 février 2008, ledit Magistrat a rendu une nouvelle décision de fixation des dépens, reprenant le montant découlant de la première décision. Par décision du 31 octobre 2008, le Juge de paix a rejeté la réclamation déposée par X._.
B. Saisie par X._ et statuant par arrêt du 23 avril 2009, la Cour de modération du Tribunal cantonal fribourgeois a partiellement admis le recours dans la mesure où il était recevable et fixé les honoraires et débours de l'avocat de Y._ SA dus à titre de dépens par X._ à un total de 7'444 fr. 70, à savoir 6'856 fr. 90 d'honoraires, 62 fr. de débours et frais de vacation ainsi que 525 fr. 80 de TVA à 7.6 % sur 6'918 fr. 90.
C. X._ (le recourant) exerce un recours constitutionnel subsidiaire au Tribunal fédéral, dans lequel il conclut principalement à l'annulation de l'arrêt du 23 avril 2009 et à la réduction du montant des honoraires et débours d'avocat mis à sa charge dans une mesure appropriée ("angemessen herabzusetzen"), subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants, avec suite de frais et dépens. Y._ SA (l'intimée) propose principalement l'irrecevabilité, subsidiairement le rejet du recours, sous suite de frais et dépens.
Considérant en droit:
1. Le recours soumis à l'examen du Tribunal fédéral est rédigé en allemand, mais le présent arrêt sera rendu en français, langue de la décision attaquée (art. 54 al. 1 LTF).
2. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1, 329 consid. 1).
2.1 Le recours est dirigé contre un arrêt rendu en matière civile (art. 72 al. 1 LTF). La valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF); en l'occurrence, il s'agit exclusivement de celles relatives aux dépens, car la procédure sur le fond n'était plus litigieuse au moment où la décision entreprise a été rendue (cf. ATF 134 III 237 consid. 1.2); la valeur litigieuse n'atteint ainsi pas le minimum légal de 30'000 fr. du recours ordinaire en matière civile (art. 74 al. 1 let. b LTF). La cause ne correspond en outre à aucun des cas de dispense prévus par la loi (art. 74 al. 2 LTF). Partant, elle n'est susceptible que du recours constitutionnel subsidiaire (art. 113 ss LTF), à l'exclusion du recours ordinaire. Le recours est dirigé contre une décision finale et de dernière instance cantonale (cf. les art. 75 al. 1 et 90 LTF, auxquels renvoient respectivement les art. 114 et 117 LTF) et il a été déposé en temps utile (art. 45 al. 1 et 100 al. 1 LTF en liaison avec l'art. 117 LTF).
2.2 Le recourant a pris part à l'instance précédente et a été condamné à paiement, de sorte qu'il a la qualité pour recourir (art. 115 LTF). Qu'il ait indiqué, sur la page de garde de son écriture au Tribunal fédéral, qu'il dirigeait son recours contre la Cour de modération du Tribunal cantonal fribourgeois et l'ait qualifiée d'intimée, à l'exclusion de l'intimée sur le fond, n'est quoi que plaide cette dernière pas de nature à entraîner l'irrecevabilité de son acte pour cause d'absence de qualité pour défendre, étant au demeurant relevé que l'intimée sur le fond a d'office été invitée à se déterminer par le Tribunal fédéral (art. 102 al. 1 LTF auquel renvoie l'art. 117 LTF).
2.3 Selon l'art. 42 al. 1 LTF, les mémoires doivent indiquer les conclusions des parties. Saisi d'un recours constitutionnel subsidiaire, le Tribunal fédéral peut en principe statuer lui-même sur le fond (art. 107 al. 2 LTF en liaison avec l'art. 117 LTF). Le recourant ne peut dès lors pas se borner à demander l'annulation de la décision attaquée, mais doit, en principe, prendre des conclusions sur le fond du litige (ATF 134 III 379 consid. 1.3 p. 383). Les conclusions portant sur une somme d'argent doivent être chiffrées; si, d'après les conclusions présentées, le Tribunal fédéral est requis de fixer lui-même le montant réclamé - respectivement à payer -, le recours est irrecevable; des conclusions non chiffrées ne suffisent que si la somme déterminante soit d'emblée reconnaissable au regard de la motivation du recours ou de la décision attaquée (cf. ATF 134 III 235 consid. 2). Il n'est fait exception à l'obligation de prendre des conclusions sur le fond que lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait pas en situation de statuer lui-même à ce sujet et ne pourrait que renvoyer la cause à l'autorité cantonale (ATF 133 III 489 consid. 3.1 p. 489 s.). En l'occurrence, le recourant conclut formellement à ce que le montant des honoraires et débours d'avocat mis à sa charge soit réduit dans une mesure appropriée. Dans le corps de son recours, il semble reconnaître un maximum de trois heures admissibles et un tarif horaire non majoré de 230 fr. Le point de savoir si ces éléments permettent de considérer les conclusions du recours comme recevables peut toutefois demeurer indécis, le recours étant de toute façon voué à l'échec, comme on le verra ci-après. Pour la même raison, la question de savoir si le Tribunal de céans serait le cas échéant habilité à statuer lui-même sur le fond dès lors qu'il s'agit de rendre une décision fondée sur le seul droit cantonal - étant précisé que la quotité des dépens de la procédure cantonale ressortit exclusivement au droit cantonal de procédure (ATF 79 II 253 consid. 1) - peut derechef être laissée ouverte (cf. ATF 134 III 379 consid. 1.3 p. 383 s.).
2.4 Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral ne se saisit que des griefs soulevés et motivés de façon détaillée par la partie recourante (art. 106 al. 2 LTF auquel renvoie l'art. 117 LTF; ATF 133 III 439 consid. 3.2 p. 444). Il doit statuer sur la base des faits constatés dans la décision attaquée; il ne peut rectifier ou compléter que les constatations de fait auxquelles l'autorité précédente est parvenue en violation des droits constitutionnels (art. 118 LTF), pour autant que la partie recourante mette en évidence, dans le détail, les constatations prétendument viciées (ATF 133 III 393 consid. 7.1, 439 consid. 3.2 p. 445).
3. En premier lieu, le recourant se plaint d'une violation de l'interdiction de l'arbitraire (art. 9 Cst.), en particulier dans l'application de différentes dispositions du tarif du 28 juin 1988 des honoraires et débours d'avocat dus à titre de dépens en matière civile (TDep/FR; RSF 137.12); en résumé, il soutient d'une part que la cour cantonale n'aurait pas vérifié que, dans le cas d'espèce, le nombre d'heures allégué par l'avocat adverse ait été nécessaire et usuel, mais se serait limitée à le juger admissible; d'autre part, les précédents juges auraient arbitrairement statué s'agissant de la majoration du tarif horaire applicable.
3.1 Une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat, ce qu'il appartient à la partie recourante de démontrer (ATF 134 I 263 consid. 3.1 p. 265 s.). En matière d'application du droit cantonal, arbitraire et violation de la loi ne doivent pas être confondus; une violation de la loi doit être manifeste et reconnaissable d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (ATF 132 I 13 consid. 5.1 p. 18).
3.2 Selon le TDep/FR, en cas de fixation détaillée des honoraires de l'avocat dus à titre de dépens - hypothèse non contestée dans la présente cause -, l'autorité tiendra compte notamment du temps nécessaire à la conduite du procès dans des circonstances ordinaires ainsi que des intérêts en jeu (art. 2 al. 3); la fixation des honoraires dus à titre de dépens a lieu sur la base d'un tarif horaire de 230 fr. (art. 4); dans les causes de nature pécuniaire, les honoraires fixés conformément à l'art. 4 sont majorés de 250 % pour une valeur déterminante de 3'000'000 fr. à 3'500'000 fr. (art. 5 al. 2 let. d); le juge peut réduire le supplément, jusqu'à la moitié du montant fixé selon l'al. 2, notamment lorsque le procès se termine sans jugement, lorsque la procédure a été particulièrement brève, ou lorsqu'il y a une disproportion manifeste entre la valeur litigieuse et l'intérêt des parties au procès (art. 5 al. 6); l'autorité de fixation rend sa décision sur le vu du dossier judiciaire et, le cas échéant, de la liste détaillée; elle vérifie la réalité des opérations et leur nécessité pour la conduite du procès; elle provoque, au besoin, des explications contradictoires (art. 13 al. 1).
3.3 En l'occurrence, la cour cantonale a considéré que dans la mesure où le recourant contestait le principe même de l'attribution des dépens, son recours était irrecevable, car c'était la voie du recours en appel qui était ouverte à cet égard; au demeurant, le recourant ayant laissé se périmer l'instance, les dépens avaient été justement mis à sa charge. Concernant le montant des dépens, le temps retenu par le premier juge, soit 13.25 heures (dont 5.83 d'étude de dossier, 6.17 de conférences avec le client et la préparation d'audience ainsi que 1.25 pour la séance de conciliation) pouvait être considéré comme admissible s'agissant d'une procédure importante, vu la nature de la cause, la valeur litigieuse élevée, le fait qu'elle concernait deux créances et celui que ce mandataire n'avait pas été mandaté antérieurement; cela étant, deux des motifs pour lesquels il est possible de réduire la majoration de 250 % relative à la valeur litigieuse étaient réalisés en l'espèce, le procès s'étant terminé sans jugement et la procédure ayant été particulièrement brève; dans ces circonstances, une réduction à concurrence de la moitié devait intervenir; il en résultait une majoration des honoraires de 125 %, le prix de l'heure passant ainsi de 230 fr. à (230 fr. + 287 fr. 50 =) 517 fr. 50.
3.4 L'on ne voit pas qu'en statuant de la sorte, les précédents juges aient fait une application arbitraire des dispositions cantonales de procédure susmentionnées; la prise en compte de 13.25 heures de travail pour une procédure du type de celle en cause n'a rien de choquant et la détermination du taux de majoration applicable n'est pas critiquable. Cela étant, force est de constater que le recourant tente vainement, au cours de longs développements, de faire prévaloir sa propre version des choses sur celle de la cour cantonale, dont il ne démontre nullement en quoi elle serait arbitraire; clairement appellatoire, son argumentation n'est pas admissible devant le Tribunal fédéral et son grief ne résiste ainsi pas à l'examen.
4. En second lieu, le recourant estime que les juges cantonaux auraient violé la garantie de l'accès au juge (art. 29a Cst.); celle-ci veut que toute personne ait droit à ce que sa cause soit jugée par une autorité judiciaire; la Confédération et les cantons peuvent, par la loi, exclure l'accès au juge dans des cas exceptionnels. Si l'on comprend bien, le recourant soutient en substance que faire supporter à une partie, déjà au stade de la procédure de conciliation, des dépens excessifs restreindrait indûment son droit d'accéder à la justice. Son grief tombe toutefois à faux; en effet, à supposer encore que l'invocation de l'art. 29a Cst. soit véritablement pertinente en l'espèce, il ne découle en tout état pas de cette disposition une garantie de la gratuité de la procédure; pour le surplus, le recourant ne démontre pas davantage en quoi le droit cantonal de procédure garantirait la gratuité au stade de la procédure de conciliation, ni en quoi les précédents juges auraient erré en lui faisant supporter les dépens de l'avocat adverse, au terme d'une procédure de conciliation qui s'était achevée sans que le recourant n'ait suivi en cause. Au demeurant, à supposer que le recourant entende contester le principe même de l'allocation de dépens dans le cadre d'une procédure de conciliation, son moyen est irrecevable faute d'épuisement des voies de droit cantonales, car les précédents juges ont expressément relevé que c'était la voie du recours en appel qui était ouverte concernant cette question. En définitive, le grief du recourant ne saurait donc être accueilli.
5. Il résulte des considérants qui précèdent que le recours, manifestement mal fondé, doit être rejeté dans la mesure de sa recevabilité, par un arrêt sommairement motivé (art. 109 al. 2 et 3 LTF en liaison avec l'art. 117 LTF).
6. Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimée sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'500 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Cour de modération du Tribunal cantonal fribourgeois.
Lausanne, le 9 septembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz