Faits:
A. Y._ SA est une société anonyme ayant pour but les investigations et les enquêtes dans différents domaines, notamment commerciaux et financiers. Son directeur A._ est inscrit au tableau des agents de renseignements commerciaux prévu à l'art. 1 al. 2 de la loi genevoise sur les agents intermédiaires du 20 mai 1950 (LAInt/GE; RSG I 2 12).
Le 18 mai 2001, X._ a approché Y._ SA en vue d'effectuer plusieurs missions de recherche d'informations et de surveillance dans le cadre d'un litige l'opposant à un ancien associé. Deux missions ont été effectuées sous les noms de code "V._" et "W._". Y._ SA s'est en outre employée à trouver un acheteur pour des actions que X._ détenait ainsi qu'à négocier une issue au litige divisant X._ de son ancien associé.
Le 10 septembre 2001, Y._ SA a adressé à X._ une première note d'honoraires no 10'901, d'un montant de 86'080 fr. Le 1er octobre 2001, celle-là a adressé à celui-ci une seconde note d'honoraires no 11'001 d'un montant de 129'120 fr. pour l'ensemble des activités déployées jusqu'au 30 septembre 2001, à l'exclusion des activités de surveillance, facturées séparément. Cette seconde note comportait quatre postes: recherches sur différentes personnes et sociétés, 10'000 fr.; consultation de bases de données, 1'500 fr.; débours, 2'500 fr.; honoraires pour le temps consacré par A._ et ses collaborateurs à l'étude du dossier, aux entretiens avec les avocats de X._, aux travaux de coordination et d'organisation de sa défense et à l'assistance logistique et technique dans le cadre de l'opération "W._", 116'000 fr. (deux cent dix-huit heures à 350 fr., cent quarante-huit heures à 250 fr. et vingt-sept heures à 100 fr.). Le montant total des quatre postes était réduit d'un rabais de 10'000 fr. et augmenté de la TVA à concurrence de 9'120 fr., ce qui donnait le montant final de 129'120 francs.
Le 28 février 2002, Y._ SA a mis X._ en demeure de lui verser le solde impayé des factures, soit 95'000 fr. Le 7 mai 2002, elle lui a fait notifier un commandement de payer auquel le poursuivi a formé opposition.
B. Le 1er avril 2003, Y._ SA a déposé devant le Tribunal de première instance du canton de Genève une demande tendant au paiement par X._ de 95'000 fr. avec intérêt.
Par jugement du 6 mai 2004, le tribunal, se référant à la jurisprudence cantonale en matière de taxation des honoraires d'avocat, a invité la partie la plus diligente à saisir la Commission de taxation des honoraires prévue à l'art. 15 du règlement genevois d'exécution de la loi sur les agents intermédiaires du 31 octobre 1950 (RAInt/GE; RSG I 2 12.01). Statuant sur appel de Y._ SA par arrêt du 12 novembre 2004, la Cour de justice du canton de Genève a confirmé cette décision.
Saisie par Y._ SA, la Commission de taxation des agents intermédiaires a rendu sa décision le 24 novembre 2006. Elle a confirmé la note d'honoraires no 10'901 d'un montant de 86'080 fr. et écarté de la note d'honoraires no 11'001 les trois postes de 10'000 fr., 1'500 fr. et 2'500 fr. Elle s'est enfin déclarée incompétente pour taxer le poste de 116'000 fr. de la note d'honoraires no 11'001, au motif qu'il ne correspondait absolument pas aux activités classiques d'un agent de renseignements commerciaux ou d'un détective privé.
Par la suite, les parties ont modifié leurs conclusions dans la procédure devant le Tribunal de première instance. Y._ SA a conclu à ce que X._ soit condamné à lui payer 81'095 fr. plus intérêt et celui-ci a reconnu devoir 12'150 francs.
Par jugement du 11 octobre 2007, le Tribunal de première instance a condamné X._ à payer à Y._ SA 81'095 fr. avec intérêt à 5 % l'an dès le 1er mars 2002.
Statuant le 16 mai 2008 sur appel de X._, la Chambre civile de la Cour de justice a confirmé le jugement du 11 octobre 2007.
C. X._ (le recourant) interjette un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut en particulier à l'annulation de l'arrêt du 16 mai 2008 et au renvoi de la cause à la Cour de justice afin qu'elle-même renvoie l'instruction de la cause en mains de la Commission genevoise de taxation des honoraires des agents intermédiaires aux fins de taxation, avec suite de frais et dépens.
Alp Service SA (l'intimée) propose le rejet du recours en matière civile et l'irrecevabilité, subsidiairement le rejet, du recours constitutionnel subsidiaire, sous suite de dépens.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 134 III 235 consid. 1).
1.1 L'objet du présent litige est la rémunération due au mandataire; la question relève du droit civil (cf. art. 394 al. 3 CO) et donc du recours en matière civile (art. 72 al. 1 LTF). La valeur litigieuse, déterminée par le montant encore litigieux devant la dernière instance cantonale (art. 51 al. 1 let. a LTF), est en l'espèce de (81'095 fr. - 12'150 fr. =) 68'945 fr., montant supérieur au seuil de 30'000 fr. ouvrant la voie du recours en matière civile (art. 74 al. 1 let. b LTF). Il s'ensuit l'irrecevabilité du recours constitutionnel subsidiaire (art. 113 LTF).
1.2 Le mémoire de recours doit indiquer les conclusions (art. 42 al. 1 LTF). Saisi d'un recours en matière civile, le Tribunal fédéral peut en principe statuer lui-même sur le fond (art. 107 al. 2 LTF), comme au demeurant aussi lorsqu'il est saisi d'un recours constitutionnel subsidiaire (art. 117 LTF). Le recourant ne peut dès lors pas se borner à demander l'annulation de la décision attaquée, mais doit prendre des conclusions sur le fond du litige; des conclusions tendant uniquement à l'annulation de la décision attaquée et au renvoi de la cause à l'autorité cantonale ne suffisent pas et entraînent l'irrecevabilité du recours. Il en va différemment uniquement lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait pas en situation de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (ATF 133 III 489 consid. 3.1 p. 489 s.). Tel est le cas en l'espèce, où le recourant conteste la compétence de la Cour de justice pour statuer.
1.3 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente. Toutefois, compte tenu de l'exigence de motivation (art. 42 al. 1 et 2 LTF), sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1 p. 104 s.). En outre, il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF). Pour ces griefs, les exigences en matière de motivation correspondent à celles prévues à l'art. 90 al. 1 let. b OJ pour l'ancien recours de droit public; le recourant doit discuter les attendus de la décision attaquée et exposer de manière claire et circonstanciée en quoi consiste la violation du droit constitutionnel (ATF 133 III 393 consid. 6).
Le recours en matière civile ne peut par contre pas être formé pour violation du droit cantonal en tant que tel; en revanche, il est possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 133 III 462 consid. 2.3).
2. En l'occurrence, le recourant soulève un seul grief. Il se plaint d'une violation de l'interdiction constitutionnelle de l'arbitraire (art. 9 Cst.) dans l'application de l'art. 15 RAInt/GE. En résumé, il soutient que la Commission de taxation était compétente pour se prononcer sur le poste de 116'000 fr. et que la Cour de justice ne pouvait dès lors pas le faire elle-même mais devait, nonobstant le fait que la Commission s'était déclarée incompétente, lui retourner le dossier afin qu'elle statue.
2.1 Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution que celle retenue par l'autorité cantonale pourrait entrer en considération ou même serait préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, se trouve en contradiction claire avec la situation de fait, viole gravement une norme ou un principe juridique indiscuté, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. En outre, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 133 I 149 consid. 3.1).
En matière d'application du droit cantonal, arbitraire et violation de la loi ne doivent pas être confondus; une violation de la loi doit être manifeste et reconnaissable d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Il n'y a pas arbitraire du seul fait qu'une autre solution paraît également concevable, voire même préférable (ATF 132 I 13 consid. 5.1 p. 18).
2.2 A teneur de l'art. 1 LAInt/GE, la loi est applicable aux "agents intermédiaires" exerçant les professions d'agents en fonds de commerce ou d'agents de renseignements (agents de renseignements commerciaux et détectives privés). L'agent intermédiaire en fonds de commerce est celui qui fait profession de s'entremettre dans la vente, l'achat, la cession, la remise ou la reprise d'un fonds de commerce, quel que soit le genre de commerce exploité (art. 7 LAInt/GE). L'agent de renseignements commerciaux est celui qui fait profession de donner des renseignements d'ordre commercial sur un tiers ou une affaire déterminée (art. 13 al. 1 LAInt/GE). Enfin, le détective privé est celui qui fait profession de donner des renseignements sur un tiers (art. 13 al. 2 LAInt/GE).
Sous le titre "taxation", l'art. 15 RAInt/GE prévoit que tout différend quant aux honoraires, provisions, commissions, déboursés ou émoluments réclamés par un agent intermédiaire peut faire l'objet d'une demande de taxation adressée au département (al. 1). Celui-ci transmet la demande à une commission de taxation de trois membres, composée d'un juge au Tribunal de première instance, qui la préside, d'un représentant du département et d'un représentant de la profession entrant en considération (al. 2). La commission juge en dernier ressort après avoir entendu les parties (al. 3 phr. 2).
2.3 Le droit genevois connaît une procédure similaire pour la taxation des honoraires d'avocat; le Tribunal de première instance s'est d'ailleurs référé à la jurisprudence rendue en cette matière dans sa décision du 6 mai 2004.
La Commission de taxation des honoraires d'avocat, prévue par la loi genevoise sur la profession d'avocat du 26 avril 2002 (LPAv/GE; RSG E 6 10), statue en cas de contestation relative au montant des honoraires et des débours d'un avocat en matière judiciaire ou extrajudiciaire (art. 36 al. 1 LPAv/GE). Elle se borne à fixer le montant des honoraires et débours. Les questions relatives à l'existence et au montant de la créance, notamment celles qui ont trait à l'exécution du mandat ou au règlement des comptes entre les parties, sont du ressort du juge ordinaire (art. 39 al. 1 LPAv/GE). Sa décision ne constitue par un titre exécutoire, mais elle lie le juge civil (cf. arrêt P.23/1981 du 11 novembre 1981, reproduit in SJ 1982 p. 452, consid. 4b p. 452). La décision de la commission de taxation ne peut être frappée de recours (art. 38 al. 2 LPAv).
Il a été jugé que la décision de la Commission de taxation des honoraires d'avocat était ainsi rendue en dernière instance cantonale (art. 75 al. 1 LTF) et qu'elle terminait la procédure pour ce qui concernait la fixation du nombre d'heures de travail et du tarif horaire. La jurisprudence l'a considérée comme décision finale susceptible de recours (art. 90 LTF) nonobstant la possibilité des parties d'en appeler au juge civil pour fixer le montant finalement dû par le mandant à l'avocat (cf. arrêt 4A_212/2008 du 15 juillet 2008, consid. 1.1).
2.4 Dans la présente cause, la décision attaquée est l'arrêt de la Cour de justice rendu sur appel contre le jugement du Tribunal de première instance, arrêt dans lequel cette autorité-ci s'est prononcée sur le poste de 116'000 fr. La question litigieuse est celle de savoir si elle était compétente pour le faire, plus précisément si elle a appliqué de manière arbitraire le droit cantonal en admettant qu'elle avait cette compétence et en statuant en conséquence.
Le recourant soutient que ce faisant, la Cour de justice a appliqué arbitrairement l'art. 15 RAInt/GE, et il tente de démontrer que la Commission de taxation était en réalité compétente pour taxer le poste de 116'000 fr. La question n'est toutefois pas tellement de savoir si la Commission de taxation a eu tort ou raison, mais si le Tribunal de première instance puis la Cour de justice pouvaient se prononcer sur ce poste dès lors que la Commission s'était déclarée incompétente pour le faire.
Hormis l'art. 15 RAInt/GE, le recourant ne cite aucune autre disposition qui ferait interdiction aux tribunaux civils genevois de connaître de la question des honoraires des mandataires inscrits au tableau des agents intermédiaires. Il ne cite en particulier aucune disposition de la LAInt/GE qui limiterait la compétence générale des tribunaux civils découlant de l'art. 22 de la loi genevoise sur l'organisation judiciaire du 22 novembre 1941 (LOJ/GE; RSG E 2 05); on n'en trouve d'ailleurs pas.
L'art. 15 RAInt/GE ne prévoit pas explicitement une telle limitation; il n'en dit mot. Cette disposition prévoit par contre que la Commission juge en dernier ressort (al. 3 phr. 2), donc que sa décision ne peut pas faire l'objet d'un recours cantonal; cette réglementation correspond à celle applicable aux décisions de la Commission de taxation des honoraires d'avocat, qui prévoit que le juge civil est lié par la décision de la Commission. Or, il n'y a rien d'insoutenable, bien au contraire, à considérer que le juge civil, lié par les décisions de la Commission de taxation en matière d'agents intermédiaires, l'est aussi par celle par laquelle elle se déclare incompétente. Permettre au juge civil de ne pas accepter une telle décision d'incompétence et d'obliger la Commission à entrer en matière reviendrait à lui reconnaître la compétence d'examiner et de refuser la décision de la Commission alors que l'art. 15 RAInt/GE prévoit qu'elle statue en dernier ressort. Le grief d'application arbitraire de l'art. 15 RAInt/GE par la Cour de justice est ainsi infondé.
Au demeurant, on peut relever, bien que cela ne soit pas déterminant en l'espèce, que la Commission de taxation n'est pas tombée dans l'arbitraire en se déclarant incompétente. Il n'est en effet nullement insoutenable de limiter l'application de la procédure de taxation aux activités typiques des agents intermédiaires, telles qu'elles sont décrites aux art. 7 et 13 LAInt/GE, et de l'exclure pour d'autres prestations fournies par une personne inscrite au tableau des agents intermédiaires.
Les considérants qui précèdent conduisent au rejet du recours en matière civile.
3. Compte tenu de l'issue du litige, les frais et dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 4'500 fr., sont mis à la charge du recourant.
4. Une indemnité de 5'500 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 1er octobre 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Cornaz