Faits:
A. Le 20 juin 2006, X._, se fondant sur l'existence d'un contrat de travail, a assigné Y._ SA devant la juridiction des prud'hommes du canton de Genève en paiement de 12'851 fr. 88 à titre de supplément de salaire pour travail de nuit, 9'766 fr. 12 à titre de supplément de salaire pour travail le dimanche et les jours fériés, 209'493 fr. à titre de salaire afférent aux vacances et 226'944 fr. à titre d'indemnité pour vacances non prises. Il a en outre demandé le versement d'arriérés de salaires, à calculer sur la base de la différence entre le 45 % des honoraires encaissés et le 45 % des honoraires facturés par Y._ SA.
Par jugement sur compétence du 28 août 2007, le Tribunal des prud'hommes, considérant que les parties n'étaient pas liées par un contrat de travail, s'est déclaré incompétent à raison de la matière et, partant, a déclaré irrecevable la demande de X._.
Saisie par X._ et statuant par arrêt du 31 mai 2008, la Cour d'appel de la juridiction des prud'hommes du canton de Genève a confirmé le jugement du 28 août 2007.
B. X._ (le recourant) interjette un recours en matière civile au Tribunal fédéral. Invoquant l'art. 319 CO, il conclut, avec suite de dépens, à ce que l'arrêt du 31 mai 2008 soit annulé et à ce que la juridiction des prud'hommes du canton de Genève soit déclarée compétente, cela fait, principalement à ce que son adverse partie soit condamnée à lui payer les arriérés de salaire sur la base de la différence entre ce qui lui a été versé et le 45 % des honoraires facturés par celui-ci durant toute la durée des rapports de travail ainsi que la somme de 209'493 fr. à titre de salaire afférent aux vacances, sous réserve d'amplification en fonction du réajustement de son salaire de base, subsidiairement à ce que la cause soit renvoyée à la juridiction cantonale pour instruction sur ses prétentions au fond.
Y._ SA (l'intimée) conclut principalement au rejet du recours et à ce qu'il soit dit en conséquence que la juridiction des prud'hommes n'est pas compétente, subsidiairement au déboutement de son adverse partie de toutes ses conclusions, plus subsidiairement au renvoi de la cause au Tribunal des prud'hommes pour nouvelle décision dans le sens des considérants.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 134 III 235 consid. 1).
En l'espèce, les autorités cantonales, se penchant sur la question de leur compétence préalablement à l'examen du fond, se sont déclarées incompétentes à raison de la matière pour connaître des conclusions prises par le recourant. A cet égard, elles ont appliqué - explicitement pour ce qui est du Tribunal et implicitement pour ce qui concerne la Cour d'appel - l'art. 1 al. 1 let. a de la loi genevoise sur la juridiction des prud'hommes (juridiction du travail) du 25 février 1999 (LJP/GE; RSG E 3 10), qui prévoit que la juridiction des prud'hommes est compétente pour juger les contestations entre employeurs et salariés pour tout ce qui concerne leurs rapports découlant d'un contrat de travail, au sens du titre dixième du code des obligations.
Or, si le droit cantonal, dans un domaine de son ressort exclusif - étant précisé que l'organisation judiciaire, la procédure et l'administration de la justice en matière de droit civil sont du ressort des cantons (art. 122 al. 2 Cst.) -, déclare applicable une règle du droit fédéral, utilise une notion de droit fédéral ou pose une question préalable de droit fédéral, cela n'a pas pour effet de transformer la question de droit cantonal en une question de droit fédéral; lorsque la question principale relève du droit cantonal, les questions préalables qu'il pose et les notions auxquelles il se réfère sont également considérées comme relevant du droit cantonal (cf. ATF 128 III 76 consid. 1a p. 80). Que le droit cantonal utilise la notion de "contrat de travail" n'enlève donc rien au fait que la compétence de la juridiction des prud'hommes du canton de Genève est une question de pur droit cantonal.
Cela étant, le recours en matière civile ne peut pas être formé pour violation du droit cantonal en tant que tel (cf. art. 95 et 96 LTF). Il est en revanche possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 134 III 379 consid. 1.2 p. 382 s.). Le recourant n'a toutefois pas invoqué l'interdiction de l'arbitraire, ni aucun autre droit constitutionnel. Or, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF). La Cour de céans n'a donc pas à entrer en matière sur cette question. Le recours, qui porte en réalité sur une prétendue violation du droit cantonal, est donc irrecevable.
2. Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Celui-ci doit en outre payer des dépens à l'intimée, alors même qu'elle n'a pas pris de conclusions en ce sens, puisque les dépens sont alloués d'office à toute partie en droit de les recevoir (cf. art. 68 al. 1 LTF; ATF 111 Ia 154 consid. 4 et 5).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 4'500 fr., sont mis à la charge du recourant.
3. Une indemnité de 5'500 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel de la juridiction des prud'hommes du canton de Genève.
Lausanne, le 11 novembre 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Cornaz