Faits:
A. La Société suisse de X._ est une association d'étudiants réservée aux personnes de sexe masculin. Elle comporte différentes sections, dont la Section vaudoise de la société suisse de X._ (ci-après: la Section vaudoise de X._). Constituée en 1820, il s'agit d'une association au sens du Code civil suisse, qui a son siège à Lausanne. Selon l'art. 6 ch. 1 de ses statuts du 5 décembre 2003, il faut, pour être membre actif de la Section vaudoise de X._, avoir 18 ans révolus, être de sexe masculin et prouver son immatriculation régulière dans unes des Hautes Ecoles de Suisse.
B. La reconnaissance d'associations universitaires a été réglée pour la première fois par le Conseil d'Etat vaudois dans un règlement du 9 mars 1994. Aucune décision n'a été prise au sujet de la reconnaissance de la Section vaudoise de X._, mais celle-ci a bénéficié de fait d'un statut d'association universitaire reconnue.
Le 29 janvier 2007, la Direction de l'Université de Lausanne (ci-après: l'Université) a adopté une directive selon laquelle les associations souhaitant obtenir une reconnaissance comme association universitaire ou la confirmation d'une reconnaissance antérieure doivent adresser une requête à l'Université.
Informée que son statut serait reconsidéré, la Section vaudoise de X._ a demandé à l'Université, le 19 octobre 2007, la confirmation de son statut antérieur, conformément aux dispositions légales et réglementaires.
C. Le 30 janvier 2008, l'Université a refusé d'accorder à la Section vaudoise de X._ le statut d'association universitaire reconnue, au motif que ses statuts soumettaient la qualité de membre à l'appartenance au sexe masculin.
Par décision du 22 mai 2008, la Commission de recours de l'Université de Lausanne (ci-après la Commission de recours) a rejeté le recours déposé par la Section vaudoise de X._ à l'encontre de la décision du 30 janvier 2008. Elle estimait que l'Université pouvait exiger que, pour être reconnue comme associations universitaires, le sociétariat des associations candidates ne soit pas discriminatoire.
Par arrêt du 16 septembre 2009, le Tribunal cantonal vaudois a admis le recours formé par la Section vaudoise de X._ et annulé la décision de la Commission de recours du 22 mai 2008, tout en renvoyant la cause à cette autorité pour nouvelle décision au sens des considérants. En substance, les juges cantonaux ont estimé que la Commission de recours avait admis à tort que l'Université était habilitée à refuser la reconnaissance de la Section vaudoise de X._ en raison de son sociétariat limité aux personnes de sexe masculin et lui ont renvoyé la cause pour examiner si les autres conditions permettant la reconnaissance étaient remplies.
D. L'Université forme un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 16 septembre 2009. Elle conclut, avec suite de frais et dépens, à l'admission du recours et à la réforme de l'arrêt attaqué, en ce sens que le recours déposé par la Section vaudoise de X._ est rejeté et la décision rendue le 22 mai 2008 par la Commission de recours confirmée.
Le Tribunal cantonal s'en remet à justice s'agissant de la recevabilité du recours et conclut au fond à son rejet, en se référant aux considérants de son arrêt. La Commission de recours conclut à l'admission du recours déposé par l'Université. Quant à la Section vaudoise de X._, elle conclut, avec suite de frais et dépens, au rejet du recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (art. 29 al. 1 LTF; ATF 135 III 430 consid. 1 p. 331; 483, consid. 1 p. 485).
1.1 L'arrêt attaqué a été rendu en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause relevant du droit public (art. 82 let. a LTF), qui ne tombe pas sous le coup des exceptions de l'art. 83 LTF. La voie du recours en matière de droit public est donc en principe ouverte.
1.2 Aux termes de l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (a), est particulièrement atteint par la décision ou l'acte normatif attaqué (b), et a un intérêt digne de protection à son annulation ou à sa modification (c). Lorsqu'elles remplissent ces conditions, les collectivités publiques peuvent fonder directement sur cette disposition leur qualité pour former un recours en matière de droit public, à condition qu'elles soient dotées de la personnalité juridique (ATF 135 II 12 consid. 1.2.1 p. 15 et les arrêts cités; voir aussi arrêt 8C_57/2009 du 13 janvier 2010 destiné à la publication, consid. 3.1). Encore faut-il que les collectivités publiques soient touchées comme des particuliers ou qu'elles soient atteintes de manière qualifiée dans leurs intérêts dignes de protection découlant de la puissance publique (ATF 135 I 43 consid. 1.3 p. 47; 134 II 45 consid. 2.2.1 p. 47).
En l'espèce, l'Université recourante est un établissement de droit public autonome doté de la personnalité morale (art. 1 de la Loi vaudoise sur l'Université de Lausanne du 6 juillet 2004; RS VD 414.11). En vertu du droit cantonal, elle a la compétence de reconnaître en qualité d'associations universitaires les associations qui remplissent les conditions posées à l'art 13 du Règlement d'application de la loi du 6 juillet 2004 sur l'Université de Lausanne (RLUL; RS VD 414.11.1). A ce titre, la recourante a participé à la procédure devant l'instance inférieure. La compétence de reconnaître une association en qualité d'association universitaire fait partie de ses prérogatives telles que définies par le droit cantonal et qui découlent de son statut d'établissement autonome. En outre, cette reconnaissance engage l'image même de l'Université, de sorte que celle-ci a un intérêt digne de protection à attaquer une décision qui aurait pour conséquence de la contraindre à reconnaître une association qui, selon elle, comporte des aspects contraires aux principes qu'elle s'engage à respecter. Elle a ainsi qualité pour recourir au sens de l'art. 89 al. 1 LTF (cf. par analogie, arrêt 2A.658/2005 du 28 juin 2006, consid. 1.2.2, rendu sous l'empire de l'art. 103 let. a OJ).
1.3 Aux termes de l'art. 90 LTF, le recours au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure. Il est aussi recevable contre toute décision qui statue sur un objet dont le sort est indépendant de celui qui reste en cause ou qui met fin à la procédure à l'égard d'une partie des consorts (décision partielle; art. 91 let. a et b LTF). Le recours est enfin ouvert contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (art. 92 al. 1 LTF). Les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours aux conditions de l'art. 93 al. 1 LTF.
1.3.1 L'arrêt attaqué ne peut être qualifié de décision finale au sens de l'art. 90 LTF, dès lors qu'il ne met pas fin à la procédure. Il ne s'agit pas non plus d'un renvoi que la jurisprudence assimile à une décision finale, car il laisse une marge de manoeuvre à l'autorité précédente (ATF 135 V 141 consid. 1.1 p. 143; arrêt 9C_491/2008 du 21 avril 2009 consid. 1.2), celle-ci étant chargée d'examiner les autres conditions à la reconnaissance de la qualité d'association universitaire de l'intimée posée par l'art. 13 RLUL.
L'arrêt attaqué ne revêt pas davantage les caractéristiques d'une décision partielle contre laquelle un recours est recevable en vertu de l'art. 91 LTF (à ce sujet: ATF 135 V 141 consid. 1.4.1 p. 144; 133 V 477 consid. 4.1.2 p. 480): le Tribunal cantonal n'a pas statué sur un objet dont le sort est indépendant de celui qui reste en cause (art. 91 let. a LTF), mais seulement sur l'une des conditions matérielles à la reconnaissance de l'association intimée; en outre, il n'y a pas de consorts, de sorte que l'hypothèse prévue à l'art. 91 let. b LTF est exclue.
Conformément à la jurisprudence relative aux art. 91 ss LTF, les décisions qui ne tranchent qu'un aspect du litige, en particulier celles qui, comme en l'espèce, se prononcent sur l'une des conditions matérielles d'une prétention, doivent être qualifiées de décisions préjudicielles ou incidentes (ATF 134 II 137 consid. 1.3.2 p. 140 et les références citées). Comme l'arrêt attaqué ne porte ni sur la compétence ni sur une demande de récusation (art. 92 LTF), la possibilité de recourir à son encontre doit donc être analysée en application de l'art. 93 LTF (ATF 133 V 477 consid. 4.2 p. 481).
1.3.2 Selon l'art. 93 al. 1 LTF, les décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). Si le recours n'est pas recevable ou n'a pas été utilisé, les décisions préjudicielles et incidentes peuvent être attaquées par un recours contre la décision finale dans la mesure où elles influent sur le contenu de celle-ci (art. 93 al. 3 LTF).
L'objectif poursuivi par cette disposition est de décharger le Tribunal fédéral en faisant en sorte que, dans la mesure du possible, celui-ci soit amené à trancher l'ensemble du litige dans une seule décision (ATF 135 II 30 consid. 1.3.2 p. 34). Les exceptions permettant de recourir contre une décision préjudicielle ou incidente doivent donc être appréciées restrictivement, ce d'autant que les parties n'en subissent en principe pas de préjudice, puisqu'elles peuvent encore attaquer la décision préjudicielle ou incidente avec la décision finale en vertu de l'art. 93 al. 3 LTF (arrêt 8C_817/2008 du 19 juin 2009 consid. 4.2.1).
Il appartient à la partie recourante de démonter l'existence des conditions de l'art. 93 al. 1 LTF (ATF 134 III 426 consid. 1.2 in fine p. 429), à moins que celles-ci ne fassent aucun doute (ATF 133 III 629 consid. 2.3.1 p. 632).
1.3.3 En l'espèce, la recourante n'établit nullement l'existence de conditions ouvrant une voie de recours au Tribunal fédéral sur la base de l'art. 93 al. 1 let. a ou b LTF. Reste à déterminer si celles-ci sont réalisées de manière évidente.
Le préjudice irréparable doit être de nature juridique pour ouvrir une voie de recours sur la base de l'art. 93 al. 1 let. a LTF (ATF 135 II 30 consid. 1.3.4 p. 36); une simple prolongation de la procédure ou l'augmentation des frais de la cause ne suffit pas (ATF 134 II 137 consid. 1.3.1 p. 140 et les arrêts cités; 133 V 477 consid. 5.2.1 et 5.2.2 p. 483). Il est admis que l'autorité en droit de recourir à qui la cause est renvoyée et qui doit elle-même rendre une décision qu'elle considère comme contraire au droit subit un préjudice irréparable, car elle ne pourra par la suite plus contester sa propre décision (ATF 133 V 477 consid. 5 p. 482 ss; 133 II 409 consid. 1.2 p. 412). Il en va de même si la cause n'est pas renvoyée directement à cette autorité, mais que, selon la procédure applicable, cette dernière serait dans l'impossibilité de recourir devant les instances inférieures à l'encontre de la décision sur renvoi (arrêts 8C_817/2008 du 19 juin 2009 consid. 4.2.1; 2C_258/2008 du 27 mars 2009 consid. 3.6.2, publié in StE 2009 B 96.21 no 14).
En l'espèce, la cause est renvoyée à la Commission de recours, de sorte que la recourante n'est pas dans une situation où elle devrait elle-même rendre une décision qu'elle considérerait comme contraire au droit. En outre, la Commission de recours étant une autorité indépendante de l'Université (art. 84 al. 1 LUL), il n'est pas évident que la recourante soit dans l'impossibilité de recourir devant le Tribunal cantonal si la décision rendue à la suite du renvoi lui était défavorable. Il convient de souligner que cet aspect relève du droit cantonal, que le Tribunal fédéral ne vérifie pas d'office (art. 106 al. 2 LTF). Or, en l'absence de toute motivation sur ce point, ce n'est que si un recours de l'Université apparaissait d'emblée exclu que le Tribunal fédéral aurait pu admettre l'existence d'un préjudice irréparable ouvrant la voie d'un recours immédiat.
En outre, aucun élément ne permet de retenir que l'admission du recours conduirait à une décision finale qui éviterait une procédure probatoire longue et coûteuse au sens de l'art. 93 al. 1 let. b LTF. En effet, l'objet du renvoi décrit dans l'arrêt attaqué consiste, pour la Commission de recours, à examiner si les autres conditions permettant la reconnaissance de l'intimée sont réalisées. Or, selon l'art. 13 RLUL, celles-ci reviennent à vérifier que l'association est régulièrement constituée et qu'elle comprend majoritairement des membres de la communauté universitaire, ce qui, a priori, peut être établi rapidement et à moindre frais.
1.3.4 Dès lors que les conditions permettant, selon l'art. 93 al. 1 LTF, d'ouvrir une voie de recours au Tribunal fédéral à l'encontre de la décision incidente attaquée n'ont pas été démontrées par la recourante et ne s'imposent pas non plus d'emblée, il n'y a pas lieu d'entrer en matière sur le recours.
1.3.5 On se trouve typiquement d'ailleurs dans une situation où les impératifs liés à l'économie de la procédure commandent d'attendre la décision finale, car dans l'hypothèse où une autre des conditions de l'art. 13 RLUL ne serait pas réalisées, le point de savoir si l'exclusion des femmes du sociétariat permet de justifier le refus de la reconnaissance de la recourante en qualité d'association universitaire n'aurait plus à être tranché. Le Tribunal fédéral, s'il entrait en matière au sujet de la présente décision incidente, pourrait ainsi être amené à se prononcer sur une question qui, selon l'issue de la procédure finale, perdrait sa pertinence.
2. Compte tenu de ce qui précède, le recours doit être déclaré irrecevable.
Il n'y a pas lieu de mettre les frais judiciaires à la charge de la recourante qui a agi dans le cadre de ses attributions et dont les intérêts pécuniaires ne sont pas en cause (art. 66 al. 4 LTF; arrêt 2D_130/2008 du 13 février 2009 consid. 4.3). En revanche, la recourante versera des dépens à l'association intimée (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Il n'est pas perçu de frais judiciaires.
3. La recourante versera à l'intimée la somme de 2'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties, à la Commission de recours de l'Université de Lausanne et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 17 février 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Müller Rochat