Faits:
A. Au mois de juin 2010, le Syndicat d'améliorations foncières de Z._ (ci-après: le Syndicat d'améliorations foncières) a fait une offre pour prestations de service en vue du remaniement parcellaire simplifié sur une grande partie du territoire de la commune fribourgeoise de Z._, avec quelques parcelles des commune voisines de A._, B._ et C._, tel qu'il résultait de l'étude préliminaire établie en mai 2009 par la société X._ SA, à D._. Le marché devait être adjugé en fonction des critères suivants:
1. montant de l'offre: 60 points (ou 60 %) pour l'offre la meilleure marché, la réduction étant ensuite opérée proportionnellement à la différence en %;
2. qualité: 25 points (ou 25 %), comprenant les sous-critères:
- procédé et méthode: 7 points, soit qualité technique (3 points), conduite des opérations (2 points) et recherche de solutions (2 points);
- qualité humaine: 5 points;
- connaissance des procédures cantonales: 3 points;
- capacités de collaboration: 3 points;
- respect des délais: 3 points;
- respect des règles d'éthique: 2 points, soit respect des directives (1 point) et revendications non justifiées (1 point);
- disponibilité et rapidité d'intervention: 2 points;
3. expériences et qualifications du personnel affecté et des éventuels sous-traitants: 9 points, soit:
- expérience durant les 5 dernières années: 4 points;
- qualification: 3 points;
- stabilité: 1 point;
- formation: 1 point;
4. organisation générale: 6 points, soit:
- organigramme: 3 points;
- équipement: 3 points.
Par décision du Syndicat d'améliorations foncières du 13 septembre 2010, le marché a été attribué à Y._ SA, à E._, pour un montant de 1'248'235 fr., entreprise qui avait obtenu un total de 94.3 points sur 100, soit le meilleur résultat des quatre soumissionnaires ayant déposé un dossier. La décision d'adjudication a été notifiée le lendemain à X._ SA, qui avait fait l'offre la plus basse, pour un montant de 1'140'208 fr., mais n'avait obtenu que 93 points sur 100. Cette dernière avait certes reçu la note maximale de 60 points du premier critère pour le montant de son offre, mais les points suivants lui avaient été retirés:
- dans le deuxième critère " qualité ", 0,5 point pour conduite des opérations et 1,5 points pour " respect des délais ";
- dans le troisième critère, 3 points pour " expérience " et
- dans le quatrième critère " organisation générale ", 2 points pour l'organigramme.
B. X._ SA a recouru contre la décision du Syndicat d'améliorations foncières du 13 septembre 2010 auprès du Tribunal cantonal du canton de Fribourg, en contestant en particulier la pondération des sous-critères d'adjudication la concernant.
A titre de mesures provisionnelles urgentes, le Juge délégué a fait interdiction, le 26 octobre 2010, au Syndicat d'améliorations foncières de passer contrat avec l'entreprise Y._ SA.
Par arrêt du 8 août 2012, la IIe Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours. Elle a retenu en bref que l'autorité adjudicatrice n'avait pas violé les principes de la transparence et de la bonne foi, ni excédé ou abusé de son pouvoir d'appréciation en choisissant l'entreprise soumissionnaire représentant l'offre économiquement la plus avantageuse, même si son prix n'était pas le plus bas.
C. X._ SA forme auprès du Tribunal fédéral un recours constitutionnel subsidiaire et conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 8 août 2012 et de la décision d'adjudication du Syndicat d'améliorations foncières du 13 septembre 2010, le marché de remaniement parcellaire et des travaux de mensuration étant adjugé à la recourante. A titre subsidiaire, X._ SA conclut à l'annulation de la décision précitée, la cause étant renvoyée au Syndicat d'améliorations foncières pour nouvelle procédure d'appels d'offres " incluant la rédaction d'un nouvel appel d'offres complet et détaillé dans le sens des considérants " ou, plus subsidiairement, au constat que l'adjudication du marché litigieux est illicite.
Le Tribunal cantonal a renoncé à se déterminer sur le recours.
Le Syndicat d'améliorations foncières et l'entreprise intimée Y._ SA concluent, avec suite de frais et dépens, à l'irrecevabilité du recours et, à titre subsidiaire, à son rejet dans la mesure où il est recevable.
D. Par ordonnance présidentielle du 8 octobre 2012, la demande d'effet suspensif présentée par la recourante a été admise.
E. Sur requête du Juge délégué, le Syndicat d'améliorations foncières a produit le dossier d'appel d'offres, puis le procès-verbal de la séance de son Comité du 9 septembre 2010.
Considérant en droit:
1. 1.1 L'arrêt attaqué émane d'un tribunal cantonal supérieur statuant en dernière instance en matière de marchés publics (art. 82 let. a LTF) auquel s'appliquent l'accord intercantonal du 25 novembre 1994 sur les marchés publics (AIMP; RSFR 122.91.2), la loi fribourgeoise du 11 février 1998 sur les marchés publics (LMP; RSFR 122.91.1), et son règlement d'application du 28 avril 1998 (RMP; RSFR 122.91.11), sans qu'un recours auprès du Tribunal administratif fédéral ne soit ouvert (art. 86 al. 1 let. d et al. 2 LTF). Il peut donc en principe faire l'objet d'un recours en matière de droit public au Tribunal fédéral, à condition qu'il ne tombe pas sous le coup de l'exception prévue à l'art. 83 let. f LTF.
1.2 Selon cette disposition, le recours en matière de droit public n'est recevable contre les décisions en matière de marchés publics qu'à la double condition que la valeur du mandat à attribuer soit supérieure ou égale aux seuils déterminants prévus à cet effet et que la décision attaquée soulève une question juridique de principe (ATF 135 II 49; 134 II 192 consid. 1.2 p. 194 s.; 133 II 396 consid. 2.1 p. 398). Il incombe à la partie recourante, sous peine d'irrecevabilité, de démontrer la réalisation de ces deux conditions (cf. art. 42 al. 2 LTF; ATF 133 II 396 consid. 2.2 p. 398 ss).
En l'espèce, la recourante s'en prend uniquement à l'établissement des faits et à l'appréciation des preuves par les juges cantonaux, qu'elle juge arbitraires et contraires au principe de la transparence, ainsi qu'à l'art. 15 RMP. C'est donc à bon droit qu'elle agit par la voie du recours constitutionnel subsidiaire, la cause ne concernant pas une question juridique de principe. Le présent recours est donc recevable à ce titre, aux conditions des art. 113 ss LTF.
2. 2.1 La recourante dispose de la qualité pour recourir: elle était partie à la procédure cantonale et peut justifier d'un intérêt juridique à obtenir l'annulation ou la modification de la décision attaquée (cf. art. 115 let. a et b LTF).
2.2 Le recours constitutionnel subsidiaire peut être formé pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral n'examine toutefois la violation des droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF). Cette dernière disposition reprend le principe d'allégation (cf. ATF 133 II 249 consid. 1.4.2 p. 254). En application de ce principe, la partie recourante ne peut, dans un recours pour arbitraire fondé sur l'art. 9 Cst., se contenter de critiquer l'arrêt attaqué comme elle le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit. Elle doit au contraire préciser en quoi cet arrêt serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (cf. ATF 133 II 396 consid. 3 p. 399 et les arrêts cités; 133 III 393 consid. 6 p. 397).
2.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 118 al. 1 LTF). Il peut néanmoins rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation d'un droit constitutionnel (art. 118 al. 2 LTF en relation avec l'art. 116 LTF; ATF 133 III 439 consid. 3.2 p. 445), ce que la partie recourante doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation précitées (supra consid. 2.2).
3. La recourante se plaint tout d'abord d'une contestation manifestement inexacte des faits, en relation avec la violation des principes de la transparence et de la clarté, ainsi que de l'art. 15 RMP.
Il faut toutefois relever qu'à l'exception du problème de la sous-traitance, qui ne figurait pas dans le tableau des critères d'adjudication, les arguments soulevés par la recourante ont trait uniquement à l'interprétation et à l'appréciation concrète des critères et des sous-critères par l'autorité adjudicatrice, ainsi qu'à l'examen de cette évaluation par le Tribunal cantonal, griefs qui seront examinés ci-après (infra consid. 4). Ce faisant, la recourante ne formule aucune critique sur les constatations de la juridiction cantonale à propos du tableau des critères et des sous-critères, que celle-ci a jugé bien définis, en relevant que X._ SA avait d'ailleurs elle-même contribué à l'élaboration de ce tableau dans le cadre d'une commission. Ainsi, dans la mesure où la recourante prétend, d'une manière générale, que la définition des sous-critères était manifestement insuffisante dans le cadre de l'appel d'offres et en déduit une violation des principes de la clarté et de la transparence, ainsi qu'une application arbitraire de l'art. 15 RMP, son recours ne répond pas aux exigences de motivation de l'art. 106 al. 2 LTF et doit, par conséquent, être déclaré irrecevable.
4. En ce qui concerne la façon dont les critères et les sous-critères de l'appel d'offres ont été appliqués, la recourante estime qu'elle a été pénalisée arbitrairement de 7 points, alors qu'elle avait présenté l'offre la plus avantageuse.
4.1 En matière de marchés publics, le Tribunal fédéral reconnaît à l'adjudicateur une grande liberté et s'impose une certaine retenue lorsqu'il s'agit de tenir compte de circonstances locales ou de trancher de pures questions d'appréciation (ATF 121 I 279 consid. 3d p. 284). De même, l'évaluation des prestations offertes sur la base des critères d'adjudication n'est revue qu'avec une retenue particulière, parce qu'elle suppose souvent des connaissances techniques et qu'elle repose nécessairement sur une comparaison des offres présentées par les soumissionnaires. Cela revient pratiquement à limiter le pouvoir d'examen du Tribunal fédéral à l'arbitraire (arrêts 2D_63/2011 du 16 février 2012, consid. 3.1; 2D_15/2011 du 31 octobre 2011 consid. 2.3 et les arrêts cités).
4.2 Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (ATF 132 III 209 consid. 2.1 p. 211). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 138 I 49 consid. 7.1 p. 51 et les arrêts cités). S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 136 III 552 consid. 4.2 p. 560 et les arrêts cités).
4.3 En ce qui concerne le sous-critère " respect des délais ", le Tribunal cantonal a retenu que, dans le cadre d'autres mandats, la recourante et son sous-traitant n'avaient pas respecté les délais, ainsi que l'avait constaté le Syndicat d'améliorations foncières sur la base de renseignements obtenus de la part de son Président, du Service du cadastre et du Service de l'agriculture. Contrairement à ce que soutient la recourante, il ne s'agit donc pas seulement du délai fixé pour produire des documents supplémentaires dans la procédure de soumission, mais de retards dans le cadre d'autres activités, confirmés par des renseignements généraux que le Syndicat était en droit de se procurer. La recourante n'a d'ailleurs pas contesté ces faits et se contente de dire qu'il n'était nullement mentionné dans l'appel d'offres que des éléments antérieurs seraient pris en compte dans l'évaluation de ce sous-critère. Le non-respect des délais par la recourante et son sous-traitant dans d'autres mandats pouvait donc influer sur le retrait de 1,5 points sur 3 pour ce critère, de sorte que cette évaluation n'apparaît nullement arbitraire.
4.4 Au sujet du retrait de 3 points sur 4 pour le critère " expérience ", le Tribunal cantonal a constaté que la recourante avait certes effectué plusieurs regroupements volontaires dans le cadre de nouvelles mensurations cadastrales, mais qu'elle ne pouvait faire état d'une expérience significative en matière de regroupement parcellaire, contrairement à l'intimée. Il n'a ainsi pas pris en compte les arguments de la recourante qui se fondait sur la grande expérience en matière de remaniements parcellaires agricoles et de terrains à bâtir du bureau F._ SA, à G._, lequel devait intervenir comme sous-traitant pour la partie " Génie civil ".
D'une manière générale, il ne paraît pas arbitraire d'exiger que l'entreprise soumissionnaire remplisse elle-même les conditions de base nécessaires pour effectuer les prestations demandées, même si l'offre publique n'exclut pas le recours à des sous-traitants. Selon la jurisprudence récente, le pouvoir adjudicataire a la faculté d'évaluer le sous-traitant, lorsque ses prestations sont importantes (arrêt 2P.146/2001 du 6 mai 2002, consid. 4.2), et peut exiger que l'entreprise soumissionnaire et le sous-traitant remplissent cumulativement les critères demandés (cf. arrêt 2C_1101/2012 du 24 janvier 2013 consid. 2.4.4). L'idée est d'éviter qu'une entreprise soumissionnaire ne délègue un marché public à un sous-traitant qui ne remplirait pas les exigences, mais non d'obliger le pouvoir adjudicataire à tenir compte du fait que le sous-traitant est plus qualifié pour effectuer le travail que le soumissionnaire lui-même. Partant, on ne saurait reprocher au Tribunal cantonal d'être tombé dans l'arbitraire en ne tenant pas compte des qualifications du bureau F._ SA et de son personnel et en déduire que la note 1 attribuée à la recourante pour le critère expérience devait être confirmée.
4.5 En ce qui concerne le retrait de 2 points sur 3 pour l'organigramme, les premiers juges ont relevé les inconvénients liés à cette sous-traitance au niveau des risques de coordination entre les deux sites de D._ et de G._. Ils ont donc estimé qu'en raison des compétences du personnel du sous-traitant, la direction des travaux se ferait depuis cette dernière localité, bien que la recourante ait toujours précisé que celle-ci se ferait depuis D._. Il n'est toutefois pas insoutenable de prendre en considération les inconvénients que peuvent entraîner la désignation dans l'organigramme de deux directeurs se trouvant dans deux lieux différents.
4.6 Pour le reste, la juridiction cantonale a reconnu que le retrait de 0,5 point sur 2 pour " conduite des opérations ", avait été motivé par le dépassement des coûts de 30% pour l'étude préliminaire confiée à la recourante. Sans trancher la question de savoir si ce dépassement pouvait provenir des prestations supplémentaires demandées par le Service de l'agriculture, comme le soutenait la recourante, elle a estimé que la différence de 0,5 point n'aurait de toute façon pas permis à cette dernière de passer à la première place et d'obtenir le marché litigieux. Dans la mesure où cette question n'était pas de nature à modifier la décision entreprise, on ne saurait reprocher au Tribunal cantonal d'être tombé dans l'arbitraire en ne se prononçant pas sur le critère " conduite des opérations ".
5. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, la recourante doit supporter les frais judiciaires (art. 66 al. 1 LTF) et n'a pas droit à des dépens. Elle versera en outre une indemnité à titre de dépens à l'entreprise intimée. En revanche, le Syndicat d'améliorations foncières n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge de la recourante.
3. La recourante versera à l'entreprise intimée Y._ SA
une indemnité de 4'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties, au Syndicat d'améliorations foncières de Z._ et au Tribunal cantonal du canton de Fribourg, IIe Cour administrative.
Lausanne, le 22 février 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat