Faits:
A. A._ SA est une société reconnue d'utilité publique; elle gère la collecte et le traitement des déchets de 74 communes du Nord vaudois. Jusqu'à récemment, elle avait confié le ramassage de ces déchets sur une base contractuelle aux sociétés X._ SA et Z._ SA.
Dans le souci de rationaliser la récolte des déchets et de répondre aux exigences de la nouvelle usine d'incinération Tridel, à Lausanne, A._ SA a décidé de réorganiser une partie de ses activités et a mis en soumission, dans la Feuille des avis officiels du canton de Vaud du 6 octobre 2006, le marché public suivant: "collecte hebdomadaire et transport des ordures ménagères dans les communes du Nord vaudois à l'aide d'un système de collecte intégrée (IES) à chargement latéral, livraison des bennes de déchets dans les gares de Chavornay et d'Yverdon-les-Bains." Le marché concerne 56 communes et porte sur un volume de déchets estimé à 3'900 tonnes par an, selon les informations contenues dans le règlement de procédure (ch. 1.3). Ce texte règle également les conditions de participation (ch. 2). Il énonce les critères d'aptitude (ch. 3.6) et d'adjudication, la pondération de ceux-ci (cf. ch. 3.7), ainsi que la manière de les noter (ch. 3.8) et d'évaluer les offres (ch. 3.9). Les autres informations importantes relatives au marché sont consignées dans un cahier des charges, qui prévoit notamment que les soumissionnaires doivent récolter les déchets à raison d'un passage hebdomadaire par commune (ch. 5.1.4), mais que leur offre doit aussi chiffrer les coûts supplémentaires engendrés par une collecte bi-hebdomadaire, comme cela est déjà le cas dans les communes de Grandson, Montagny et Yvonand (ch. 7); le cahier des charges précise encore que les soumissionnaires doivent mettre à disposition de l'adjudicateur un chauffeur et deux chargeurs pour l'exécution de leur mandat (ch. 5.4.3) et qu'ils peuvent, en principe, proposer des variantes d'exécution si celles-ci sont chiffrées et décrites au même niveau de détail que les prestations de base (ch. 9). Le dossier d'appel d'offres a été élaboré par l'adjudicateur avec le concours de la société E._ SA.
Trois soumissions ont été déposées dans le délai imparti, soit celles des sociétés X._ SA, pour un montant de 408'900 fr., Z._ SA, pour un montant de 435'000 fr., et Y._ SA pour un montant de 670'140 fr. Ce dernier soumissionnaire a également proposé, à titre de variante, d'établir un planing permettant de collecter le même jour les déchets auprès des déchetteries communales disposant d'employés pouvant aider au chargement, afin de limiter l'équipage nécessaire pour ces tournées au seul chauffeur éventuellement accompagné d'un chargeur et d'économiser de la sorte des frais de personnel; le prix offert pour la variante se monte à 613'641 fr.
A l'issue d'une séance de clarification qui s'est tenue le 30 novembre 2006, il est apparu que la soumission de Y._ SA comprenait, aussi bien pour l'offre de base que pour la variante, une plus-value de 248'511 fr. correspondant au coût engendré par une collecte bi-hebdomadaire des déchets dans l'ensemble des 56 communes concernées et non seulement dans les communes de Grandson, Montagny et Yvonand; comme les participants à la séance ont admis qu'aucune commune supplémentaire ne souhaitait une collecte bi-hebdomadaire, la plus-value n'avait plus lieu d'être; les montants offerts par ce candidat ont dès lors été corrigés et ramenés à respectivement 383'580 fr. pour l'offre de base et 365'130 fr. pour la variante.
Les trois soumissions en lice ont chacune reçu une note de 13 points pour les critères d'aptitude et ont été admises à participer à la phase d'adjudication où elles ont été notées comme suit:
Candidat Critères d'adjudication Note
Prix (60%) Prestations proposées (30%) Réf. (10%)
Total
Note
prix
Organisation de la collecte
(20 %)
Gestion des
ressources
(20 %)
Situations
exceptionnelles
(20%)
Note finale
prestations
Y._
365'130
5.00
4
4
3
3
3.8 2
3.8 2
4.3 X._
408'900
3.56
4
5
3
3
4.0 4
4.0 4
3.7 Z._ SA
435'000
2.96
3
4
3
3
3.2 3
3.2 3
3.0
Par décision du 1er décembre 2006, A._ SA a informé X._ SA que son offre n'avait pas été retenue et que le marché avait été adjugé à Y._ SA pour le prix de 365'130 fr.
B. X._ SA a recouru contre la décision précitée du 1er décembre, en concluant à l'annulation de celle-ci ou, subsidiairement, à sa réforme et à l'attribution du marché à elle-même. Pour l'essentiel, elle a fait valoir que l'adjudication violait les principes de la transparence de la procédure, de l'intangibilité des offres, de l'interdiction des rounds de négociation et de l'égalité de traitement entre concurrents, aux motifs notamment que les critères n'étaient pas correctement présentés dans l'appel d'offres, que la notation ne tenait pas compte des critères d'aptitude, que le marché avait été adjugé sur la base d'une variante d'exécution non conforme au cahier des charges et anormalement basse et que l'adjudicateur avait modifié après l'ouverture des offres la soumission retenue. X._ SA requérait également la mise en oeuvre d'une expertise à l'appui de ses allégués.
A._ SA et Y._ SA ont conclu au rejet du recours.
Par arrêt du 30 mars 2007, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a rejeté le recours et confirmé la décision attaquée. En bref, il a estimé que le grief relatif à la non prise en considération des critères d'aptitude dans l'évaluation finale était tardif, que la variante d'exécution proposée par l'adjudicataire était conforme au cahier des charges, que la suppression de la plus-value de 248'511 fr. se justifiait pour pouvoir comparer les offres sur des bases homogènes et que les éléments au dossier permettaient de se convaincre que le prix adjugé n'était pas anormalement bas sans qu'il soit nécessaire d'ordonner une expertise sur ce point.
C. Dans une même écriture, X._ SA forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre l'arrêt précité du Tribunal administratif. Elle se plaint d'une violation de son droit d'être entendue et, sur le fond, reprend une partie des griefs soulevés en procédure cantonale, en invoquant la violation des principes de l'égalité de traitement, de la bonne foi et de l'interdiction de l'arbitraire. Elle conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal administratif pour nouvelle décision dans le sens des considérants, sous suite de frais et dépens.
A._ SA conclut à l'irrecevabilité des recours, subsidiairement à leur rejet, tandis que Y._ SA renonce à déposer une détermination et déclare se rallier aux conclusions prises par l'adjudicateur. Le Tribunal administratif se réfère à l'arrêt attaqué et conclut au rejet des recours.
Par ordonnance du 2 mai 2007, le Président de la IIe Cour de droit public du Tribunal fédéral a rejeté la requête d'effet suspensif présentée par X._ SA. Le 21 mai suivant, A._ SA a informé le tribunal qu'elle avait passé le même jour le contrat avec l'adjudicataire.
Considérant en droit:
1. 1.1 Il découle de l'art. 83 let. f LTF que le recours en matière de droit public n'est recevable contre les décisions en matière de marchés publics que si la valeur du mandat à attribuer est supérieure ou égale aux seuils déterminants prévus à cet effet et si, cumulativement, la décision attaquée soulève une question juridique de principe (cf. ATF 133 II 396 consid. 2.1 p. 398). L'existence d'une question juridique de principe ne doit être admise que de manière restrictive. En particulier, la seule circonstance que la question soumise au Tribunal fédéral n'ait encore jamais été tranchée ne suffit pas à réaliser cette condition. Il faut encore qu'il s'agisse d'une question juridique dont l'importance pratique est telle qu'elle nécessite d'être éclaircie par la plus haute instance judiciaire (cf. arrêt 2C_116/2007 du 10 octobre 2007, consid. 4.2). Conformément à l'art. 42 al. 2 LTF, il incombe au recourant de démontrer la réalisation de cette condition dans un cas particulier, sous peine d'irrecevabilité de son recours (cf. ATF 133 II 396 consid. 2.2 p. 398 s.).
En l'espèce, le recourant soutient que les questions litigieuses, à supposer qu'elles aient déjà été tranchées, méritent un nouvel examen au vu de leur importance. Cette argumentation toute générale relève de la pétition de principe et n'est pas conforme aux exigences de motivation découlant de l'art. 42 al. 2 LTF. Au demeurant, la présente affaire met en jeu des principes (égalité de traitement entre concurrents; transparence de la procédure; intangibilité des offres; portée du droit d'être entendu en matière de marchés publics) qui ont déjà fait l'objet d'une abondante jurisprudence (cf., entre autres références, ATF 130 I 241; 125 II 86 et les arrêts 2P.322/2006, du 14 août 2007; 2P.97/2005, du 28 juin 2006; 2P.6/2006, du 31 mai 2006; 2P.130/2005, du 21 novembre 2005; 2P.282/2002, du 11 juin 2003; 2P.139/2002, du 18 mars 2003; 2P.164/2002, du 27 novembre 2002). En réalité, c'est uniquement leur application au cas d'espèce qui est véritablement litigieuse. Or, seuls des motifs sérieux et objectifs de nature à entraîner une modification de la jurisprudence pourraient justifier le réexamen de ces principes, comme une connaissance plus approfondie des intentions du législateur, un changement important des circonstances extérieures déterminantes ou l'évolution générale des conceptions juridiques ou des moeurs (cf. ATF 127 II 289 consid. 3a p. 292 s.; 126 I 122 consid. 5 p. 129; 126 V 36 consid. 5a p. 40; 125 I 458 consid. 4a p. 471 et les arrêts cités). La recourante ne démontre toutefois ni même n'invoque aucun motif de ce genre à l'appui de ses allégués.
Partant, son écriture est irrecevable en tant que recours en matière de droit public.
1.2 En revanche, le recours est en principe recevable comme recours constitutionnel subsidiaire aux conditions des art. 113 ss LTF. En particulier, X._ SA dispose de la qualité pour recourir au sens de l'art. 115 LTF, notamment d'un intérêt juridique. Que le contrat ait été conclu avec l'adjudicataire après que le Tribunal fédéral a rejeté la requête d'effet suspensif présentée par la recourante ne rend en effet pas le recours sans objet: en un tel cas, les conclusions en annulation prises par la recourante se transforment automatiquement en conclusions constatatoires sur l'illicéité de la décision attaquée de nature à ouvrir le droit à des dommages et intérêts (cf. ATF 131 I 153 consid. 1.2 p. 157; 125 II 86 consid. 5b p. 97 s.). En outre, il faut admettre qu'avant la conclusion du contrat, la recourante avait des chances raisonnables d'obtenir le marché en cas d'admission de son recours: en effet, elle était alors placée en deuxième position dans l'évaluation et, contrairement à ce que soutient A._ SA, son offre n'était pas entachée de vices à ce point graves et évidents qu'ils justifiaient d'emblée son exclusion de la procédure. Du reste, si tel avait été le cas, on s'étonne que l'adjudicateur n'eût pas rendu plus tôt une décision de cette nature à son égard. Par conséquent, contrairement à ce que soutient la société adjudicatrice, la recourante dispose d'un intérêt actuel et pratique à recourir, en ce sens qu'une admission de son recours peut éventuellement lui donner droit à une indemnité (sur les cas où la qualité pour recourir doit être niée faute d'un tel intérêt, cf. arrêt 2P.261/2002, du 8 août 2003, consid. 4).
1.3 Le recours constitutionnel subsidiaire peut être formé pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral n'examine toutefois la violation des droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF). Cette dernière disposition reprend le principe d'allégation (Rügeprinzip) que la pratique relative au recours de droit public avait établi en relation avec l'art. 90 al. 1 let. b OJ (cf. message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, in FF 2001, p. 4000 ss, p. 4142 ad art. 100). Ainsi, dans un recours pour arbitraire fondé sur l'art. 9 Cst., le recourant ne peut se contenter de critiquer l'arrêt attaqué comme il le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit. Il doit au contraire préciser en quoi cet arrêt serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (cf. ATF 133 II 249 consid. 1.4 p. 254; 133 III 393 consid. 6 p. 397 et les arrêts cités). C'est dans cette mesure que seront examinés les griefs de la recourante.
1.4 Pour le surplus, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 118 al. 1 LTF). Il peut néanmoins rectifier ou compléter les constatations de l'autorité précédente si les faits ont été établis en violation du droit au sens de l'art. 116 LTF (art. 118 al. 2 LTF).
2. 2.1 Dans un premier moyen, la recourante soutient qu'en refusant d'entrer en matière sur ses critiques concernant les documents d'appel d'offres (en particulier le fait que, selon elle, les critères d'aptitude devraient impérativement être pris en considération, à côté des critères d'adjudication, lors de l'évaluation finale des offres), le Tribunal administratif a violé son droit d'être entendue et adopté une position insoutenable, contraire à la jurisprudence.
Comme l'ont estimé les premiers juges, les documents de l'appel d'offres qui contiennent les conditions fixées par l'adjudicateur pour la qualification des candidats font partie intégrante de l'appel d'offres, si bien qu'en vertu du principe de la bonne foi, les éventuels vices les affectant doivent être contestés, sous peine de forclusion, à ce stade déjà de la procédure, dans le délai de dix jours dès leur remise, à l'instar de ce qui est prévu pour recourir contre l'appel d'offres lui-même (cf. ATF 130 I 241 consid. 4.2 p. 245; 125 I 203 consid. 3a p. 205 ss). Certes, convient-il, en principe, de réserver les effets de la forclusion aux seules irrégularités qui sont particulièrement évidentes ou manifestes, car l'on ne saurait exiger des soumissionnaires qu'ils procèdent à un examen juridique approfondi de l'appel d'offres et des documents de l'appel d'offres, vu leurs connaissances généralement limitées en la matière et le délai relativement court qui leur est imparti pour déposer leurs offres (cf. ATF 130 I 241 consid. 4.3 p. 247). En l'espèce, toutefois, le règlement de procédure du 28 septembre 2006 remis aux candidats pour préparer les soumissions énonçait clairement les critères d'aptitude et d'adjudication ainsi que leur pondération; en particulier, il n'y avait aucun doute possible sur le fait que les critères d'aptitude servaient seulement à vérifier que les candidats avaient les qualifications nécessaires pour prendre part au marché, mais ne seraient pas pris en considération pour noter les soumissions au stade de l'adjudication proprement dite, seuls les critères d'adjudication étant pris en compte dans le résultat final (cf. ch. 3.6 à 3.9 du règlement). A cet égard, le cas d'espèce se distingue notablement de l'ATF 130 I 241 précité, où le Tribunal fédéral avait estimé qu'un diagramme d'évaluation remis par l'adjudicateur avec les documents d'appel d'offres devait encore pouvoir être contesté après l'adjudication, car sa complexité et sa spécificité ne permettaient pas d'emblée d'en discerner la portée.
Dans ces conditions, le Tribunal administratif pouvait sans arbitraire et sans violer le droit d'être entendu de la recourante estimer que celle-ci était tenue, dans le délai de dix jours dès leur remise, de contester les documents d'appel d'offres litigieux au sujet de la non-prise en considération des critères d'aptitude dans le résultat final. L'intéressée indique qu'elle n'a pas eu suffisamment de temps à disposition pour lire ces documents avec attention et remplir son offre. Outre qu'il est purement appellatoire et irrecevable, cet argument n'est guère crédible et frise même la témérité.
Au demeurant, à supposer même que le grief ne fût pas tardif, la recourante ne démontre pas d'une manière conforme aux exigences de motivation déduites de l'art. 106 al. 2 LTF la prétendue existence d'une règle imposant à l'adjudicateur de procéder à l'adjudication sur la base d'une appréciation globale mêlant les critères d'aptitude et d'adjudication. Cette thèse n'apparaît, au surplus, guère convaincante, les dispositions vaguement citées par la recourante n'étant en tout cas pas de nature à l'accréditer (cf. art. 24 et 37 du règlement cantonal du 7 juillet 2004 d'application de la loi du 24 juin 1996 sur les marchés publics [RLMP-VD; RS VD 726.01.1]).
2.2 Dans un deuxième moyen, la recourante fait valoir que l'adjudicateur et, à sa suite, le Tribunal administratif, ne pouvaient pas corriger spontanément l'offre de l'intimée et supprimer la plus-value de 248'511 fr. inscrite pour tenir compte des prestations supplémentaires liées à une collecte bi-hebdomadaire des déchets. En procédant à cette correction, elle estime que les autorités ont violé les principes en matière de marchés publics garantissant l'égalité de traitement entre concurrents, l'intangibilité des offres et l'interdiction des rounds de négociation.
Selon les faits constatés par le Tribunal administratif, la variante proposée par Y._ SA et retenue par l'adjudicateur comprend déjà, comme celle de la recourante, les coûts liés à l'exigence de collecter deux fois par semaine les déchets dans les communes de Grandson, Montagny et Yvonand. Autrement dit, la plus-value litigieuse concerne seulement l'hypothèse dans laquelle les 53 autres communes visées par l'appel d'offres exigeraient elles aussi une récolte bi-hebdomadaire des déchets. Or, toujours selon les faits ressortant de l'arrêt attaqué, établis notamment sur la base des déclarations des personnes ayant participé à l'élaboration du dossier d'appel d'offres (soit les représentants de E._ SA), le dossier de soumission remis aux candidats n'est sur ce point pas clair: il demande en effet à ceux-ci de chiffrer la plus-value au cas où "toutes" les communes concernées voudraient une récolte bi-hebdomadaire des déchets, alors qu'en réalité, les parties s'accordent à considérer qu'une telle éventualité n'entre en ligne de compte que pour les communes de plus de mille habitants, soit précisément les seules trois communes précitées pour lesquelles cette prestation a bien été prise en compte dans la variante adjugée à Y._ SA. Le Tribunal administratif a dès lors estimé que la correction litigieuse ne s'apparentait pas à un round prohibé de négociation, mais était justifiée afin, comme l'a expliqué l'adjudicateur, de pouvoir comparer les offres concurrentes sur une base homogène.
Certes n'allait-il pas de soi, au vu de l'importance du montant en jeu, de procéder sans autre examen à la correction effectuée par l'adjudicateur. Pour autant, cette solution n'apparaît pas insoutenable au vu des circonstances particulières mises en exergue par les premiers juges, à savoir l'ambiguïté du dossier d'appel d'offres sur le nombre de communes susceptibles d'exiger une récolte bi-hebdomadaire des déchets et le risque limité voire quasiment nul que des communes autres que Grandson, Montagny et Yvonand ne formulent une telle demande. On peut ajouter que le besoin d'éclaircir ces points avec l'intimée découlait aussi du fait que, selon l'arrêt attaqué, les deux autres soumissionnaires en lice assuraient déjà la collecte des déchets des communes concernées sur la base d'un contrat passé avec A._ SA; bénéficiant d'une meilleure connaissance du marché que l'intimée, ils ont donc pu lever les ambiguïtés des documents d'appel d'offres et établir leur soumission en toute connaissance de cause; ils n'ont du reste mentionné aucune plus-value liée à l'éventualité d'une collecte bi-hebdomadaire des déchets, selon les faits constatés, ce qui démontre qu'ils étaient conscients, au contraire de l'intimée, qu'une telle éventualité était peu probable voire nulle compte tenu des besoins effectifs des communes à desservir.
2.3 La recourante soutient qu'en se contentant de comparer l'offre de l'adjudicataire avec celle de ses concurrents, le Tribunal administratif a méconnu l'art. 36 RLMP-VD, car cette disposition, dans sa version actuelle, ferait obligation, pour savoir si une offre est anormalement basse, d'examiner celle-ci "par rapport à la prestation". La disposition litigieuse a la teneur suivante:
"Si pour un marché donné, des offres paraissent anormalement basses par rapport à la prestation, l'adjudicateur, avant de pouvoir exclure ces offres, demande par écrit les précisions qu'il juge opportunes sur la composition de l'offre [...]."
Il est douteux que le grief soit articulé conformément à l'art. 106 al. 2 LTF, la recourante formulant une argumentation appellatoire, sans démontrer en quoi le Tribunal administratif aurait appliqué arbitrairement l'art. 36 RLMP-VD. Quoi qu'il en soit, on ne voit pas que cette disposition interdirait, pour déterminer si une offre est anormalement basse, de la comparer avec des offres concurrentes. C'est même, en principe, d'une telle comparaison que naît le soupçon qu'une offre est anormalement basse par rapport à la prestation. Or, comme l'a constaté le Tribunal administratif, l'écart de prix entre l'offre retenue et celle de la recourante n'est pas particulièrement important (de l'ordre de 10 %). Par ailleurs, cet écart s'explique, toujours selon les premiers juges, par l'organisation du travail choisie par l'adjudicataire dans sa variante qui lui permet de réaliser une économie importante sur ses coûts de personnel. Cette motivation est convaincante et résiste pour le moins au grief d'arbitraire.
2.4 Dans un dernier moyen, la recourante fait valoir que l'arrêt attaqué viole les principes de la bonne foi et de l'égalité de traitement, au motif que le Tribunal administratif aurait retenu d'une manière erronée que son offre était entachée de certains vices de nature à justifier, sinon l'exclusion de la procédure, du moins une décote. Ce grief n'est pas motivé d'une manière conforme à l'art. 106 al. 2 LTF (cf. supra consid. 1.2). Au demeurant, les premiers juges n'ont pas attaché une importance déterminante aux informalités constatées, ayant même expressément laissée ouverte "la question de savoir si la recourante aurait dû ou non être exclue pour avoir modifié les conditions générales" (arrêt attaqué, consid. 6c/cc in fine).
2.5 Par conséquent, dans la mesure où il est recevable, le recours subsidiaire est en tous points mal fondé.
3. Il suit de ce qui précède que le recours en matière de droit public est irrecevable et que le recours subsidiaire doit être rejeté dans la mesure où il est recevable.
Succombant, la recourante supportera un émolument judiciaire (art. 65 et 66 LTF) et versera une indemnité de dépens réduite à l'intimée (art. 68 al. 1 et 2 LTF), qui s'est déterminée sur la requête d'effet suspensif, mais s'est bornée, sur le fond, à renvoyer à la prise de position de A._ SA. En revanche, en sa qualité d'organisation chargée d'une tâche de droit public, cette dernière n'a pas droit à des dépens (cf. art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est irrecevable.
2. Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge de X._ SA.
4. X._ SA versera une indemnité à titre de dépens de 2'000 fr. à Y._ SA.
5. Le présent arrêt est communiqué en copie aux mandataires des par-ties, au Tribunal administratif du canton de Vaud, et à A._ SA.
Lausanne, le 22 janvier 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Merkli Addy