Faits : A. Par décision du 4 septembre 2013, la Ville de Genève a adjugé le marché relatif à l'organisation d'une manifestation à la société Y._ Sàrl. Cette décision a été contestée par la société X._ SA devant la chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: Cour de justice). A cette occasion, X._ SA a formulé les conclusions suivantes: " A LA FORME 1. Déclarer le présent recours recevable. AU FOND Préalablement: 2. Octroyer l'effet suspensif au présent recours, faisant interdiction à la VILLE DE GENEVE de conclure avec Y._ SARL le contrat portant sur l'organisation de la Fête Z._ concerné par la décision d'adjudication attaquée par le présent recours; 3. Ordonner à la VILLE DE GENEVE de communiquer sans délai à X._ SA une copie de l'offre déposée par Y._ SARL. 4. Réserver à X._ SA un bref délai, dès réception de la pièce sollicitée ci-dessus, pour compléter le présent mémoire de recours. Principalement: 5. Annuler la décision prise le 4 septembre 2013 par la VILLE DE GENEVE adjugeant à Y._ SARL le marché portant sur l'organisation de la Fête Z._. 6. En conséquence, adjuger ledit marché à X._ SA ou renvoyer le dossier à la VILLE DE GENEVE avec l'instruction d'adjuger ledit marché à X._ SA. Subsidiairement, si le contrat portant sur le marché a déjà été conclu avant droit jugé: 7. Constater que la décision d'adjudication visée sous ch. 5 est illégale. 8. Autoriser X._ SA à motiver et quantifier en conséquence ses prétentions. 9. Condamner la VILLE DE GENEVE à verser à X._ SA, le montant de l'indemnité qu'elle aura ainsi calculée, plus intérêts à 5 % l'an dès le 4 septembre 2013. En tout état: 9. Réserver l'ouverture de mesures probatoires. 10. Condamner la VILLE DE GENEVE au paiement des frais de la procédure et d'une indemnité équitable à X._ SA pour ses frais d'avocat. 11. Débouter toute autre partie de toute autre conclusion." La Cour de justice a restitué l'effet suspensif au recours par décision présidentielle du 22 octobre 2013. Suite à un article paru dans la presse reprenant les déclarations d'un représentant de la Ville de Genève, X._ SA a requis des mesures provisionnelles auprès de la Cour de justice, afin que celle-ci empêche la Ville de Genève de priver le marché public en cours de son objet. La Ville de Genève, par nouvelle décision du 1er novembre 2013, a retiré sa décision du 4 septembre 2013 et interrompu la procédure d'attribution du marché pour justes motifs. B. Dans une décision du 6 novembre 2013, après avoir constaté que le recours était devenu sans objet, la Cour de justice a rayé la cause du rôle. C. Agissant par la voie du recours constitutionnel subsidiaire, X._ SA demande au Tribunal fédéral, sous suite de frais et dépens, principalement de constater la nullité absolue de la décision du 6 novembre 2013, subsidiairement de l'annuler, et de renvoyer la cause à la Cour de justice pour que celle-ci en reprenne l'instruction. Elle invoque une violation de son droit d'être entendue, une application arbitraire du droit cantonal et un déni de justice formel. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. La Ville de Genève conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. La société Y._ Sàrl s'oppose à ce que des frais et dépens soient mis à sa charge et, pour le surplus, s'en rapporte à justice, sans déposer de conclusions.