Faits : A. Dans le cadre d'une procédure tutélaire concernant la garde de la fille de X._, de nationalité américaine, et de A._, ressortissant norvégien, le Tribunal tutélaire du canton de Genève (devenu depuis le 1er janvier 2013 le Tribunal de protection de l'adulte et de l'enfant; ci-après: le Tribunal tutélaire) a ordonné une expertise concernant l'enfant et ses parents par ordonnance du 6 mars 2012. Elle l'a confiée à la Dresse Y._, médecin psychiatre à Genève, qui a rendu son rapport le 29 juin 2012. Le 28 juin 2013, X._ a déposé une plainte auprès de la Commission de surveillance des professions de la santé et des droits des patients du canton de Genève (ci-après: la Commission de surveillance) contre la Dresse Y._, reprochant notamment à celle-ci d'avoir tenu des propos racistes dans son rapport, manipulé les témoignages recueillis, posé un diagnostic manifestement erroné la concernant et de ne pas avoir rempli sa mission avec diligence. B. Le 31 juillet 2013, le bureau de la Commission de surveillance a classé la dénonciation de X._. Il a jugé que même si certaines des assertions de la Dresse Y._ pouvaient sembler critiquables, elles ne faisaient pas apparaître de grossières fautes professionnelles qui justifieraient l'ouverture d'une procédure disciplinaire à son encontre. Il a également relevé que les personnes ayant fait l'objet de l'expertise - en particulier X._ et sa fille - ne disposaient pas de la qualité de partie en raison de l'absence de lien thérapeutique les unissant à la Dresse Y._. Ladite décision leur était donc communiquée par simple avis. X._ a interjeté un recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice), concluant à l'annulation de la décision de la Commission de surveillance et au renvoi de la cause à celle-ci. Par arrêt du 19 août 2014, la Cour de justice a déclaré le recours irrecevable. Elle a retenu en substance que dans la mesure où l'intéressée n'était pas une patiente de la Dresse Y._ elle n'avait pas la qualité de partie et ne pouvait dès lors pas se plaindre du classement de sa plainte. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt de la Cour de justice du 19 août 2014 et de renvoyer la cause pour nouvelle décision au sens des considérants. La Cour de justice et la Commission de surveillance ont renoncé à formuler des observations. L'intimée conclut, sous suite de frais, au rejet du recours dans la mesure de sa recevabilité et à la confirmation de l'arrêt de la Cour de justice du 19 août 2014.