Faits: A. A.a X._ SA est une entreprise active notamment dans le domaine du nettoyage d'avions; elle dispose d'une succursale à Genève. Par "contrat de travail pour personnel auxiliaire", cette société, qui s'appelait alors Z._ SA, a engagé A._ en qualité de nettoyeuse à partir du 1er janvier 1994. La durée hebdomadaire du travail était fixée à 15 heures; le salaire horaire brut convenu s'élevait à 20 fr. A partir d'une date indéterminée, A._ a été amenée à travailler environ 30 heures par semaine de manière régulière. Tel était le cas entre janvier 2004 et juin 2009, période pendant laquelle la nettoyeuse a accompli les heures de travail suivantes, y compris la nuit et le dimanche: 2004 1'490,25 heures 2005 1'371,50 heures 2006 1'548,75 heures 2007 1'623,50 heures 2008 1'668,75 heures janvier à juin 2009 803,75 heures. A.b X._ SA et le Syndicat suisse des services publics (SSP) sont liés par deux conventions collectives de travail, l'une relative au "personnel avec salaire mensuel" (ci-après: CCT pour le personnel mensualisé; dite également CCT pour le personnel fixe) et l'autre concernant le "personnel auxiliaire" (ci-après: CCT pour le personnel auxiliaire). Selon l'art. 1 de la CCT pour le personnel mensualisé, celle-ci est applicable à tout le personnel de X._ SA Genève - sauf aux cadres (al. 3) - travaillant selon des horaires irréguliers et avec un taux d'occupation d'au moins 50%; ce personnel reçoit un salaire mensuel (al. 1). L'art. 1 al. 2 de la CCT pour le personnel mensualisé précise que les conditions de travail du personnel auxiliaire, rémunéré à l'heure, sont réglées dans une convention collective séparée. Selon l'art. 1 de la CCT pour le personnel auxiliaire, celle-ci s'applique à tout le personnel auxiliaire de X._ SA Genève; le personnel auxiliaire est rémunéré à l'heure, dans le cadre d'un contrat de durée indéterminée. A._ a toujours été rémunérée à l'heure. Les augmentations de son salaire de base correspondent à chaque modification du salaire horaire de base prévu dans la CCT pour le personnel auxiliaire. Les heures de nuit et les heures du dimanche payées à la travailleuse ont également été augmentées en fonction des majorations prévues dans la CCT pour le personnel auxiliaire. A._ a adhéré au SSP le 1er décembre 2008. B. Par demande déposée le 21 août 2009, A._ a ouvert action contre X._ SA en paiement de la somme brute de 82'160 fr.55 plus intérêts. Ce montant se décomposait, d'une part, en une prétention de 69'926 fr. à titre de différence entre le salaire perçu de janvier 2004 à juin 2009 et le salaire calculé conformément à la CCT pour le personnel mensualisé et, d'autre part, en une créance de 12'234 fr.55 à titre de solde de salaire afférent aux vacances. Par la suite, A._ a rectifié et amplifié ses conclusions, réclamant désormais 80'807 fr. à titre de solde de salaire de 2004 à 2009 et 4'607 fr.55 à titre de solde de salaire afférent aux vacances. X._ SA a reconnu devoir à A._ une somme de 2'401 fr.05 à titre de solde de salaire afférent aux vacances; elle a conclu au rejet de la demande pour le surplus. Par jugement du 19 juillet 2010, le Tribunal des prud'hommes du canton de Genève a condamné X._ SA à payer à A._ la somme de 2'401 fr.05 avec intérêts à 5% dès le 30 septembre 2006, invité la partie qui en a la charge à opérer les déductions sociales usuelles et débouté les parties de toute autre conclusion. Statuant le 20 février 2012 sur appel de A._, la Chambre des prud'hommes de la Cour de justice du canton de Genève a confirmé le jugement de première instance. C. A._ interjette un recours en matière civile. A titre principal, elle demande au Tribunal fédéral de condamner X._ SA à lui verser les montants de 5'798 fr.35 avec intérêts à 5% dès le 15 octobre 2004, 13'570 fr.80 avec intérêts à 5% dès le 30 juin 2005, 15'351 fr.50 avec intérêts à 5% dès le 30 juin 2006, 15'285 fr.95 avec intérêts à 5% dès le 30 juin 2007, 14'422 fr.10 avec intérêts à 5% dès le 30 juin 2008, 7'974 fr.45 avec intérêts à 5% dès le 31 mars 2009, soit un total en capital de 72'403 fr.15. La recourante conclut au surplus à la confirmation de la condamnation de X._ SA au paiement du montant de 2'401 fr.05 avec intérêts à 5% dès le 30 septembre 2006. A titre subsidiaire, elle demande le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants du Tribunal fédéral. Dans sa réponse, X._ SA propose le rejet du recours. La recourante a déposé des observations, suivies d'une ultime prise de position de l'intimée. Pour sa part, la cour cantonale se réfère aux considérants de son arrêt. La cour de céans a délibéré sur le recours en séance publique.