Faits:
A. A.a Par contrat de travail de durée indéterminée, Y._ SA (ci-après: l'employeuse) a engagé le médecin gynécologue X._ (ci-après: l'employée) à mi-temps dès le 1er juillet 2004, puis à plein temps dès le 1er octobre 2004.
L'art. 4 du contrat avait la teneur suivante:
"A titre d'honoraires, le médecin percevra un pourcentage de ses prestations médicales encaissées, payables à chaque fin de mois, selon le barème suivant:
40% jusqu'à fr. 120'000.- de chiffre d'affaires annuel global,
45% de fr. 121'000.- à fr. 200'000.- de chiffre d'affaires annuel global,
48% à partir de fr. 201'000.- de chiffre d'affaires annuel global.
Par chiffre d'affaires annuel global, on entend le total encaissé des prestations médicales.
Sont exclus, les prestations médicales effectuées par des tiers, le matériel et les produits utilisés."
Les parties ont en outre convenu, sans le préciser dans le contrat, que l'employée avait droit à un pourcentage de 20% à l'encaissement sur les prestations que l'employeuse exécutait sur prescription de l'employée (laboratoire, radiologie). L'employeuse devait par ailleurs déduire les charges sociales et l'impôt à la source du salaire mensuel.
A.b Le 28 novembre 2005, l'employée a résilié ce contrat avec effet au 31 janvier 2006. Elle a demandé à son employeuse de calculer sa rémunération conformément au contrat et de lui fournir la liste des facturations, des encaissements et des débiteurs.
Un litige s'en est suivi. L'employeuse a indiqué à son ancienne employée qu'elle continuerait de toucher des revenus à raison des prestations exécutées jusqu'au 31 janvier 2006 et encaissées après cette date, mais sous déduction des avances de salaire consenties. L'employée s'est plainte d'erreurs dans les décomptes de salaire et a soutenu qu'au regard du nombre de consultations données, sa rémunération aurait dû être supérieure. L'employeuse lui a remis un décompte correctif sur le chiffre d'affaires réalisé de 2004 à 2006, dont il ressortait que l'employée lui devait encore 7'915 fr. à titre d'acomptes de salaire versés en trop; ultérieurement, elle a produit un nouveau décompte avec un solde de 7'383 fr. en sa faveur. L'employée a vainement requis l'autorisation de consulter avec son comptable les pièces justificatives relatives aux honoraires facturés, encaissés et à encaisser.
B. B.a Le 9 mai 2007, l'employée a déposé une demande devant la Juridiction des prud'hommes du canton de Genève dans laquelle elle concluait au paiement de 70'000 fr. à titre de solde de salaires et de 4'000 fr. en remboursement de ses frais de fiduciaire. L'employeuse a conclu au rejet de l'action, sous réserve d'un solde de 136 fr. 80 brut qu'elle reconnaissait devoir à titre de salaire pour le mois de décembre 2006; à titre reconventionnel, elle a conclu au paiement de 7'363 fr. 65 net pour les avances de salaire versées en trop.
A l'issue d'une longue instruction marquée par de nombreuses audiences, le Tribunal des prud'hommes, par jugement du 29 mars 2010, a condamné l'employeuse à verser à l'employée la somme de 18'816 fr. 20 plus intérêts et rejeté toutes autres conclusions.
B.b L'employeuse a porté cette décision devant la Cour d'appel des prud'hommes, concluant au rejet de l'action principale, sous réserve d'un montant de 756 fr. 65 reconnu comme dû, et, reconven-tionnellement, au paiement de 7'363 fr. 65.
Tout en concluant au rejet, l'employée a déposé un appel incident dans lequel elle réitérait ses conclusions en paiement de 70'000 fr. et de 4'000 fr.
Par arrêt du 19 janvier 2011, la Cour d'appel a annulé le jugement précité en tant qu'il condamnait l'employeuse au paiement de 18'816 fr. 20, a condamné l'employée à rembourser à l'employeuse la somme de 4'956 fr. plus intérêts à titre de salaire net trop perçu et a rejeté toutes autres conclusions.
C. L'employée (ci-après: la recourante) interjette un recours en matière civile auprès du Tribunal fédéral. Elle conclut à l'annulation de l'arrêt de la Cour d'appel et à ce que l'employeuse (ci-après: l'intimée) soit condamnée au paiement des sommes de 70'000 fr. brut et 4'000 fr., intérêts en sus.
L'intimée s'en remet à justice quant à la recevabilité du recours et conclut sur le fond à son rejet.
L'autorité précédente se réfère à son arrêt.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1).
1.1 Dans les causes de droit du travail, le recours en matière civile n'est en principe recevable que si la valeur litigieuse atteint le minimum légal de 15'000 fr. (art. 74 al. 1 let. a LTF).
En cas de recours contre une décision finale, la valeur litigieuse est déterminée par les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). Les divers chefs de conclusions formés par la même partie sont additionnés, à moins qu'ils ne s'excluent (art. 52 LTF). Aux termes de l'art. 53 LTF, le montant d'une demande reconventionnelle et celui de la demande principale ne sont pas additionnés (al. 1). Si les conclusions de la demande principale et de la demande reconventionnelle s'excluent et si l'une de ces demandes n'atteint pas à elle seule la valeur litigieuse minimale, cette demande est quand même réputée atteindre la valeur litigieuse minimale si le recours porte sur les deux demandes (al. 2).
L'art. 53 al. 2 LTF tend à éviter des décisions contradictoires sur des demandes qui ne sauraient être admises concurremment (arrêt 4A_364/2008 du 12 décembre 2008 consid. 1.3). Les conclusions s'excluent lorsqu'elles sont logiquement incompatibles, en tout ou en partie; tel est le cas lorsqu'il serait contradictoire d'admettre l'une sans rejeter l'autre (cf. ATF 108 II 51 consid. 1 concernant l'ancien art. 47 al. 3 OJ).
En l'occurrence, l'une des deux conclusions principales litigieuses devant l'autorité d'appel tend au paiement de 70'000 fr. pour des salaires impayés; l'intimée reconnaît devoir à ce titre un montant brut de 756 fr. 65. Quant à la conclusion reconventionnelle de 7'363 fr. 65, elle vise au remboursement des avances de salaire dont le total est prétendument supérieur aux salaires dus.
Ces conclusions sont logiquement incompatibles. Dans les deux cas, il s'agit en effet d'établir le total des créances de salaires d'une part et le total des salaires versés d'autre part, afin de déterminer s'il existe un solde en faveur de la recourante ou de l'intimée. Dans la mesure où la valeur litigieuse de la conclusion principale excède manifestement le seuil de 15'000 fr., il faut admettre que le recours contre l'action reconventionnelle est recevable par attraction.
Interjeté pour le surplus contre une décision de dernière instance (art. 75 LTF) par la partie qui a entièrement succombé sur ses conclusions condamnatoires et partiellement sur ses conclusions libératoires (art. 76 al. 1 LTF), le recours répond aux exigences légales quant au délai (art. 100 al. 1 LTF en relation avec l'art. 45 al. 1 LTF) et à la forme (art. 42 LTF). Partant, il est recevable sur le principe.
1.2 Le recours est ouvert pour violation du droit tel que défini aux art. 95 et 96 LTF. Le Tribunal fédéral revoit librement l'application du droit fédéral (cf. art. 106 al. 1 LTF et ATF 125 III 82 consid. 3 p. 85 en relation avec l'art. 63 al. 3 de l'ancienne OJ); n'étant pas lié par l'argumentation des parties, il s'en tient cependant, d'ordinaire, aux questions de droit que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (art. 42 al. 2 LTF; ATF 135 III 397 consid. 1.4). En revanche, il ne se prononce sur la violation de droits constitutionnels ou de dispositions du droit cantonal que s'il se trouve saisi d'un grief invoqué et motivé de manière circonstanciée (art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.2).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des constatations de fait de l'autorité précédente (cf. art. 105 al. 1 LTF). Il tient compte non seulement des faits retenus par la décision de dernière instance attaquée, mais aussi de ceux figurant dans le jugement de l'autorité inférieure, pour autant que l'arrêt attaqué reprenne au moins implicitement cet état de fait (cf. ATF 129 IV 246 consid. 1, confirmé après l'entrée en vigueur de la LTF notamment par l'arrêt 4A_565/2009 du 21 janvier 2010 consid. 2.2.4).
Le Tribunal fédéral ne peut s'écarter des constatations contenues dans l'arrêt attaqué que si les faits ont été établis de façon manifestement inexacte - notion qui équivaut à celle d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Si le recourant entend se prévaloir de cette exception, il doit expliquer de manière circonstanciée en quoi ses conditions sont réalisées; en outre, la correction du vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). S'agissant du grief d'établissement arbitraire des faits ou d'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 255).
L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 129 I 8 consid. 2.1).
2. 2.1 La recourante se plaint d'une violation de l'art. 9 Cst. dans l'établissement des faits. Les juges cantonaux auraient arbitrairement retenu qu'elle ne contestait pas la teneur des "décomptes (...)" établis par l'intimée; ils auraient arbitrairement établi le montant des salaires sur la base de ces pièces contestées alors qu'ils auraient dû rechercher d'autres moyens de preuve. La seule méthode valable à cet égard aurait été de se fonder sur le nombre de consultations admis par les deux parties et de le multiplier par le prix moyen d'une consultation.
2.2 S'agissant du processus de facturation, la recourante inscrivait les prestations effectuées et le code de tarification correspondant sur des "feuilles de suite" qu'elle transmettait au service de facturation de l'intimée, lequel saisissait ces données par informatique et établissait les notes d'honoraires qui étaient adressées aux patientes. Les feuilles de suite étaient conservées par l'intimée.
L'intimée a établi périodiquement des "décomptes (...)" indiquant le montant total (en francs) des facturations et encaissements enregistrés depuis l'engagement de la recourante. Ont notamment été produits les décomptes au 31 décembre 2004, 2005 et 2006 (annexes 1-3 de la pièce 16) et au 14 décembre 2007 (pièce 22). A la fin de l'année 2006, le total des prestations facturées était de 480'311 fr. 07; à la fin 2007, il s'élevait à 481'451 fr. 12. La pièce 16 comprend aussi un "récapitulatif (...) des prestations effectuées depuis le 1er juillet 2004 au 31 décembre 2006", qui fait état de 3156 "cas" traités pour la période en cause et indique qu'au regard d'un chiffre d'affaires total de 480'311 fr. 07, la moyenne par cas est de 152 fr. 19.
En première instance, la recourante a fait valoir en substance qu'elle ne pouvait contrôler l'exactitude des décomptes (...) de l'intimée dès lors qu'elle ne disposait ni des feuilles de suite, ni des factures adressées aux patientes. Sur ordonnance préparatoire du Tribunal des prud'hommes, l'intimée a produit les feuilles de suite établies par la recourante, la liste de toutes les consultations et prestations saisies informatiquement, classées par date et par patient, ainsi que la liste des factures émises et des encaissements enregistrés informatiquement. Pour la période de novembre 2004 à juillet 2005, le Tribunal des prud'hommes a confronté les feuilles de suite aux décomptes (...) que l'intimée avait remis à la recourante au cours de leur relation contractuelle; il a constaté que les différences entre les deux types de documents étaient minimes et que la comptabilité de l'intimée avait par ailleurs été jugée conforme aux règles en vigueur par son organe de révision. Il en a conclu que le montant des salaires dus pouvait être arrêté sur la base des documents établis par le système informatique de l'intimée.
Dans son appel incident, la recourante a soutenu la position suivante: elle avait donné 3156 consultations, fait que l'intimée avait admis dans sa réponse et qui valait aveu judiciaire. Par ailleurs, le prix moyen selon le tarif officiel (TarMed) pour une consultation gynécologique standard était de 155 fr., soit un montant semblable aux 152 fr. 19 indiqués par l'intimée dans la pièce 16. En multipliant le nombre de consultations par le prix moyen, on obtenait un chiffre d'affaires de 489'180 fr., soit un montant en apparence proche de celui ressortant du décompte 2007 de l'intimée (481'451 fr. 12). Toutefois, le chiffre d'affaires calculé d'après le nombre de consultations n'incluait pas les prestations de laboratoire et de radiographie déléguées à l'intimée, sur lesquelles la recourante avait droit à un pourcentage de 20%. Selon le décompte 2007, ces prestations représentaient un montant de 96'117 fr. 08 (encaissements), qui devait dès lors être ajouté au chiffre d'affaires des consultations de la recourante.
A l'audience tenue par la Cour d'appel le 25 novembre 2010, l'intimée a accepté que le décompte (...) 2007 (pièce 22) serve de base de calcul pour les créances de salaires. La recourante a pour sa part déclaré qu'il s'agissait d'une "base de raisonnement comparatif" et a exposé en substance le même raisonnement que dans son appel incident.
Dans son arrêt du 19 janvier 2011, la Cour d'appel a précisé que la recourante ne contestait pas la teneur des décomptes précités (pièces 16 et 22), mais soutenait qu'ils n'incluaient pas les prestations rémunérées au taux de 20%. La cour a réfuté cette critique en constatant que les décomptes comprenaient des postes intitulés "laboratoire mal/Acc/Tmed", "ponctions mal." [recte: "radiologie maladie"] et "Tarmed radiologie et US" auxquels avait été appliqué le taux de 20%. La cour a jugé que ces pièces étaient déterminantes pour arrêter le total des salaires dus; elle s'est fondée sur les montants facturés, dont elle a déduit 6% pour tenir compte des factures usuellement impayées. Elle a en outre déduit 23,51% à titre de charges sociales et fiscales. L'autorité précédente a conclu que la recourante avait droit à la somme totale de 123'840 fr. à titre de salaires nets, et que comme elle avait déjà touché 128'796 fr. de salaires nets, elle devait rembourser à l'intimée un trop-perçu de 4'956 fr.
2.3 Il ressort de ce qui précède qu'en procédure d'appel, la recourante n'a pas critiqué l'appréciation portée par le Tribunal des prud'hommes sur le caractère probant des décomptes (...) établis par l'intimée, et qui revenait en substance à dire que les données découlant des saisies informatiques de l'intimée étaient fiables puisqu'elles coïncidaient avec les feuilles de consultation établies par la recourante. Cette dernière ne prétend pas que l'autorité d'appel aurait dû revoir d'office l'appréciation des preuves opérée par les premiers juges; elle n'invoque à cet égard aucune violation d'une règle de procédure cantonale. De cette absence de grief, il faut inférer que l'autorité précédente pouvait se contenter de discuter les arguments développés en appel par la recourante; de même, la Cour de céans ne saurait revoir le raisonnement tenu par le Tribunal de première instance, faute pour la recourante d'avoir épuisé les voies de droit cantonales.
Dans son appel comme dans le présent recours, la recourante soutient que le chiffre d'affaires ressortant des "décomptes (...)" de l'intimée serait incomplet car il ne comprendrait pas les prestations rémunérées à 20%. Elle fonde sa démonstration sur un fait admis par l'intimée, à savoir la tenue de 3156 "consultations", dont elle prétend déduire qu'il s'agissait de consultations standard soumises au tarif de 152 fr. et n'incluant pas les prestations de laboratoire ou de radiologie déléguées à l'intimée. Or, l'intimée n'a rien admis de tel, et les pièces 16 et 20 invoquées par la recourante ne vont pas non plus dans ce sens. La pièce 16 fait état, pour la période du 1er juillet 2004 au 31 décembre 2006, de 3156 "cas" pour un "chiffre d'affaires" total de 480'311 fr., soit une moyenne de 152 fr. par cas. Selon le décompte (...) au 31 décembre 2006 (annexe 3 de la pièce 16), les prestations facturées pendant cette période sont groupées en différents postes, dont l'addition équivaut à 480'311 fr. Comme l'a constaté l'autorité intimée, le décompte indique clairement un pourcentage de 40% à côté de certains postes de prestations (tels que "chirurgie prestations mal.", "consultation maladie", "certificats-rapports mal.", "gynécologie prestations mal."), tandis qu'un taux de 20% figure en marge d'autres postes ("laboratoire mal/Acc/Tmed", "radiologie maladie" et "Tarmed radiologie et US"). La recourante ne démontre pas en quoi cette constatation serait arbitraire, ni ne soutient que le taux de 20% a été appliqué à tort au lieu du taux de 40%. D'après la pièce 16, le prix moyen de 152 fr. par cas traité est calculé sur la base de l'ensemble des prestations effectuées, qu'elles soient rémunérées au taux de 40% ou de 20%.
L'annexe II de la pièce 20, à laquelle se réfère aussi la recourante, ne dit pas le contraire. Il s'agit d'une liste qui, selon les termes de l'intimée, "reflète le détail des prestations effectuées par le Dr X._ par jour et par patient" (pièce 20 p. 2). Toutefois, à la lecture de cette liste, on constate qu'elle recense toutes les prestations effectuées sur les patientes de la recourante, y compris les prestations de laboratoire, de radiologie et d'ultrasons ("US") qui sont traitées, dans les décomptes (...), comme des prestations soumises au taux de 20%.
En bref, la cour cantonale n'a pas fait de constatation insoutenable en retenant que les décomptes litigieux - et le chiffre d'affaires retenu dans ceux-ci - incluaient les deux types de prestations soumises à rémunération; ayant rejeté sans arbitraire le grief formulé dans le cadre de l'appel, l'autorité précédente n'avait pas de motif de s'écarter des décomptes pour déterminer les salaires dus. Pour le surplus, la recourante ne formule aucun moyen sur l'exactitude des calculs effectués par la Cour d'appel, ni sur les déductions opérées pour tenir compte du non-recouvrement de certaines factures (- 6%), respectivement des charges sociales et fiscales (- 23,51%).
Il s'ensuit que le grief tiré de l'art. 9 Cst. doit être rejeté.
2.4 Les autres moyens relatifs au nombre de consultations et au prix moyen d'une consultation sont privés d'objet; la recourante elle-même reconnaît (recours p. 11 ch. 53) que ces griefs dépendent de l'admission de son moyen principal, lequel doit être rejeté pour les motifs qui viennent d'être indiqués.
3. 3.1 La recourante fait encore grief à la cour cantonale d'avoir refusé de lui allouer la somme de 4'000 fr. pour les frais de fiduciaire encourus et d'avoir ainsi enfreint les art. 9 Cst., 97 CO et 322c CO.
3.2 S'agissant d'application du droit fédéral, la Cour de céans n'a pas à limiter son examen à l'arbitraire (cf. supra consid. 1.2).
3.3 De manière générale, la personne dont la responsabilité contractuelle est engagée peut être amenée à indemniser son cocontractant pour les frais d'expertise privée que celui-ci a encourus, à condition que ces frais soient en rapport avec l'événement dommageable. L'expertise doit être nécessaire et son coût mesuré (PATRICK SUTTER, Die Geltendmachung der Kosten für private Expertise im Zivilprozess, ZZZ 2005, p. 397 ss, spéc. pp. 400 et 403; ALFRED KELLER, Haftpflicht im Privatrecht, vol. I, 6e éd. 2002, p. 71; cf. ATF 117 II 101 consid. 6b p. 107 qui pose des conditions similaires pour les frais d'avocat avant procès).
Aux termes de l'art. 322c CO, si le travailleur n'est pas tenu par le contrat d'établir un relevé de ses provisions, l'employeur lui remet à chaque échéance un décompte indiquant les affaires qui donnent droit à une provision (al. 1). L'employeur fournit les renseignements nécessaires au travailleur ou, à sa place, à un expert désigné en commun ou par le juge; il autorise le travailleur ou l'expert à consulter les livres et les pièces justificatives dans la mesure où le contrôle l'exige (al. 2).
Selon la doctrine, l'employeur doit remettre un décompte écrit en principe chaque mois (cf. art. 323 al. 2 CO); le décompte contient des détails tels que le nom du client, le genre et le nombre de marchandises vendues, la valeur de l'affaire conclue, etc. Sauf accord contraire, l'employeur est tenu de prouver l'exactitude du décompte. La loi prévoit une procédure en deux étapes, soit tout d'abord la remise du décompte, puis le droit de consulter les livres et pièces justificatives de l'employeur. L'employé peut exercer ce droit par l'intermédiaire d'un expert, qui peut aussi servir à protéger le droit au secret de l'employeur. L'expert ne peut pas être le choix d'une seule partie. En cas de désaccord, les parties doivent saisir le juge (REHBINDER/STÖCKLI, Berner Kommentar, 2010, n°s 12, 14 et 15 ad art. 322a CO et n°s 3-5 ad art. 322c).
3.4 La décision attaquée constate que l'intimée a remis chaque mois à la recourante un décompte de salaire et un "décompte (...)". La recourante ne reproche pas à l'intimée d'avoir contrevenu à son devoir de remettre des décomptes. Elle lui fait grief d'avoir refusé l'accès à ses livres de comptes en contravention de l'art. 322c CO, ce qui l'aurait obligée à engager des frais de fiduciaire pour tenter de mettre à jour le solde de salaire encore dû.
Un litige est survenu après la résiliation du contrat, dans le cadre duquel la recourante s'est plainte d'erreurs dans les décomptes de salaire, tandis que l'intimée lui réclamait plus de 7'000 fr. à titre d'acomptes versés en trop. La recourante a vainement requis l'accès aux livres de comptes et pièces justificatives de l'intimée. Elle a ouvert action en requérant au préalable qu'un tel accès lui soit accordé.
S'agissant de contrôler l'exactitude des décomptes, la recourante ne pouvait pas recourir unilatéralement à un expert, compte tenu de la réglementation prévue à l'art. 322c al. 2 CO. De surcroît, de l'aveu même de la recourante, le contrôle ne pouvait s'exercer qu'au moyen de pièces détenues par l'intimée et dont cette dernière lui refusait l'accès; dans un tel contexte, la mise en oeuvre de la fiduciaire apparaissait de toute façon prématurée. Il s'ensuit que l'autorité précédente a refusé à juste titre de mettre les frais de fiduciaire à la charge de l'intimée.
3.5 Mal fondé, le grief doit être rejeté, et avec lui le recours dans son ensemble.
4. La recourante, qui succombe, supportera les frais judiciaires et versera à l'intimée une indemnité à titre de dépens (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge de la recourante.
3. La recourante versera à l'intimée une indemnité de 4'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel des prud'hommes du canton de Genève.
Lausanne, le 17 mai 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Monti