Faits:
A. Par contrat du 9 mars 2007, X._ a engagé Y._ en qualité de coiffeuse à temps complet. Il était prévu un salaire mensuel brut de 3'600 fr., qui devait passer, après la période d'essai, à 3'800 fr.; dès que l'employée atteignait un chiffre d'affaires de 10'000 fr. par mois, son salaire brut devait s'élever à 4'000 fr. Il pouvait encore être augmenté, suivant le chiffre d'affaires réalisé, en fonction d'un tableau figurant au contrat. Il était prévu également une formation à suivre à Paris (France) et le contrat précisait dans quelle mesure l'employée pouvait être tenue de rembourser les frais assumés par l'employeur en cas de démission ou de licenciement.
L'employée a commencé son travail le 27 mars 2007.
Les rapports entre l'employeur et l'employée se sont par la suite fortement dégradés, de sorte que Y._, par lettre du 21 septembre 2008, a résilié le contrat pour le 31 octobre 2008. Dès le mois de novembre 2008, elle a trouvé un nouvel emploi dans un salon de coiffure à Rolle.
B. Par acte du 29 octobre 2008 adressé au Tribunal de prud'hommes de l'arrondissement de La Côte (VD), Y._ a ouvert action contre X._, prenant à son encontre diverses conclusions qu'il n'est plus nécessaire de reproduire dans le détail à ce stade de la procédure.
X._ a conclu au rejet des conclusions prises contre lui et a formulé des prétentions reconventionnelles.
Le Tribunal de prud'hommes a statué par jugement du 11 janvier 2011. Il a condamné X._ à verser à Y._ le montant brut de 6'800 fr. dont à déduire les charges sociales, avec intérêts à 5% l'an sur le montant de 3'800 fr. dès le 30 octobre 2008. Il a considéré que l'employée avait réalisé un chiffre d'affaires supérieur à 10'000 fr. en août 2007, si bien que son salaire mensuel brut devait être arrêté à 4'000 fr. jusqu'à la fin des rapports de travail. Il a admis que la salariée avait droit à un solde de salaires de 2'800 fr. pour la période d'août 2007 à septembre 2008, ainsi qu'à 4'000 fr. à titre de salaire pour le mois d'octobre 2008, resté impayé. En revanche, il a rejeté les prétentions de l'employée pour des heures supplémentaires, en considérant que celles-ci n'avaient pas été prouvées, ainsi que ses prétentions pour mobbing, menaces et insultes, en considérant que les faits n'étaient pas établis. Quant aux conclusions reconventionnelles, il a rejeté la demande de remboursement des frais de formation en considérant que ces frais n'avaient pas été prouvés, ainsi que la prétention en dommages-intérêts pour une campagne de dénigrement en concluant que ni le dénigrement, ni le dommage n'avaient été établis. Il a rejeté une prétention de l'employeur pour violation d'une clause d'interdiction de concurrence, en constatant que le nouveau lieu de travail de l'employée se situait au-delà du rayon de dix kilomètres prohibé par cette clause.
X._ a appelé de ce jugement et Y._ a formé un appel joint. En vue de déterminer la valeur litigieuse, il faut noter ici que les prétentions de l'employée portaient au total sur 20'000 fr. en capital.
Par arrêt du 8 mars 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté aussi bien l'appel principal que l'appel joint et confirmé le jugement entrepris.
C. X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant une violation des art. 317 CPC, 18 CO et 29 al. 1 Cst. tout en se plaignant également de l'appréciation des preuves et de l'établissement des faits, il conclut principalement à la réforme de l'arrêt attaqué, à ce que sa dette soit réduite à 1'200 fr. avec intérêts à 5% l'an dès le 1er octobre 2008, ce montant étant entièrement compensé par ses prétentions, et à ce que sa partie adverse soit reconnue sa débitrice d'un montant de 3'328 fr. 65 avec intérêts à 5% l'an dès le 1er octobre 2008; subsidiairement, le recourant requiert le renvoi de la cause à l'autorité précédente.
L'intimée, qui sollicite l'assistance judiciaire, propose le rejet du recours.
Le recourant a répliqué et l'intimée a renoncé à dupliquer.
Considérant en droit:
1. 1.1 Interjeté par une partie qui a succombé dans ses conclusions tantôt libératoires, tantôt condamnatoires et qui a donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse (cf. art. 51 al. 1 let. a LTF) atteint le seuil de 15'000 fr. requis en droit du travail (art. 74 al. 1 let. a LTF), le recours en matière civile est recevable, puisqu'il a été déposé en temps utile (art. 100 al. 1 LTF) et dans la forme requise par la loi (art. 42 LTF).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est donc pas limité par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, et rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 137 III 580 consid. 1.3 p. 584; 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; ATF 135 III 397 consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). La partie recourante qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit présenter une motivation répondant aux exigences de l'art. 106 al. 2 LTF (ATF 137 I 58 consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 1 LTF).
2. 2.1 Invoquant une violation de l'art. 317 CPC, le recourant reproche à la cour cantonale d'avoir écarté les pièces nouvelles qu'il a produites en appel. Il ne conteste pas que les conditions posées par l'art. 317 al. 1 CPC pour admettre la production de pièces nouvelles en appel n'étaient pas réunies. Il soutient cependant, la valeur litigieuse ne dépassant pas 30'000 fr., que la cause était soumise à la maxime inquisitoire en vertu de l'art. 247 al. 2 let. b ch. 2 CPC et que, par voie de conséquence, les conditions posées par l'art. 317 al. 1 CPC n'étaient pas applicables ou ne devaient être appliquées que de manière atténuée.
Dans deux cas où le pouvoir d'examen du Tribunal fédéral était limité à l'arbitraire parce qu'il s'agissait de mesures provisionnelles, il a été jugé qu'il n'était pas insoutenable de considérer que les conditions de l'art. 317 al. 1 CPC s'appliquent également aux procédures soumises à la maxime inquisitoire (arrêt 5A_592/2011 du 31 janvier 2012, consid. 4.1; arrêt 5A_402/2011 du 5 décembre 2011, consid. 4.1 et 4.2). Dans un arrêt récent (arrêt 4A_228/2012 du 28 août 2012, consid. 2.1 et 2.2 destinés à la publication), le Tribunal fédéral a jugé que l'art. 317 al. 1 CPC régissait de manière complète et autonome la possibilité pour les parties d'invoquer des faits et moyens de preuve nouveaux en procédure d'appel.
Il n'est cependant pas nécessaire de développer plus avant cette problématique.
En effet, la cour cantonale, dans l'arrêt attaqué, a présenté une motivation alternative. Après avoir constaté que les conditions de l'art. 317 al. 1 CPC n'étaient pas réunies et que les pièces nouvelles n'étaient donc en principe pas recevables, elle les a néanmoins examinées et elle a ajouté : « De toute manière, comme on le verra ci-dessous, les nouvelles pièces produites par l'appelant au sujet du remboursement des frais de formation sont sans incidence sur le point litigieux » (consid. 2c/aa in fine de l'arrêt attaqué, p. 11). Ainsi, la Cour d'appel a admis que, même si l'on prenait en considération ces pièces, celles-ci n'étaient pas probantes et ne pouvaient pas modifier la décision à rendre.
Selon la jurisprudence constante, lorsque l'autorité précédente s'appuie sur deux motivations indépendantes dont chacune suffit à justifier la décision, la partie recourante doit attaquer chacune de ces motivations en formulant un grief répondant aux exigences de l'art. 42 al. 1 et 2 LTF (ATF 138 I 97 consid. 4.1.4 p. 100; 136 III 534 consid. 2 p. 535). En effet, si elle laisse subsister sans critique l'une des motivations indépendantes qui justifie la décision, elle admet que cette motivation est conforme au droit; il en résulte que sa critique ne peut pas modifier le dispositif de l'arrêt attaqué, de sorte qu'il n'y a pas d'intérêt concret à l'examiner.
En l'espèce, le recourant reproche à la cour cantonale d'avoir écarté les pièces nouvelles pour le motif que les conditions de l'art. 317 al. 1 CPC n'étaient pas réalisées, mais il n'explique pas en quoi la cour cantonale aurait apprécié les preuves de manière arbitraire en considérant que les pièces nouvelles, prises en compte, ne pouvaient pas modifier la décision attaquée. Le Tribunal fédéral ne peut revoir l'appréciation des preuves que sous l'angle restreint de l'arbitraire (art. 9 Cst.); il ne saurait entrer en matière sur une telle question en l'absence d'un grief dûment formulé et motivé (art. 106 al. 2 LTF). Dès lors qu'il a été jugé - d'une manière qui lie le Tribunal fédéral - que les pièces nouvelles ne sont pas probantes, il n'y a plus d'intérêt à vérifier si elles devaient ou non être examinées. Le grief est irrecevable.
2.2 Invoquant la question à la fois sous l'angle de l'établissement des faits (art. 9 Cst.) et sous l'angle d'une violation de l'art. 18 CO, le recourant reproche à la cour cantonale d'avoir corrigé le chiffre d'affaires effectif réalisé par l'employée pour les mois où elle a pris des vacances.
Il a été constaté en fait - d'une manière qui lie le Tribunal fédéral (art. 105 al. 1 LTF) - que le contrat conclu entre les parties prévoit une rémunération qui peut être augmentée en fonction du chiffre d'affaires réalisé par l'employée. Comme cette dernière a droit à des vacances (art. 329a CO), il est évident qu'elle ne peut pas réaliser le même chiffre d'affaires durant les mois où elle prend des jours de vacances. Il se pose donc un problème d'interprétation de la clause contractuelle (sur l'interprétation des dispositions contractuelles: cf. ATF 135 III 410 consid. 3.2 p. 412 s.; 131 III 606 consid. 4.1 p. 611 s.).
La cour cantonale a constaté que l'employeur lui-même, en cours de procédure, avait admis dans un allégué un correctif pour tenir compte des vacances. Le recourant ne prétend pas que la constatation de cet allégué serait arbitraire (cf. art. 106 al. 2 LTF). Dès lors que l'employée partait également du même principe, la cour cantonale pouvait en déduire, sans arbitraire, qu'il s'agissait de la volonté réelle des parties dans l'interprétation de la clause contractuelle. Comme la volonté réelle des parties a été déterminée sur la base de leur comportement ultérieur, il s'agit d'une constatation de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF).
Le grief concernant le chiffre d'affaires réalisé par l'intimée et le salaire qui en résulte doit être rejeté.
2.3 S'agissant du remboursement des frais de formation, le recourant reproche de manière assez confuse à la cour cantonale d'avoir violé l'art. 317 CPC et d'avoir mal interprété le contrat (art. 18 CO).
La cour cantonale a retenu que le recourant n'avait pas prouvé avoir assumé des frais pour la formation de l'intimée.
Savoir si des dépenses sont ou non établies est une pure question d'appréciation des preuves que le Tribunal fédéral ne peut revoir que sous l'angle restreint de l'arbitraire (art. 9 Cst.). Encore faut-il que la partie recourante présente à ce sujet une argumentation précise (art. 106 al. 2 LTF). Or le recourant ne démontre pas, dans son acte de recours, qu'il aurait dépensé une somme déterminée pour la formation de l'intimée. Son grief, insuffisamment motivé, est irrecevable.
2.4 Le recourant fait grief à la cour cantonale d'avoir alloué à l'intimée un salaire pour le mois d'octobre 2008, alors qu'elle n'a pas travaillé pendant ce mois.
La Cour d'appel a retenu que l'employée était en incapacité de travail durant le mois d'octobre 2008 pour cause de maladie, sur la base d'un certificat médical attestant d'une telle incapacité à 100%. Il n'y a pas trace d'un déni de justice (art. 29 al. 1 Cst.).
Le point de savoir si ce certificat médical est ou non crédible a trait à l'appréciation des preuves. Dans ce cas également, l'argumentation du recourant est impropre à démontrer qu'il était insoutenable de considérer probant le certificat médical.
2.5 Enfin, le recourant se plaint, sans invoquer aucune règle juridique, du fait que la cour cantonale a rejeté ses conclusions reconventionnelles en dommages-intérêts fondées sur une prétendue campagne de dénigrement orchestrée par l'intimée.
Les magistrats vaudois ont constaté que le recourant n'avait pu citer aucun témoin qui aurait entendu des propos médisants de la part de l'intimée. En outre, ils ont observé que les chiffres d'affaires retenus ne permettaient pas de mettre en évidence un quelconque dommage lié à la prétendue campagne de dénigrement.
Il s'agit derechef d'une question d'appréciation des preuves. Le recourant ne prétend pas avoir apporté la moindre preuve d'un dénigrement. En conséquence, cela suffit pour rejeter sa prétention, sans qu'il y ait arbitraire dans l'établissement des faits. Pour le surplus, à considérer les chiffres d'affaires du salon résultant de l'arrêt déféré, déterminants pour le Tribunal fédéral (art. 105 al. 1 LTF), il n'apparaît pas non plus qu'il y ait eu un fléchissement pendant les périodes invoquées. Ainsi, de juillet à septembre 2007, le chiffre d'affaires était de 60'853 fr. 20, tandis qu'il était de 68'627 fr. 35 de juillet à septembre 2008; d'octobre à décembre 2007, il était de 70'159 fr. 70, alors qu'il s'est élevé à 72'174 fr. 55 d'octobre à décembre 2008 (cf. p. 7 de l'arrêt attaqué). On ne discerne pas le plus petit soupçon d'arbitraire dans la constatation qu'un dommage n'a pas été établi.
Il sied encore de relever en passant que le recourant extrait du dossier certains chiffres, ce qui n'est pas conforme à la règle de l'art. 105 al. 1 LTF. En effet, le Tribunal fédéral, sauf si l'arbitraire est démontré par une argumentation précise (art. 106 al. 2 LTF), ne peut prendre en compte que les chiffres figurant dans l'arrêt attaqué.
Il suit de là que le recours doit être rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, réduits en vertu de l'art. 65 al. 4 let. c LTF, et les dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
L'intimée a sollicité l'assistance judiciaire (art. 64 LTF). Elle a établi par pièces qu'elle ne disposait pas de ressources suffisantes pour soutenir le procès. Par ailleurs, l'assistance d'un avocat lui était manifestement nécessaire. Comme ses conclusions correspondent à l'issue de la procédure, elles n'étaient à l'évidence pas dépourvues de chances de succès. Dès lors, les conditions de l'assistance judiciaire sont réunies et celle-ci doit être accordée. Elle n'aura toutefois d'importance pratique que si les dépens accordés ne peuvent pas être recouvrés.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 700 fr., sont mis à la charge du recourant.
3. L'assistance judiciaire est accordée à l'intimée. Me Youri Widmer est désigné comme avocat d'office.
4. Le recourant versera à l'intimée une indemnité de 2'000 fr. à titre de dépens. Au cas où ces dépens ne pourraient pas être recouvrés, la Caisse du Tribunal fédéral versera à Me Youri Widmer une indemnité de 2'000 fr. à titre d'honoraires.
5. Le présent arrêt est communiqué aux mandataires des parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 1er octobre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet