Faits:
A. A.a Y._ SA, de siège à Lausanne, est une société spécialisée dans le courtage en produits d'assurance, en produits bancaires et immobiliers.
X._ a travaillé pour le compte de cette société, en qualité de conseiller en assurances et investissements à temps partiel dès novembre 2000, puis à temps complet du 1er novembre 2001 au 30 novembre 2004. A cette date, les rapports de travail ont pris fin.
A.b Le salaire du collaborateur était composé d'un salaire fixe et d'un salaire variable.
Le contrat de travail du 1er novembre 2001 prévoyait un salaire de base de 5'000 fr. par mois; il faisait également état d'un système de commission, qui variait en fonction des contrats conclus. L'avenant du 21 janvier 2002 portait à 6'000 fr. le salaire mensuel de base et à 35 le nombre de premiers contrats non-commissionnés dans la branche Vie.
Un salaire mensuel de base de 500 fr., ainsi que des commissions, par 6'500 fr., « selon le barème des agents professionnels », étaient prévus dans l'avenant du 1er mai 2002. Enfin, un contrat de travail, non daté, mais fixant le début des rapports d'engagement au 1er janvier 2004, stipulait que le salaire variable était « versé sous forme de commissions, selon tableau en vigueur et en fonction du statut de l'agent: Mandataire ou Professionnel. Le tableau de commissions peut être adapté en fonction des résultats et des accords de Y._ avec ses fournisseurs ».
A.c Le document intitulé « tableau du taux de commissionnement, selon statut » contient divers pourcentages, qui varient en fonction du produit vendu. Ces pourcentages sont calculés à partir du capital de production, de la prime nette annuelle ou de la première commission.
A.d En cas de résiliation de la police d'assurance dans les trois ans suivant sa conclusion, la commission perçue pour cette police par X._ devait être restituée à Y._ SA. Pour garantir la bonne restitution de ces commissions, l'employeur a constitué un compte de caution sur lequel était versé une retenue de 10% de l'ensemble des commissions versées à l'employé.
A.e Y._ SA a constitué un compte de caution pour garantir les polices signées par ses agents pour le compte de certaines compagnies d'assurances avec lesquelles elle travaillait, notamment U._, V._ et W._. Sur ce compte, Y._ SA versait le 10% du capital de production dégagé pour ces compagnies. De 2000 à 2004, le capital de production négocié par X._ auprès de ces compagnies s'est élevé à 6'200'000 francs.
Dans les cas où Y._ SA devait constituer une garantie auprès des compagnies d'assurances, elle ne calculait la commission due à l'employé non pas sur le capital de production, mais sur le capital de production déduit de la retenue de 10% versée sur le compte de caution.
B. Le 9 novembre 2006, X._ a assigné Y._ SA en paiement de 12'500 fr., avec intérêts moratoires au taux de 5% l'an dès le 1er décembre 2004.
Par jugement du 22 novembre 2007, le Tribunal de prud'hommes de l'arrondissement de Lausanne a alloué au demandeur le plein de ses conclusions.
Dans le cadre de l'interprétation du terme « capital de production », les premiers juges ont estimé que le contrat est clair et qu'il ne fait aucun doute que, par le terme capital de production, les parties entendaient le montant représentant le produit de la prime d'assurance multiplié par la durée du contrat auquel s'ajoutaient les garanties. Ils ont retenu que l'interprétation faite par la défenderesse de la notion de capital de production n'était pas un usage établi et connu de tous. Les employés entendus comme témoin, qui ne connaissaient pas exactement le mode de calcul de leurs commissions, ne savaient pas que celles-ci étaient calculées, en cas de constitution de garanties auprès des compagnies d'assurances, sur le 90% du capital de production. Ainsi, la commission de l'agent ne pouvait avoir comme base de calcul les 90% en question. Procédant au calcul de la somme encore due, les magistrats ont pris le 10% du capital de production de l'ensemble des contrats d'assurances négociés par le demandeur auprès de U._, de V._ et de W._ entre 2000 et 2004, arrêté à 6'200'000 fr., et estimé que le demandeur avait droit à une commission représentant le 20 ‰ du montant ainsi obtenu (620'000 fr.), soit en définitive à 12'500 fr., avec intérêts.
Statuant le 22 novembre 2007, sur appel de la défenderesse, la Chambre des recours du Tribunal cantonal vaudois a admis le recours et réformé le jugement entrepris en ce sens que la demande a été rejetée. Se fondant sur plusieurs dépositions de personnes qui sont ou ont été employées auprès de la défenderesse, l'autorité cantonale a jugé que l'interprétation du terme litigieux, telle que donnée par la défenderesse, était correcte et qu'il appartenait au demandeur de prouver que son capital de production comprenait la part de 10% placée sur le compte de caution destiné à garantir la relation entre la défenderesse et les compagnies d'assurances. Selon les juges cantonaux, une telle preuve n'a pas été apportée.
C. Le demandeur interjette un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à la réforme de l'arrêt entrepris, dans le sens où la défenderesse est sa débitrice d'un montant brut de 12'500 fr., avec intérêts à 5% l'an dès le 1er décembre 2004, ainsi que d'un montant à titre de dépens de deuxième instance.
La défenderesse sollicite le rejet du recours. Quant à l'autorité cantonale, elle déclare se référer aux considérants de l'arrêt.
Considérant en droit:
1. 1.1 Le recours est dirigé contre un jugement rendu en matière civile (art. 72 al. 1 LTF). La valeur litigieuse n'atteint pas le minimum légal de 15'000 fr. (art. 51 al. 1 let. a et 74 al. 1 let. a LTF) et la cause ne correspond à aucun des cas de dispense prévus par la loi (art. 74 al. 2 LTF), la contestation ne soulevant en particulier aucune question juridique de principe au sens de l'art. 74 al. 2 let. a LTF. Dès lors, seul entre en ligne de compte le recours constitutionnel subsidiaire, au sens des art. 113 ss LTF. Le recours est dirigé contre une décision finale (art. 90 al. 1 LTF auquel renvoie l'art. 117 LTF). Le recourant a pris part à l'instance précédente et a succombé dans ses conclusions (art. 115 LTF). Déposé en temps utile (art. 100 al. 1 LTF en liaison avec l'art. 117 LTF) et dans les formes requises (art. 42 al. 1 à 3 LTF), le recours constitutionnel est en principe recevable.
1.2 Le recours constitutionnel ne peut être exercé que pour violation des droits constitutionnels (art. 116 LTF). Le Tribunal fédéral ne se saisit que des griefs soulevés et motivés par la partie recourante (art. 106 al. 2 LTF en liaison avec l'art. 117 LTF), les exigences de motivation correspondant à celles de l'art. 90 al. 1 let. b OJ (cf. ATF 133 III 393 consid. 6; 133 IV 286 consid. 1.4). Il doit statuer sur la base des faits constatés dans la décision attaquée; il ne peut rectifier ou compléter que les constatations de fait auxquelles l'autorité précédente est parvenue en violation des droits constitutionnels (art. 118 LTF).
2. Le litige porte sur l'interprétation donnée à la notion de « capital de production », comme base de calcul de la rémunération variable du recourant.
Il ressort expressément du jugement entrepris que seul demeure litigieux le point de savoir si le capital de production déterminant pour le calcul de la commission du recourant englobe ou non la retenue de 10% versée sur le compte de caution destiné à garantir la résiliation des contrats entre l'intimée et les compagnies d'assurances. Ainsi, il apparaît clairement que la problématique concerne une éventuelle soustraction de la garantie de 10% d'un montant de base, équivalant au produit de la prime d'assurance multiplié par la durée du contrat; le principe de fixation de ce montant de base n'est pas remis en cause par les parties. La cour cantonale avait donc à déterminer si le capital de production correspond au produit de la prime d'assurance multiplié par la durée du contrat ou si le capital de production correspond au produit de la prime d'assurance multiplié par la durée du contrat, mais sous déduction de la retenue de 10% versée sur le compte de caution susmentionné.
3. 3.1 Le recourant prétend que le raisonnement développé par la cour cantonale est indiscutablement arbitraire par son illogisme, sa violation crasse des règles fondamentales en matière d'interprétation des contrats et le renversement du fardeau de la preuve qu'il implique en violation de l'art. 8 CC.
Selon le recourant, le terme utilisé (« capital de production ») n'est nullement inexact et ne saurait prêter à confusion. Il s'agit d'un terme précis, qui recoupe une notion non ambiguë, sur lequel les deux parties s'accordent d'ailleurs. Il estime que le principe de la confiance n'a pas à s'appliquer, puisque la lettre - tout à fait claire - de la convention prime tout autre règle d'interprétation. En passant outre à cette règle, les juges ont arbitrairement apprécié le contrat de travail liant les parties.
3.2 Les juges cantonaux n'ont pas établi l'existence d'une réelle et commune volonté des parties s'agissant de la portée à donner au terme querellé (ATF 132 III 24 consid. 4). Ils ont donc procédé à une interprétation sous l'angle du principe de la confiance (ATF 132 III 24 consid. 4).
L'analyse à laquelle s'est livrée la juridiction cantonale n'est pas soutenable. Afin d'établir ce que les parties entendaient par capital de production, l'autorité cantonale s'est référée à « diverses dépositions des personnes qui sont ou ont été employées chez la recourante ». Les juges cantonaux ont ainsi fondé la base de leur raisonnement sur les témoignages concordants de A._ et de B._. Or, il apparaît que ces témoignages ne font que relater la pratique - non contestée - qui a cours au sein de la recourante, sans apporter de précision sur le sens que les parties pouvaient donner à la clause litigieuse. Les témoignages en question sont donc dénués de pertinence dans l'examen des circonstances déterminantes.
Pour le surplus, on ne voit pas pourquoi le recourant devait objectivement penser que le capital de production équivalait au produit des primes d'assurances, déduction faite des 10% laissés en mains des assurances tierces à titre de caution. Aucun indice n'est de nature à confirmer une telle interprétation.
Le capital de production a trait, par définition, à la production. Dans le cas d'espèce, il n'est pas remis en cause que le capital de production est constitué du montant des primes des contrats d'assurances sur la durée totale des contrats; comme mentionné ci-dessus, seule demeure litigieuse la question de savoir si les 10% de caution destinés à garantir la relation entre l'intimée et les compagnies d'assurances doivent être déduits de ce montant.
Tout d'abord, le texte du « tableau du taux de commissionnement, selon statut », est dénué d'ambiguïté. Le tableau en question précise les taux de commission et leur base de calculs en fonction des produits; pour certains contrats, la base de calcul est « le capital de production ». Aucune mention n'est faite de la caution sur laquelle porte la discussion.
Ensuite, la caution est une garantie qui n'intervient pas à proprement parler sur la masse des primes apportées par le recourant, puisqu'elle ne sert qu'à garantir la résiliation des contrats. A défaut de résiliation, la caution constitue donc un capital de production. Une déduction systématique et irréversible de la totalité des garanties n'apparaît pas justifiée d'un point de vue objectif; elle l'est d'autant moins que la garantie dont il est question ne concerne que la relation nouée entre l'intimée et les compagnies d'assurances. A défaut d'une mention expresse contraire, on ne voit pas ce qui permettrait d'inférer qu'une telle pratique correspondait à la volonté des parties. Par ailleurs, l'unique document contractuel faisant état des cautions à verser est le contrat non daté, produit en cause; à la lecture de ce titre, il ressort que la clause contractuelle consacrée au salaire est bien distincte de celle relative à la caution, qui ne traite du reste que de la caution constituée pour garantir les ristournes dues par l'agent en cas de résiliation des contrats d'assurances et non pas celles - présentement discutées - dues par l'intimée.
Il ne peut au demeurant pas être tenu pour établi, sans verser dans l'arbitraire, que la déduction de la caution litigieuse était un usage avéré, connu de tous les employés de la société. Il ressort en effet expressément du jugement cantonal que les témoins C._ et D._ n'ont pas mentionné l'existence du compte de caution destiné à garantir la relation entre l'intimée et les compagnies d'assurances et que le témoin E._, qui connaissait l'existence des deux comptes de caution, n'a pas parlé d'un taux de réduction. La Cour de céans ne voit donc pas comment les employés auraient pu faire la distinction entre un « capital de production brut » et un « capital de production net ». Il faut enfin relever que l'absence de critique formulée par le recourant contre le système en cours ne saurait en aucun cas constituer une circonstance déterminante, dès lors qu'elle est postérieure à la manifestation de volonté. En tout état de cause, un tel fait n'aurait pas été à même d'exercer une quelconque influence sur le sort du litige, puisque l'administration des preuves a révélé que le système appliqué par l'intimée était mal connu des agents.
Cela étant, la cour cantonale a fait une application arbitraire de l'art. 18 CO. Le grief du recourant est donc fondé.
4. Au vu de ce qui précède, le recours doit être admis, sans qu'il ne soit nécessaire d'examiner les autres griefs développés par le recourant, notamment celui dénonçant une violation crasse des règles sur le fardeau de la preuve.
5. Pour déterminer la commission encore due au recourant, les premiers juges ont pris appui sur le capital de production dégagé par celui-ci pour les compagnies U._, V._ et W._, durant les années 2000 à 2004; ce capital a été arrêté à 6'200'000 francs. Dans la mesure où les 10% de caution destinés aux compagnies d'assurances ont été prélevés depuis le mois de mai 2002, seul le capital de production réalisé durant la période s'étendant de mai 2002 à la fin des rapports contractuels devait être pris en compte dans le calcul de la commission. Cela étant, il appartiendra à l'autorité cantonale de déterminer le capital de production idoine et de calculer, sur cette base, le montant de la commission à laquelle a droit le recourant.
6. L'issue du litige commande de mettre les frais judiciaires, calculés par application de l'art. 65 al. 4 let. c LTF, à la charge de l'intimée et de la condamner à verser au recourant une indemnité à titre de dépens (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. Une indemnité de 2'500 fr., à payer au recourant à titre de dépens, est mise à la charge de l'intimée.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 mai 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Crittin