Faits:
A. X._, titulaire d'un brevet d'avocat, a travaillé en qualité de juriste au service de Y._ SA (ci-après: Y._) du 1er septembre 1997 au 28 février 2001. Dès cette dernière date, Y._ l'a engagé en qualité de sous-agent.
Le contrat prévoyait notamment que le sous-agent avait droit à une commission d'acquisition en cas de conclusion des affaires suivantes: nouveau contrat, nouvelle couverture sur un contrat existant, prime supplémentaire après un renouvellement; la commission d'acquisition s'élevait à 50 % de la prime annuelle nette pour un contrat d'assurance d'une durée d'un à quatre ans, 100 % pour un contrat d'une durée de cinq à sept ans et 130 % pour un contrat d'une durée de huit ans. Le renouvellement de contrats, conclus par le sous-agent et expirés, donnait droit à une commission de remplacement de 8 % par année de prolongation effective. Enfin, pour les "cas spéciaux", c'est-à-dire "pour les contrats hors norme et/ou faisant l'objet d'une tarification spéciale", la direction fixait "de cas en cas les conditions de production et de commissionnement".
La société de location de voitures V._ SA (ci-après: V._) était cliente de Y._ depuis 1997. Le contrat initial mentionnait un parc automobile de trois cent cinquante véhicules; ce parc s'étant agrandi par la suite, X._, qui avait été en relation avec cette société, a été chargé de négocier un nouveau contrat. Lors d'une réunion le 18 avril 2002, des représentants de Y._ ont indiqué à X._ qu'ils souhaitaient obtenir un contrat avec V._ d'une durée d'un à deux ans, avec une prime d'assurance annuelle de l'ordre de 40'000 à 45'000 fr.; une commission de 8'000 fr. à 10'000 fr. a été évoquée pour ce cas.
X._ a obtenu la signature d'une proposition de contrat d'assurance avec V._ pour une prime annuelle de 35'000 fr. portant sur une couverture collective circulation et entreprise d'un parc de mille voitures servant à la location. Il a en outre obtenu la signature d'une seconde proposition de contrat d'assurance avec W._ SA (ci-après: W._), société appartenant au groupe V._, pour une prime annuelle de 10'500 fr. portant sur une couverture collective circulation et entreprise d'un parc de trois cents véhicules remis en leasing. Les propositions prévoyaient une durée de huit ans. Les deux contrats d'assurance avec des primes annuelles de 35'000 fr. et 10'500 fr. ont été signés les 17, respectivement 18 novembre 2002, pour une durée d'une année.
Le 29 octobre 2002, X._ a réclamé une commission de 59'150 fr., soit le 130 % des primes annuelles correspondant à la commission due pour l'acquisition de contrats d'une durée de huit ans; il précisait notamment avoir pris connaissance de la clause "cas spéciaux" permettant de déroger aux taux de commissionnement, mais que vu les extrêmes difficultés pour obtenir la signature des propositions d'assurance et l'intensité de son investissement, le taux ordinaire ne lui paraissait pas démérité. Début novembre 2002, Y._ lui a communiqué qu'une commission de 10'000 fr. lui serait accordée, les affaires tombant sous le coup des "cas spéciaux" pour lesquels la commission était fixée de cas en cas; elle soulignait que le montant de cette rémunération aurait au demeurant été articulée lors de la réunion du 18 avril 2002. Les 10'000 fr. ont été versés le 9 juillet 2003.
B. Le 26 septembre 2005, X._ a ouvert action contre Y._ en paiement de 59'150 fr. plus intérêts à 5 % dès le 29 octobre 2002, sous déduction de 10'000 fr. versés le 9 juillet 2003. Par jugement du 21 avril 2009, le Tribunal civil de l'arrondissement de La Côte a rejeté la demande. X._ a déposé un recours contre cette décision, qui a été rejeté par arrêt de la Chambre des recours du Tribunal cantonal vaudois du 23 février 2010.
C. X._ (le recourant) forme un recours en matière civile au Tribunal fédéral, concluant à ce que Y._ soit condamnée à lui payer 59'150 fr. bruts, sous déduction de 10'000 fr. versés le 9 juillet 2003, plus un intérêt moratoire de 5 % l'an dès le 29 octobre 2002. Y._ (l'intimée) propose le rejet du recours.
Considérant en droit:
1. L'arrêt attaqué tranche une cause civile et émane de l'autorité cantonale de dernière instance; la valeur litigieuse est de (59'150 fr. - 10'000 fr. =) 49'150 fr. Partant, le recours est en principe recevable (cf. art. 72 al. 1, art. 74 al. 1 let. b et art. 51 al. 1 let. a, art. 75 al. 1 LTF).
2. Le recourant se plaint d'une violation de l'interdiction constitutionnelle de l'arbitraire dans l'appréciation des preuves et l'établissement des faits.
2.1 Premièrement, la cour cantonale aurait arbitrairement retenu qu'un objectif de conclusion et de prime avait été retenu s'agissant du contrat avec W._. Le recourant avait soulevé le même grief dans son recours cantonal à l'encontre du jugement de première instance. La Chambre des recours l'a rejeté; elle a constaté qu'il ne ressortait nullement dudit jugement qu'un objectif de conclusion et de prime aurait été fixé en relation avec le contrat W._ SA; en effet, ce jugement retient uniquement que lors de la réunion du 18 avril 2002, il a été question d'un contrat d'assurance avec V._ SA; W._ SA n'est pas évoquée. Le recourant ne discute pas les motifs de l'arrêt attaqué; il s'ensuit l'irrecevabilité du grief (cf. art. 42 al. 2 et art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.1 p 245 s.; 134 V 53 consid. 3.3). Au demeurant, le recourant ne démontre pas la pertinence du grief pour le sort du litige, qui n'est pas évidente; cela entraîne également son irrecevabilité.
2.2 Deuxièmement, les juges cantonaux auraient retenu de manière arbitraire qu'un objectif de prime de 40'000 fr. à 45'000 fr. avait été fixé et qu'il avait été question d'une commission de 8'000 fr. à 10'000 fr. dès lors que le contrat à négocier était un contrat hors norme. Le recourant critique que ces faits reposent uniquement sur les déclarations de trois témoins qui étaient des organes de l'intimée. Il soutient essentiellement que le droit cantonal exclut d'entendre ces personnes en qualité de témoins; ce faisant, il soulève un grief d'application du droit de procédure cantonal et non pas d'appréciation des preuves. Pour le surplus, il ne démontre pas en quoi il était insoutenable de prêter foi aux déclarations de ces personnes; le simple fait qu'elles étaient des organes de l'intimée ou au service de celle-ci ne l'exclut pas nécessairement. Au demeurant, les précédents juges n'ont pas méconnu qu'en leur qualité d'organes de la société, les témoins en question étaient directement intéressés au sort du procès, et ils ont apprécié leurs déclarations en conséquence. Il s'ensuit le rejet du grief dans la mesure où il est recevable.
3. Le recourant se plaint d'une violation des art. 170 et 186 du code de procédure civile (du canton de Vaud) du 14 décembre 1966 (CPC/VD; RSV 270.11), au motif que la recevabilité du témoignage des trois personnes susmentionnées a été admise. La première disposition invoquée énumère les divers modes de preuve, tandis que la seconde précise que la preuve testimoniale est admise pour certifier toute circonstance de fait, alléguée avec précision, ayant pu faire l'objet de constatations personnelles.
L'un des trois témoins a été entendu à la demande du seul recourant et pour ce qui concerne l'audition de celui-ci, le grief est abusif. Pour le surplus, l'application du droit cantonal est uniquement examinée sous l'angle de l'arbitraire (cf. ATF 133 III 462 consid. 2.3 et 4.4.1). A la lecture des dispositions précitées, on ne trouve aucune allusion à une interdiction d'entendre les organes d'une société comme témoins dans un procès où la société est elle-même partie. La cour cantonale se réfère à la jurisprudence cantonale ainsi qu'à la doctrine suisse selon lesquelles une telle audition est possible; on ne discerne aucun arbitraire.
4. Le recourant se plaint enfin d'une violation du principe de la confiance lors de l'interprétation des dispositions du contrat de sous-agent relatives aux commissions. L'interprétation selon le principe de la confiance consiste à rechercher comment les parties, lorsque leur accord s'est formé, pouvaient comprendre de bonne foi les clauses adoptées par elles, en fonction du contexte dans lequel elles ont traité (cf. ATF 136 III 186 consid. 3.2.1 p. 188; 135 III 295 consid. 5.2 p. 302)
4.1 En instance cantonale, le recourant a prétendu à une commission pour un contrat de huit ans, soit 59'150 fr. correspondant à 130 % des primes annuelles; il contestait le droit de l'intimée de réduire la durée de huit ans prévue dans la proposition et de conclure des contrats d'un an. Les premiers juges ont expressément rejeté cette opinion.
Devant la Chambre des recours, le recourant a repris sa conclusion portant sur 59'150 fr.; il n'a toutefois plus soutenu avoir droit à une commission correspondant à 130 % de la prime annuelle pour l'acquisition de contrats de huit ans, mais à une commission de 50 % pour l'acquisition de contrats d'une année, augmentée de cinq commissions de 8 % pour les renouvellements des années 2003 à 2007, soit au total 40'950 fr. La cour cantonale a rejeté cette dernière prétention au motif qu'elle ne reposait sur aucun élément de fait allégué en première instance.
Dans le cadre de son recours au Tribunal fédéral, le recourant reprend sa conclusion primitive portant sur 59'150 fr., mais comme en instance de recours cantonale déjà, il ne soutient plus avoir droit à la commission due ensuite de la conclusion de contrats de huit ans; il n'y a pas à y revenir. Il explicite par contre une nouvelle fois sa prétention portant sur 40'950 fr., sans toutefois dire mot de la motivation de la cour cantonale ayant conduit au rejet de cette prétention; il n'y a pas à entrer en matière, faute de motivation (cf. art. 42 al. 2 et art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.1 p 245 s.; 134 V 53 consid. 3.3); au demeurant, il ne peut qu'être constaté que les faits sur lesquels le recourant se fonde, soit que les contrats d'assurances ont été prolongés d'année en année jusqu'en 2008 et qu'il a été sous-agent de l'intimée jusqu'en 2009, ne ressortent pas de l'arrêt attaqué (cf. art. 105 al. 1 et art. 99 al. 1 LTF).
La seule question qui se pose est dès lors celle de savoir si la conclusion des deux contrats d'assurance pour une durée d'une année est, au sens du contrat de sous-agent, un cas ordinaire donnant droit à une commission correspondant à 50 % des primes annuelles nettes ou si elle est un "cas spécial" pour lequel la commission est fixée de cas en cas.
4.2 Faisant référence au caractère exceptionnel de la règle relative aux "cas spéciaux" et à une clause du contrat selon laquelle "des compléments ou des modifications à ce contrat ne sont valables que s'ils sont effectués par écrit", le recourant soutient que l'intimée devait fixer à l'avance et par écrit la commission due pour la conclusion du contrat si elle considérait la conclusion de ce contrat comme un "cas spécial" ne donnant pas droit à la commission ordinaire. Or, déterminer quelle règle contractuelle sur le calcul des commissions est applicable à un cas d'espèce est une question qui concerne l'interprétation et l'application de clauses contractuelles existantes et nullement un complément ou une modification du contrat.
Pour sa part, l'intimée se réfère à l'avis de l'expert judiciaire selon lequel la commission allouée par l'intimée était substantiellement supérieure à celle que d'autres assureurs de protection juridique auraient accordée pour des affaires identiques, et elle en déduit que le recourant a été rémunéré de manière adéquate. Cela n'est toutefois pas déterminant pour la question à juger, à savoir si les contrats acquis étaient des cas ordinaires ou "spéciaux" au sens du contrat de sous-agent du recourant.
Enfin, l'intimée se réfère pour le surplus aux considérants des autorités cantonales. Celles-ci ont relevé que le recourant avait perçu des indemnités de l'assurance-chômage durant la période d'acquisition des propositions d'assurance litigieuses. On ne discerne pas en quoi cet élément serait pertinent dans le cadre de l'interprétation du contrat de sous-agent, ni au demeurant pour juger du caractère adéquat du montant de la commission versée.
4.3 A la lecture des clauses contractuelles sur le commissionnement, il apparaît que la règle en cas d'acquisition d'un contrat d'une durée d'un an est le versement d'une commission équivalant à 50 % de la prime annuelle nette. Cette règle ne s'applique toutefois pas aux "cas spéciaux"; leur définition est sommaire; la clause contractuelle spécifique parle simplement de "contrats hors norme et/ou faisant l'objet d'une tarification spéciale", sans autre précision ni renvoi à un autre texte plus détaillé.
Les deux contrats acquis par le recourant concernaient des flottes importantes de respectivement mille et trois cents véhicules automobiles et étaient de ce fait de la compétence de la direction de l'intimée; ce n'étaient manifestement pas des contrats courants. Ces contrats prévoyaient en outre des dispositions particulières dérogeant aux conditions générales de l'intimée. Enfin, la prime annuelle de 35 fr. par véhicule était nettement plus basse que la prime d'ordinaire demandée pour un véhicule. Dans ces circonstances, la cour cantonale n'a pas violé les principes de droit fédéral sur l'interprétation des contrats en retenant que les contrats acquis par le recourant étaient des contrats hors normes faisant l'objet d'une tarification spéciale au sens de la clause contractuelle sur les "cas spéciaux".
On notera qu'à la lecture du courrier du 29 octobre 2002, il se dégage l'impression que le recourant l'avait aussi compris ainsi; on ne voit pas pourquoi sinon il a précisé qu'il avait pris connaissance de la clause "cas spéciaux", mais estimait que le taux ordinaire n'était pas démérité au vu des difficultés rencontrées et de son engagement.
4.4 En définitive, c'est à bon droit que l'intimée a fait application de la clause sur les "cas spéciaux". Le montant alloué sous ce titre ne prête pas flanc à la critique au vu du résultat de l'expertise judiciaire.
5. Il résulte des considérants qui précèdent que le recours doit être rejeté dans la mesure de sa recevabilité.
6. Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimée sont mis à la charge du recourant, qui succombe (cf. art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3. Une indemnité de 3'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal vaudois.
Lausanne, le 24 septembre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Corboz Cornaz