Faits:
A. X._ est copropriétaire d'une parcelle dans la région lausannoise sur laquelle il a décidé de construire une villa jumelle.
Un appel d'offres a été effectué concernant notamment la réalisation d'une fouille commune pour le raccordement des eaux et des autres services (électricité, TV, etc). Une clause intitulée "Devis complémentaires" précisait ce qui suit:
"Pour tous les travaux non prévus dans le présent cahier des charges, l'entrepreneur présente spontanément un devis complémentaire. Le M.O. [Maître de l'oeuvre] se réserve le droit d'adjuger, le cas échéant, les travaux complémentaires à l'entreprise de son choix."
La société Y._ SA a obtenu l'adjudication des travaux. Par contrat d'entreprise du 31 mai 2007, elle s'est engagée envers X._ (ci-après: le maître) à effectuer les travaux soumissionnés au prix forfaitaire de 44'000 fr. Etait notamment convenu ce qui suit:
"(...) Le devis de l'entreprise inclut les travaux de plus-values au sous-sol villa demandés par le propriétaire. Aucune autre plus-value ne sera prise en considération... hormis décision et devis complémentaire signé du M.O. de l'entrepreneur d'entente avec la direction des travaux. (...)"
La commune et les responsables du lotissement ont modifié le point de raccordement des eaux. Il a fallu modifier le tracé initial prévu pour le raccordement des collecteurs d'eau et effectuer une fouille séparée pour le raccordement des autres services. En définitive, le travail de raccordement des eaux n'a été que partiellement exécuté par Y._ SA, l'entreprise A._ SA s'étant chargée d'une partie du tronçon. Y._ SA a par ailleurs effectué le raccordement séparé pour les autres services; elle a en outre procédé à la mise en place de terre végétale et au terrassement du garage.
Le maître de l'ouvrage a été informé de l'évolution du chantier par procès-verbaux hebdomadaires.
Y._ SA a achevé ses travaux en décembre 2007. Elle a présenté au maître deux factures finales, l'une de 38'000 fr. portant sur les "travaux de terrassement selon devis du 6 mars 2007 et contrat du 31 mai 2007", l'autre de 15'650 fr. concernant les "travaux complémentaires selon exigences de la commune et des SI" (rubrique A, 11'500 fr.) et les travaux de "mise en place des terres et terrassement garage" (rubrique B, 4'150 fr.). Un montant total de 35'000 fr. versé à titre d'acomptes a été déduit des factures.
Tous les travaux facturés ont été consignés dans les procès-verbaux.
Les parties ont été en litige dès le 20 août 2008. Un expert judiciaire a été mandaté pour se prononcer sur le bien-fondé des deux factures. S'agissant de la première, il a ramené le montant forfaitaire contractuel à 36'387 fr. 95 après prise en compte du travail de A._ SA. Concernant la deuxième facture, il a augmenté à 12'038 fr. les travaux complémentaires de la rubrique A et confirmé le montant de 4'150 fr. figurant sous rubrique B pour les travaux de mise en place de terre et de terrassement du garage.
B. B.a Agissant sur requête de Y._ SA du 20 août 2008, le Président du Tribunal civil de l'arrondissement de Lausanne a ordonné l'inscription provisoire d'une hypothèque légale de 18'650 fr. sur la part de copropriété du maître.
Par demande du 27 février 2009, Y._ SA a conclu à l'inscription définitive de cette hypothèque ainsi qu'au paiement de 18'650 fr. Elle a ensuite réduit le montant de l'hypothèque et de sa conclusion en paiement à 17'575 fr. 95.
Par jugement du 1er novembre 2010, le président du tribunal d'arrondissement a condamné le maître à verser à Y._ SA les sommes de 1'387 fr. 95 et 4'150 fr., intérêts en sus. Il a ordonné la radiation de l'hypothèque légale provisoire. En substance, le juge a fait siennes les conclusions de l'expert arrêtant à 36'387 fr. 95 les travaux objet de la première facture; après déduction de 35'000 fr. d'acomptes, Y._ SA avait droit au solde de 1'387 fr. 95. S'agissant des travaux complémentaires de fouille séparée (2ème facture, rubrique A), il a constaté que la forme conventionnelle n'avait pas été respectée pour ces travaux imprévus et que Y._ SA ne pouvait pas même se prévaloir d'un accord oral du maître, qui n'avait par ailleurs pas pu valablement être engagé par son architecte. Le juge en a conclu que ces travaux ne pouvaient pas être facturés. Il a en revanche considéré que les travaux de mise en place de terre végétale et de terrassement du garage (2ème facture, rubrique B) étaient sans rapport direct avec le contrat du 31 mai 2007 et avaient fait l'objet d'un nouvel accord oral, de sorte que la facturation de 4'150 fr. était justifiée.
B.b Y._ SA a déféré cette décision à la Chambre des recours du Tribunal cantonal en concluant à l'admission de son action. Par recours joint, le maître a conclu à la réforme du jugement en ce sens qu'il n'est pas débiteur de la somme de 4'150 fr.
Par arrêt du 24 août 2011, la Chambre des recours a réformé le jugement attaqué en ce sens que le maître doit verser à Y._ SA la somme de 17'575 fr. 95. Celle-ci inclut (outre les montants alloués en première instance) 12'038 fr. à titre de travaux supplémentaires pour la réalisation d'une fouille séparée.
C. Le maître (ci-après: le recourant) a interjeté un recours constitutionnel subsidiaire au Tribunal fédéral. Il a conclu à ce qu'il soit condamné au paiement du seul montant de 1'387 fr. 95.
Y._ SA (ci-après: l'intimée) a expressément renoncé à déposer une réponse. L'autorité précédente s'est référée à son arrêt.
Considérant en droit:
1. La décision attaquée relève de la matière civile (art. 72 al. 1 LTF). Toutefois, la valeur litigieuse n'atteint pas le minimum légal de 30'000 fr. (art. 51 al. 1 let. a et art. 74 al. 1 let. b LTF), étant précisé qu'il n'y a pas lieu d'additionner la valeur du gage à celle de la créance qu'il garantit (cf. ATF 55 II 39 consid. 1; DONZALLAZ, Loi sur le Tribunal fédéral, 2008, n° 1412 ad art. 51 LTF; POUDRET/SANDOZ-MONOD, Commentaire de la loi fédérale d'organisation judiciaire, vol. II, 1990, p. 246 n° 1.2.1 ad art. 47 OJ). En conséquence, la cause ne peut être l'objet que d'un recours constitutionnel subsidiaire (art. 113 LTF). Les conditions de recevabilité de ce recours extraordinaire sont par ailleurs satisfaites.
2. 2.1 Seule la violation des droits constitutionnels - telle l'application arbitraire du droit fédéral - peut être invoquée à l'appui de ce recours (art. 116 LTF; ATF 134 III 379 consid. 1.2 p. 383). Le Tribunal fédéral ne se saisit que des griefs soulevés et motivés de façon détaillée par la partie recourante (art. 106 al. 2 LTF, par renvoi de l'art. 117 LTF; ATF 134 II 244 consid. 2.2). Il statue sur la base des faits constatés dans la décision attaquée, sauf si la partie recourante fait valoir de façon circonstanciée que les constatations de fait sont elles-mêmes contraires à des droits constitutionnels (art. 118 LTF en relation avec l'art. 116 LTF; ATF 133 III 393 consid. 7.1).
2.2 Arbitraire et violation de la loi ne sauraient être confondus; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (cf. ATF 133 III 462 consid. 4.4.1). Pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (ATF 137 I 1 consid. 2.4).
3. 3.1 Le recourant reproche à la cour vaudoise d'avoir interprété de façon arbitraire le contrat d'entreprise en considérant que l'exigence de forme écrite ne s'appliquait pas aux travaux de fouille séparée rendus nécessaires par des exigences de tiers. La cour aurait violé gravement le principe de la confiance et aurait tiré des déductions insoutenables au vu de la teneur du contrat.
3. 3.1 Le recourant reproche à la cour vaudoise d'avoir interprété de façon arbitraire le contrat d'entreprise en considérant que l'exigence de forme écrite ne s'appliquait pas aux travaux de fouille séparée rendus nécessaires par des exigences de tiers. La cour aurait violé gravement le principe de la confiance et aurait tiré des déductions insoutenables au vu de la teneur du contrat.
3.2 3.2.1 Pour interpréter une clause contractuelle selon le principe de la confiance, il convient de partir en premier lieu du texte de ladite clause. En règle générale, les expressions et termes choisis par les cocontractants devront être compris dans leur sens objectif. Un texte clair prévaudra en principe sur les autres moyens d'interprétation. Toutefois, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances que son texte ne restitue pas exactement le sens de l'accord conclu (ATF 131 III 606 consid. 4.2). Il n'y a pas lieu de s'écarter du texte littéral sans raisons sérieuses (ATF 130 III 417 consid. 3.2 p. 425).
3.2.2 L'art. 16 al. 1 CO institue une présomption selon laquelle l'exigence de forme est une condition de validité de l'acte juridique (KRAMER/SCHMIDLIN, Berner Kommentar, 1986, nos 25 ss et 35 ad art. 16 CO). Cette présomption peut notamment être renversée par la preuve que le vice ne porte pas sérieusement atteinte au but de protection assigné à l'exigence de forme, respectivement par la preuve que les parties ont après coup renoncé à la réserve formelle, expressément ou par actes concluants, par exemple en exécutant les prestations nonobstant le vice (KRAMER/SCHMIDLIN, op. cit., n°s 38 et 44 s. ad art. 16 CO).
3.3 Les travaux litigieux n'étaient pas prévus par le descriptif du contrat et de ses parties intégrantes (devis, conditions d'appel d'offres) sur la base desquels le prix forfaitaire avait été calculé; il y était question d'une fouille commune pour tous les raccordements. Dans la mesure où des fouilles distinctes ont finalement été réalisées, la cour cantonale pouvait sans arbitraire considérer qu'il y avait eu une modification de commande donnant cas échéant le droit à une rémunération supplémentaire par rapport au prix forfaitaire convenu (PETER GAUCH, Der Werkvertrag, 5e éd. 2011, nos 905a-906).
Se pose la question de savoir si cette modification de commande devait être passée en la forme écrite (cf. GAUCH, op. cit., n° 770 s.).
3.4 Le contrat du 31 mai 2007 soumettait à l'exigence du devis complémentaire signé toute "plus-value" autre que les travaux au sous-sol de la villa demandés par le maître, lesquels étaient manifestement pris en compte dans le prix convenu.
La Chambre des recours a considéré que l'exigence de forme écrite visait à éviter de placer le maître de l'ouvrage devant un fait accompli et à le protéger contre des prétentions imprévues de l'entrepreneur relatives à des travaux qui n'auraient pas été commandés; à son sens, la clause de forme visait une situation différente de celle du cas d'espèce, où les travaux litigieux avaient été rendus nécessaires par les exigences de tiers et avaient été expressément demandés par l'architecte du maître. Elle en a déduit que la modification de commande ne requérait aucune forme particulière.
Ce point de vue peut certes se discuter. Dans le contexte d'un contrat à prix forfaitaire, l'expression "plus-value" paraît plutôt viser une augmentation du prix des travaux en raison d'imprévus. Les travaux supplémentaires litigieux n'étaient pas prévus et entraînaient précisément un surcoût. Même si le recourant n'avait guère d'autre choix que d'effectuer ces travaux, il faut avoir égard au fait que le contrat lui conférait le droit de confier à une tierce entreprise les travaux non prévus par le cahier des charges, et partant, le droit d'examiner la possibilité d'une meilleure offre. L'on pourrait ainsi soutenir, comme le fait le recourant, que l'exigence d'un devis signé s'appliquait même pour des travaux nécessaires.
Cela étant, le simple fait qu'une autre solution puisse se défendre, voire même apparaître préférable, ne signifie pas que celle défendue par la cour cantonale soit arbitraire. En l'occurrence, l'on ne saurait considérer que l'interprétation de la cour cantonale heurte le sentiment de la justice et de l'équité (cf. ATF 137 I 1 consid. 2.4).
3.5 Le recourant plaide qu'il n'a pas pu donner son accord même oral à la modification de commande litigieuse dès lors qu'il n'a pas participé aux réunions de chantier où la question des travaux a été abordée.
La cour cantonale n'a nullement méconnu cet aspect; elle a relevé que le recourant avait reçu copie des procès-verbaux des réunions de chantier au cours desquelles l'intimée avait été invitée à effectuer des travaux différents de ceux qui avaient été convenus. Le recourant ne cherche pas à démontrer en quoi il serait arbitraire de déduire son consentement fondé sur la prise de connaissance des procès-verbaux. Il n'y a ainsi pas à examiner cette question. Or, s'il faut admettre que le recourant a accepté tacitement les travaux supplémentaires effectués par l'intimée, cela implique aussi qu'il a renoncé tacitement à l'exigence de forme conventionnelle, dans l'hypothèse où celle-ci aurait été applicable.
En bref, la cour cantonale n'a pas versé dans l'arbitraire en concluant que les travaux de fouille séparée devaient être mis à la charge du recourant sans égard à l'absence de devis complémentaire signé.
Au vu de ce qui précède, il n'est pas nécessaire d'examiner plus avant si l'architecte avait le pouvoir de représenter le recourant, respectivement si la cour cantonale a enfreint le droit d'être entendu du recourant en ne répondant pas expressément aux arguments soulevés en relation avec cette question.
3.6 Le recourant conteste le montant des travaux mis à sa charge en objectant de manière laconique que la confection de deux chambres de visite était prévue par le permis de construire et partant incluse dans le prix forfaitaire, de sorte qu'il n'avait pas à en supporter le coût y afférent.
La facture relative aux travaux supplémentaires (rubrique A) mentionne entre autres la "confection de chambre de visite selon directive de la commune". Il est exact que la confection de deux chambres distinctes pour les eaux claires et les eaux usées était imposée par le permis de construire initial, de sorte que cet élément devait être couvert par le prix forfaitaire. Cela étant, l'expert n'a pas méconnu les exigences du permis de construire. Après avoir examiné les pièces du dossier, qui comprenait notamment les conditions de l'appel d'offres et les devis, l'expert a tenu compte de la modification de commande d'une part en réduisant le prix forfaitaire et d'autre part en admettant un surcoût, retenant en définitive un montant total de 48'425 fr. 95 (soit 36'387 fr. 95 et 12'038 fr.) au lieu des 44'000 fr. initialement fixés. Le recourant ne s'attache pas à démontrer de façon circonstanciée que l'expert aurait comptabilisé deux fois le travail relatif aux chambres, et une telle conclusion ne s'impose nullement de façon évidente.
En conséquence, la cour cantonale pouvait sans arbitraire mettre à la charge du recourant le montant de 12'038 fr.
3.6.1 Le recourant conteste enfin devoir supporter le coût des travaux de mise en place de terre végétale et de terrassement du garage. Il soutient que sa seule présence à la séance de chantier du 2 novembre 2007 n'impliquait pas une renonciation de sa part à l'exigence d'un devis complémentaire signé.
3.6.2 La cour cantonale a considéré, comme le premier juge, que les travaux en question n'avaient pas de rapport direct avec le contrat d'entreprise du 31 mai 2007 et qu'ils échappaient à l'exigence de forme. On ne dénote pas en quoi une telle conclusion serait entachée d'arbitraire, ce que le recourant ne plaide pas. Il se contente tout au plus de contester l'existence d'un accord des parties.
Le procès-verbal du 2 novembre 2007 constate qu'en présence du recourant, il a été demandé à l'intimée de prévoir la mise en place de terre végétale dans la zone ouest de la villa. Il n'est pas insoutenable de déduire d'une telle mention que le recourant a passé une commande, qui a été acceptée par l'intimée. A cela s'ajoute que les détails de l'exécution des travaux ont encore fait l'objet d'une séance ultérieure, ce qui a été constaté au procès-verbal du 16 novembre 2007, auquel le recourant n'a pas réagi. La cour cantonale pouvait dès lors sans arbitraire retenir l'existence d'un accord oral valable sur des travaux sortant du champ d'application du contrat d'entreprise et mettre le coût de ces travaux, admis par l'expert à hauteur de 4'150 fr., à la charge du recourant.
4. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'a pas à verser de dépens à l'intimée, qui a renoncé à déposer une réponse.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 décembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti