Faits:
A. La société Y._ SA, qui effectue du courtage dans le domaine des assurances, a employé pendant quelques années X._ en qualité de conseiller économique. Le contrat de travail qui liait ces deux parties contenait une clause d'interdiction de concurrence assortie d'une peine conventionnelle de 15'000 fr. Il était précisé qu'à la fin de la collaboration, les clients fournis par Y._ SA restaient la "propriété exclusive" de cette dernière; des dommages-intérêts ultérieurs étaient réservés.
L'employé s'est vu soumettre un nouveau contrat qu'il a refusé; il a alors présenté sa démission pour le 31 mars 2011. Les parties ont convenu d'une libération anticipée au 28 février 2011. Entre le 13 janvier et le 23 février 2011, l'employé a transféré de sa messagerie électronique professionnelle à sa messagerie privée des documents scannés concernant diverses relations d'assurance.
Le 1er mars 2011, il a été engagé par une compagnie d'assurance. Entre cette date et le 20 avril 2011, il a signé une quinzaine de contrats avec des clients pour le compte de son nouvel employeur. Il conseillait déjà la plupart de ces clients alors qu'il était au service de Y._ SA. Celle-ci, par courriers des 28 février et 10 mars 2011, a vainement sommé son ex-employé de lui restituer tous documents, copies de dossiers et informations lui appartenant.
B. B.a Le 21 mars 2011, Y._ SA a saisi le Président du Tribunal de prud'hommes de l'arrondissement de Lausanne d'une requête provisionnelle. Elle entendait d'une part faire interdire à son ex-employé de la concurrencer par des activités dans le domaine de l'assurance, en particulier de contacter les anciens clients de Y._ SA, d'autre part l'obliger à restituer dans un délai de 48 heures tous les fichiers appartenant à Y._ SA et l'entier des fichiers, photocopies et scans de propositions d'assurance et polices d'assurance, le tout sous la menace de la peine prévue à l'art. 292 CP. La requérante concluait en outre à la fourniture de sûretés par 20'000 fr.; elle a précisé ultérieurement qu'il s'agissait d'une conclusion subsidiaire.
Le président du tribunal a rejeté cette requête par ordonnance du 16 mai 2011. Il a considéré en substance que le contrat de travail ne réservait pas la possibilité pour Y._ SA de demander la cessation de l'éventuelle activité concurrente de son ex-employé et que cette société n'avait pas rendu vraisemblable le risque d'un préjudice sensible si elle n'obtenait pas la restitution immédiate des documents requis.
Parallèlement, l'employé a déposé le 14 juillet 2011 une requête de conciliation dans laquelle il formulait diverses prétentions en indemnisation à l'encontre de Y._ SA.
B.b Y._ SA a déféré l'ordonnance provisionnelle au Juge délégué de la Cour d'appel civile du Tribunal cantonal. Par arrêt du 20 septembre 2011, le juge a réformé la décision entreprise en ce sens qu'ordre est donné à X._, sous menace de la peine prévue à l'art. 292 CP, de restituer à Y._ SA dans un délai de 48 heures l'entier des fichiers, photocopies et scans de propositions d'assurance et polices d'assurance, ainsi que tous les dossiers et fichiers appartenant à cette société.
C. X._ (ci-après: le recourant) a interjeté un recours en matière civile auprès du Tribunal fédéral. Il a conclu principalement au rejet de l'appel formé par Y._ SA (ci-après: l'intimée). Il a en outre requis que son recours soit assorti de l'effet suspensif, ce qui a été accordé par ordonnance présidentielle du 2 novembre 2011.
L'intimée a conclu à l'irrecevabilité du recours, subsidiairement à son rejet.
L'autorité précédente s'est référée à son arrêt.
Considérant en droit:
1. Lorsque des mesures provisionnelles sont prises dans une procédure autonome et indépendante de tout procès sur le fond, elles donnent lieu à une décision finale (art. 90 LTF). En revanche, constitue une décision incidente au sens de l'art. 93 LTF la décision statuant sur des mesures provisionnelles requises avant ou pendant une procédure principale et qui valent uniquement pour la durée de celle-ci, respectivement à la seule condition qu'une telle procédure soit ouverte (ATF 134 I 83 consid. 3.1).
Dans le cas concret, la décision attaquée ordonne une mesure provisionnelle au sens de l'art. 261 CPC, mesure qui doit en principe être liée à une procédure au fond (cf. art. 263 CPC). Il n'apparaît pas que l'intimée ait pris dans une procédure principale pendante une conclusion identique à celle formulée au niveau provisionnel; le recourant précise que l'intimée va selon toute vraisemblance agir à titre reconventionnel dans le cadre de la procédure qu'il a lui-même initiée le 14 juillet 2011. L'arrêt ne fixe aucun délai pour ouvrir action au fond, sans autre motivation.
Selon qu'il était ou non possible de renoncer à la fixation d'un délai, la décision pourrait être qualifiée de finale ou d'incidente. Dans cette dernière hypothèse, le recourant devrait encore démontrer que la décision était susceptible de lui causer un préjudice irréparable (art. 93 al. 1 let. a LTF; cf. ATF 137 III 324 consid. 1.1, publié toutefois après le dépôt du recours). Quoi qu'il en soit, il n'est pas nécessaire d'examiner plus avant la question de la recevabilité du recours dans la mesure où il doit de toute façon être rejeté sur le fond.
2. 2.1 Lorsque la décision attaquée - finale ou incidente - a trait à des mesures provisionnelles, le recourant ne peut invoquer que la violation de droits constitutionnels (cf. art. 98 LTF).
Le Tribunal fédéral n'examine pas d'office s'il y a eu violation d'un droit constitutionnel. Le recourant doit désigner de manière précise le droit ou principe constitutionnel concerné, telle l'interdiction de l'arbitraire (art. 9 Cst), et expliquer de façon circonstanciée en quoi ce droit est violé par la décision attaquée; il ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.2; cf. ATF 129 I 113 consid. 2.1).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée (art. 99 al. 1 LTF).
2.2 Arbitraire et violation de la loi ne sauraient être confondus; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable. Il n'y a pas arbitraire du seul fait qu'une autre solution serait aussi concevable, voire même préférable (cf. ATF 133 III 462 consid. 4.4.1). Est arbitraire la décision qui, dans son résultat, viole gravement une norme ou un principe juridique clair et indiscuté, contredit clairement la situation de fait ou heurte d'une manière choquante le sentiment de la justice et de l'équité (ATF 137 I 1 consid. 2.4).
3. 3.1 De l'avis du recourant, le juge d'appel aurait dû déclarer irrecevable la conclusion provisionnelle de l'intimée au motif qu'elle contreviendrait gravement au principe de précision. N'énumérant pas une liste précise des documents requis, elle ne permettrait pas à l'autorité d'exécution de contrôler si le recourant respecte l'injonction et si les documents dont la restitution est ordonnée correspondent à ce que l'intimée souhaitait obtenir.
3.2 Selon un principe général de procédure civile, une conclusion doit être formulée de telle manière qu'en cas d'admission, le jugement puisse être exécuté. Ainsi, les actions en abstention doivent tendre à l'interdiction d'un comportement décrit de façon suffisamment précise. L'exécution (ou la sanction de l'inexécution) doit pouvoir être obtenue auprès de l'autorité compétente sans que celle-ci doive encore résoudre des questions de fond sur le comportement prohibé (ATF 131 III 70 consid. 3.3; 97 II 92 spéc. p. 93; 78 II 289 consid. 3 p. 292 s.; FRANÇOIS BOHNET, in Code de procédure civile commenté, 2011, n°s 13 et 16 ad art. 84 CPC; PAUL OBERHAMMER, in Basler Kommentar, Schweizerische Zivilprozessordnung, 2010, n° 2 ss ad art. 84 CPC).
3.3 En l'occurrence, le recourant a reçu l'ordre de restituer l'entier des fichiers, photocopies et scans de propositions d'assurance et polices d'assurance, ainsi que tous les dossiers et fichiers appartenant à l'intimée. Les documents visés sont clairement identifiables pour le recourant, qui n'a pas contesté avoir transféré des fichiers et autres documents appartenant à l'intimée et concernant diverses relations d'assurance, selon les constatations du juge d'appel qui lient la cour de céans. Contrairement à ce qu'insinue le recourant, l'autorité d'exécution n'aura pas à trancher la question de la propriété de ces documents. Pour le surplus, le recourant ne saurait se soustraire à une obligation de restitution suffisamment déterminée en se retranchant derrière le fait qu'il est le seul à connaître précisément quels documents il a transférés.
Le grief est infondé.
4. Le recourant se plaint ensuite d'une application arbitraire de l'art. 261 CPC.
4.1 Selon l'art. 261 CPC, le tribunal ordonne les mesures provisionnelles nécessaires lorsque le requérant rend vraisemblable, d'une part, qu'une prétention dont il est titulaire est l'objet d'une atteinte ou risque de l'être (al. 1 let. a) et, d'autre part, que cette atteinte risque de lui causer un préjudice difficilement réparable (al. 1 let. b).
Le requérant doit rendre vraisemblable qu'il s'expose, en raison de la durée nécessaire pour rendre une décision définitive, à un préjudice qui ne pourrait pas être entièrement supprimé même si le jugement à intervenir devait lui donner gain de cause. En d'autres termes, il s'agit d'éviter d'être mis devant un fait accompli dont le jugement ne pourrait pas complètement supprimer les effets (MICHAEL TREIS, in Schweizerische Zivilprozessordnung [ZPO], 2010, n° 7 ad art. 261 CPC). Est difficilement réparable le préjudice qui sera plus tard impossible ou difficile à mesurer ou à compenser entièrement. Entrent notamment dans ce cas de figure la perte de clientèle, l'atteinte à la réputation d'une personne, ou encore le trouble créé sur le marché par l'utilisation d'un signe créant un risque de confusion (THOMAS SPRECHER, in Basler Kommentar, op. cit., n° 34 ad art. 261 CPC; TREIS, op. cit., n° 8 ad art. 261 CPC).
La mesure doit être proportionnée au risque d'atteinte. Si plusieurs mesures sont aptes à atteindre le but recherché, il convient de choisir la moins incisive, celle qui porte le moins atteinte à la situation juridique de la partie intimée. Il faut procéder à une pesée des intérêts contradictoires des deux parties au litige (Message du Conseil fédéral du 28 juin 2006 relatif au code de procédure civile suisse [CPC], FF 2006 6962; SPRECHER, op. cit., n°s 47-51 ad art. 262 CPC; SABINE KOFMEL EHRENZELLER, in Schweizerische Zivilprozessordnung, Kurzkommentar, 2010, n° 12 ad art. 261 CPC).
Plus une mesure atteint de manière incisive la partie citée, plus il convient de fixer de hautes exigences quant à l'existence des faits pertinents et au fondement juridique de la prétention. Tel est en particulier le cas des mesures d'exécution anticipée provisoires lorsqu'elles sont susceptibles d'avoir un effet définitif, le litige étant alors privé d'intérêt au-delà du stade des mesures provisionnelles. Ces exigences élevées ne portent pas seulement sur la vraisemblance comme mesure de la preuve requise, mais également sur l'ensemble des conditions d'octroi de la mesure provisionnelle, en particulier sur l'appréciation de l'issue du litige au fond et sur celle des inconvénients que la décision incidente pourrait créer à chacune des deux parties (ATF 131 III 473 consid. 2.3 et 3.2).
4.2 Le recourant reproche à l'autorité précédente d'avoir arbitrairement retenu qu'un danger imminent menaçait les droits de l'intimée et qu'elle encourait un risque de préjudice difficilement réparable. A ce sujet, il objecte que dans le cadre de son nouvel emploi, il a signé seulement 15 contrats en plus de 7 mois et qu'en tout état de cause, la peine prévue dans son contrat de travail suffira à couvrir l'éventuel dommage causé à l'intimée. Celle-ci chercherait à obtenir par la restitution de documents (art. 339a CO) ce qu'elle n'a pas pu obtenir en se fondant sur l'art. 340 CO (prohibition de faire concurrence).
4.3 Pour contester l'imminence du danger, le recourant se réfère aux écritures de la procédure d'appel, ce qui n'est pas admissible dans le cadre d'un recours restreint à l'arbitraire (cf. supra, consid. 2.1). Il n'y a dès lors pas à entrer en matière sur ce grief.
Quant au grief relatif au préjudice difficilement réparable, il doit être rejeté. L'autorité précédente a considéré que l'intimée disposait d'une prétention en restitution des documents litigieux fondée sur l'art. 339a CO; elle s'est référée à un auteur soutenant que le devoir de restitution vise tous les types de documents, physiques ou informatiques, et que le travailleur n'est pas autorisé à conserver une copie de ce qu'il a restitué; pour cet auteur, il s'agit de préserver les intérêts de l'employeur quant à l'obligation de confidentialité qui perdure après la fin des rapports de travail (art. 321a al. 4 CO) et de diminuer les risques de concurrence déloyale (RÉMY WYLER, Droit du travail, 2e éd. 2008, p. 584).
Une telle interprétation de l'art. 339a CO est exempte d'arbitraire, et le recourant ne soutient pas le contraire. En cours de contrat, le devoir de fidélité du travailleur (art. 321a CO) s'oppose à ce que celui-ci détourne la clientèle de son employeur au profit d'une autre entreprise; ce même devoir de fidélité fonde l'obligation de restitution de l'art. 321b CO (ADRIAN STAEHELIN, Zürcher Kommentar, 4e éd. 2006, n° 18 ad art. 321a CO et n° 1 ad art. 321b CO; WOLFGANG PORTMANN, in Basler Kommentar, Obligationenrecht I, 5e éd. 2011, n° 6 ad art. 321a CO); il n'est ainsi pas insoutenable de considérer qu'à l'issue des relations contractuelles, le devoir de restitution de l'art. 339a CO s'étend aux copies de documents afin notamment de prévenir un risque de détournement de la clientèle de l'entreprise. Une telle prétention peut exister indépendamment de l'éventuel droit d'interdire à l'ex-employé d'exercer une activité concurrente (cf. art. 340b al. 3 CO). Quant à l'indemnisation que l'employeur pourrait cas échéant toucher pour le dommage causé par l'exercice d'une telle activité, elle n'exclut pas que l'employeur s'expose à un préjudice difficilement mesurable et donc difficilement réparable, dans la mesure où son ex-employé détiendrait des documents d'affaires propres à entraîner un détournement de sa clientèle. Or, l'arrêt attaqué reconnaît implicitement que le recourant détient de tels documents et ajoute qu'ils sont susceptibles de contenir des informations confidentielles (arrêt, p. 11), sans que le recourant ne cherche à démontrer le contraire. Au vu de ce qui précède, il n'était pas arbitraire de considérer que l'intimée était menacée d'un préjudice difficilement réparable.
4.4 Le recourant objecte encore que la cour cantonale a enfreint le principe de proportionnalité en ordonnant la mesure litigieuse; une pesée non arbitraire des intérêts en cause aurait dû la conduire à privilégier la situation du recourant et à tenir compte de son intérêt à conserver les documents pour des raisons de preuve.
L'arrêt attaqué constate que le recourant n'a plus d'intérêt actuel à conserver les documents litigieux dès lors qu'il a déposé une requête de conciliation le 14 juillet 2011 et produit des pièces à l'appui de cette écriture. Le recourant tente vainement de remettre en cause ce raisonnement en soulignant que la requête de conciliation doit se limiter à décrire l'objet du litige; en effet, les art. 202 s. CPC n'empêchent pas de produire des pièces au stade de la conciliation déjà. A cela s'ajoute que la loi permet à une partie de requérir la production de pièces détenues en mains de la partie adverse, un éventuel refus injustifié étant pris en compte lors de l'appréciation des preuves (cf. art. 160 al. 1 let. b et art. 164 CPC). La partie adverse ne peut se retrancher derrière ses intérêts commerciaux dès lors qu'au besoin, des mesures de protection peuvent être ordonnées (art. 156 CPC).
Le recourant laisse encore entendre qu'il existerait un risque de falsification de pièces car l'intimée aurait déjà eu une telle attitude par le passé; un tel élément ne ressort toutefois pas de l'arrêt attaqué. L'autorité cantonale n'a ainsi pas arbitrairement sous-estimé le prétendu intérêt du recourant à conserver les documents et fichiers litigieux.
4.5 Toujours en relation avec le principe de proportionnalité, le recourant plaide enfin que la mesure est irréversible et qu'une mesure moins incisive aurait dû être ordonnée, telle la consignation, le séquestre, la mise sous scellés ou l'interdiction de disposer assortie de la menace de peine de l'art. 292 CP.
Le principe de proportionnalité peut certes impliquer d'ordonner une mesure conservatoire plutôt qu'une mesure d'exécution anticipée si la première permet d'assurer au requérant la même protection (cf. KOFMEL EHRENZELLER, op. cit., n° 12 i.f. ad art. 261 CPC; cf. aussi PATRICIA DIETSCHY, Les conflits de travail en procédure civile suisse, 2011, p. 229 n° 468, qui ne mentionne que des mesures conservatoires comme exemples de mesures provisionnelles en cas d'action en restitution fondée sur l'art. 339a CO). En l'occurrence, le recourant prétend être atteint dans sa situation juridique parce que la mesure serait irréversible. Or, tel n'est pas le cas. La situation n'est en effet pas comparable à une prohibition de faire concurrence (ATF 131 III 473 précité consid. 2.3 p. 477) ou une expulsion de locataire (ATF 104 II 216 consid. 2b); rien ne s'oppose à ce que les documents visés soient restitués au recourant dans une procédure au fond lui donnant gain de cause.
A cela s'ajoute que l'état de fait sur lequel se fonde la mesure n'est pas litigieux, le recourant ne contestant pas avoir transféré des fichiers et documents appartenant à son employeuse d'alors. Quant au bien-fondé de la prétention au fond, il ne fait pas de doute pour le juge d'appel. Le recourant lui-même ne discute pas à proprement parler l'existence d'une prétention en restitution, mais conteste - à tort - que la durée du procès soit susceptible de causer à l'intimée un préjudice difficilement réparable. L'on peut ainsi admettre que la partie adverse aurait pu obtenir la restitution des pièces litigieuses en recourant à la procédure applicable dans les cas clairs (art. 257 al. 1 CPC), procédure qui était en soi licite dès lors que la cause au fond n'était pas soumise à la maxime d'office (art. 257 al. 2 CPC en relation avec l'art. 58 al. 2 CPC). Dans son résultat, la mesure de restitution n'est pas arbitraire et ne porte pas atteinte à la situation juridique du recourant, d'autant moins que la décision provisionnelle contestée ne revêt pas l'autorité de chose jugée.
4.6 Pour le surplus, le recourant ne forme pas d'autres griefs relatifs à l'application des art. 261 ss CPC.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable.
5. Le recourant, qui succombe, supportera les frais judiciaires et versera des dépens à l'intimée (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et au Juge délégué de la Cour d'appel civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 janvier 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti