Faits:
A. L'ingénieur Y._ est à l'origine d'inventions portant sur des porte-échantillons miniaturisés, utilisés en microfluidique. En novembre 2001, il a conclu avec X._ SA, dont il était alors l'un des trois actionnaires principaux, un contrat qui mettait celle-ci au bénéfice d'une licence exclusive pour les brevets qu'il escomptait obtenir pour protéger ses inventions. Selon les clauses de ce contrat, "afin de rester au bénéfice de l'exclusivité, X._ prend en charge la totalité des frais effectifs liés au dépôt, à l'obtention et au maintien en vigueur des brevets (...)" (ch. 5) et "la surveillance de ce contrat, le versement des annuités et des redevances seront contrôlés par le cabinet de conseils en propriété intellectuelle A._ (...), pour rester au bénéfice de l'exclusivité (...)" (ch. 7).
A l'époque de la conclusion du contrat de licence, une première demande de brevet, déposée par Y._, était en cours; elle a toutefois été abandonnée après un rapport très négatif de l'Office européen des brevets. Une nouvelle demande de brevet a été déposée le 9 avril 2002 au plan européen et le 4 avril 2003 au plan international, sous la référence D._. Elle a été présentée au nom de Y._, annoncé comme inventeur et demandeur de brevet, par le cabinet d'ingénieurs conseils en brevets A._, société en nom collectif devenue par la suite A._ SA.
Dans le cadre de la mise en oeuvre du contrat de licence, des représentants de X._ SA se sont rendus le 1er septembre 2003 dans les locaux de A._ SA. Il a été convenu que les interlocuteurs de A._ SA seraient désormais Y._ et, pour X._ SA, B._. En outre, il a été relevé que les démarches en cours protégeaient les inventions de Y._ jusqu'au 9 octobre 2004 et que la prochaine échéance était le mois de juillet 2004. Le procès-verbal de la séance a été envoyé notamment à Y._.
En juillet 2004, A._ SA a prié X._ SA de lui communiquer ses instructions pour la suite du dossier. Par lettre du 30 août 2004 adressée à A._ SA et signée par un certain M. C._, X._ SA a répondu qu'après discussion, elle avait pris la décision d'arrêter le projet D._ de porte-échantillons miniaturisés. Ce courrier n'a pas fait l'objet d'un envoi en copie à Y._.
Le 15 septembre 2004, Y._ et X._ SA ont discuté des étapes ultérieures du projet comme si celui-ci devait se poursuivre.
Le 17 décembre 2004, l'Office européen des brevets a informé Y._ que faute d'avoir payé les taxes requises, sa demande de brevet européen était réputée retirée. Celui-ci s'est alors adressé à A._ SA. La demande de brevet européen a pu être sauvée par le paiement de diverses taxes de retard et pénalités. La perte est en revanche apparue irrécupérable pour les États-Unis d'Amérique.
B. Par demande du 27 octobre 2005, Y._ a ouvert action contre X._ SA en paiement de 900'000 fr. avec intérêt à 5 % dès le 17 octobre 2005. Il a allégué que celle-ci avait violé ses obligations contractuelles découlant du contrat de licence en ne payant pas les redevances nécessaires à la protection du brevet et en abandonnant le projet de porte-échantillons miniaturisés, de surcroît de manière contraire à la bonne foi puisqu'elle ne lui avait rien dit et avait au contraire fait mine de poursuivre la collaboration. Cela aurait eu pour effet de faire tomber l'invention dans le domaine public aux États-Unis, lui causant un préjudice évalué à 900'000 francs.
X._ SA a dénoncé le litige à A._ SA, qui a refusé la dénonciation. Sur le fond, elle a contesté qu'il lui appartenait de veiller au maintien du brevet. Selon elle, c'était A._ SA qui, à plusieurs titres, avait failli à son devoir de diligence. Elle a en outre nié avoir agi de mauvaise foi, alléguant que sa malencontreuse lettre du 30 août 2004 résultait d'une confusion qu'elle avait opérée avec un autre dossier de brevet en cours, également géré par A._ SA, et que Y._ ne pouvait pas ne pas avoir été avisé de cette lettre dont il avait ainsi nécessairement connaissance. Elle a enfin contesté le montant du dommage allégué.
Par jugement du 28 septembre 2009, la IIe Cour civile du Tribunal cantonal neuchâtelois, admettant partiellement l'action, a condamné X._ SA à payer à Y._ la somme de 65'000 fr. avec intérêt à 5 % l'an dès le 17 octobre 2005. Les juges cantonaux ont d'abord retenu que la réelle et commune intention des parties lors de la conclusion du contrat de licence était de transférer de Y._ sur X._ SA les obligations liées à la protection et au maintien des droits rattachés à la demande de brevet déposée par Y._. Ils en ont déduit que par sa décision du 30 août 2004, X._ SA avait violé ses obligations contractuelles à l'égard de Y._, ce qui avait eu pour conséquence la fin des démarches en vue de l'obtention d'un brevet pour l'Amérique du Nord. Puis, se fondant sur les critères d'évaluation indiqués par l'expert judiciaire et le chiffre d'affaires global avancé par Y._, ils ont estimé le dommage qui en découlait à 130'000 fr. Tenant compte de fautes concomitantes de Y._, ils ont alloué la moitié de ce montant à titre de réparation.
C. X._ SA (la recourante) a interjeté un recours en matière civile au Tribunal fédéral, concluant principalement au rejet de la demande de son adverse partie du 27 octobre 2005. Y._ (l'intimé) a proposé le rejet du recours.
Considérant en droit:
1. La valeur litigieuse déterminant la voie du recours correspond aux conclusions restées contestées devant la dernière instance cantonale (cf. art. 51 al. 1 let. a et art. 74 al. 1 LTF); elle est en l'occurrence de 900'000 fr. Le jugement attaqué émane de l'autorité cantonale de dernière instance statuant, ce qui est licite, en instance unique (cf. art. 75 al. 1 et 2 ainsi qu'art. 130 al. 2 LTF; cf. également art. 5 al. 1 let. a ainsi qu'art. 8 du code de procédure civile [CPC] voté par les Chambres fédérales le 19 décembre 2008 [FF 2009 21 ss]). La voie du recours en matière civile est donc ouverte.
2. La recourante se plaint d'une part de la violation de diverses dispositions de droit fédéral (art. 42 al. 2, art. 44 al. 1, art. 51 et art. 101 CO), d'autre part de violations de l'interdiction constitutionnelle de l'arbitraire (art. 9 Cst.). Il convient d'examiner ces divers griefs dans un ordre logique.
3. Selon la recourante, l'autorité cantonale aurait interprété le contrat de licence de manière arbitraire en retenant que la réelle et commune intention des parties lors de la conclusion était de transférer de Y._ sur X._ SA les obligations liées à la protection et au maintien des droits rattachés à la demande de brevet.
Le Tribunal fédéral n'examine que les griefs constitutionnels expressément invoqués et motivés (art. 106 al. 2 LTF). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si, sur la base des éléments recueillis, il a fait des déductions insoutenables, ou encore s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée (ATF 129 I 8 consid. 2.1). L'acte de recours doit donc, sous peine d'irrecevabilité, préciser en quoi consiste la violation invoquée; la partie recourante doit discuter les attendus de la décision attaquée et exposer de manière claire et circonstanciée en quoi consiste la violation du droit constitutionnel (ATF 134 II 244 consid. 2.2; 134 V 138 consid. 2.1).
La recourante relève que le transfert, sur la personne du preneur de licence, des obligations relatives au brevet serait atypique, et elle veut en déduire le principe qu'un tel transfert ne serait concevable comme relevant de la réelle et commune intention des parties que s'il était expressément convenu dans le contrat. Ce faisant, elle soulève en réalité une question de droit relative à la forme du contrat (cf. art. 11 ss CO). Or, la loi n'exige aucune forme pour le contrat litigieux (cf. ATF 101 II 293 consid. 2c p. 299) et les parties n'en ont pas convenu (cf. art. 16 CO).
Pour le surplus, la recourante se limite à expliciter sa façon de voir les choses et les motifs pour lesquels elle ne partage pas l'interprétation de l'autorité cantonale. Elle insiste en particulier sur le fait que la volonté commune retenue par les précédents juges serait inhabituelle et dérogerait à la réglementation légale subsidiaire; cela n'est toutefois pas encore constitutif d'arbitraire. Nonobstant l'utilisation répétée du terme "arbitraire", la critique de la recourante se réduit à un exposé appellatoire et n'est, partant, pas recevable.
4. La recourante se plaint d'arbitraire en rapport avec l'estimation du dommage subi sur le marché américain.
4.1 L'autorité cantonale est partie d'un chiffre d'affaires potentiel de 6'000'000 fr. et d'une redevance de 2,5 % du prix du produit fini, ce qui donne un montant de 150'000 fr. Elle a ensuite admis que ce montant devait être réduit pour tenir compte du risque associé au lancement de l'entreprise. Ces points ne sont pas mis en cause.
La critique porte sur le taux de réduction ensuite du risque lié à l'opération. L'autorité cantonale, se référant à l'expertise et sans autre explication, a procédé à une réduction du montant de 150'000 fr. d'environ 13,5 %, pour ainsi arrêter le dommage à 130'000 fr. La recourante reproche aux précédents juges d'une part d'avoir retenu un taux de 13,5 % et non pas de 12,5 %, d'autre part d'avoir considéré qu'il s'agissait d'un taux de risque et non pas d'un taux de réussite. En d'autres termes, selon la recourante, le dommage devait être arrêté à 12,5 % de 150'000 fr., c'est-à-dire à 18'750 francs.
4.2 La recourante relève avec raison que l'autorité cantonale ne dit pas d'où elle tire le taux de 13,5 %. La recourante suppute qu'elle a voulu prendre le chiffre moyen de la fourchette de 5 à 20 % proposée par l'expert, chiffre moyen qui serait correctement de 12,5 %.
Le chiffre de 13,5 % se situe vers le milieu de la fourchette donnée par l'expert. Même s'il n'est pas tout à fait au milieu entre le minimum et le maximum, il en est proche. Il ne saurait dès lors être considéré comme arbitraire, ce d'autant moins que l'expert n'a donné qu'une estimation.
4.3 Dans son rapport, l'expert s'est prononcé à deux endroits sur le taux de risque précité; les deux déclarations sont reprises dans le jugement attaqué. D'une part, l'expert a écrit: "(...) le taux de succès des entreprises est bas. Je ne suis pas nécessairement à même de déterminer le taux de succès des entreprises en microfluidique, mais ne serais pas surpris d'apprendre que ce chiffre est inférieur à 10 %". Puis, immédiatement à la suite, il a mentionné: "Pour conclure, je pense qu'un calcul réaliste des pertes subies (...) doit (...) prendre en compte le risque associé au lancement d'une entreprise microfluidique (5-20 % ?)".
Le premier passage parle d'un taux de succès bas, peut-être inférieur à 10 %; le second fait état d'un risque de 5 à 20 % à prendre en considération. A première vue, ils paraissent contradictoires. Mais si l'on y regarde de plus près, le second peut être compris de deux façons différentes, dans le sens qu'il faut tenir compte d'un risque d'échouer de 5 à 20 % ou du risque d'échouer découlant d'un taux de succès de 5 à 20 %. L'autorité cantonale a retenu un risque d'échec de 13,5 % et, partant, un taux de succès de 86,5 %, sans discuter le premier passage, qu'elle relève pourtant dans son jugement, selon lequel le taux de succès était bas et peut-être inférieur à 10 %. Ce faisant, elle est tombée dans l'arbitraire.
5. La recourante reproche aux précédents juges d'avoir violé l'art. 42 al. 2 CO. A teneur de cette disposition, lorsque le montant exact du dommage ne peut être établi, le juge le détermine équitablement en considération du cours ordinaire des choses et des mesures prises par la partie lésée.
L'estimation du dommage d'après l'art. 42 al. 2 CO repose sur le pouvoir d'apprécier les faits; elle relève donc de la constatation des faits, laquelle ne peut pas être revue en instance fédérale. Seules constituent des questions de droit le point de savoir quel degré de vraisemblance la survenance du dommage doit atteindre pour justifier l'application de l'art. 42 al. 2 CO et si les faits allégués, en la forme prescrite et en temps utile, permettent de statuer sur la prétention en dommages-intérêts déduite en justice (ATF 131 III 360 consid. 5.1 p. 364).
Se fondant en particulier sur une règle de droit américain, la recourante soutient que le brevet pouvait être sauvé aux États-Unis. Or, sous l'angle de l'art. 42 al. 2 CO, la question n'est pas de savoir si le brevet pouvait être sauvé et, partant, le dommage évité. Il s'agit uniquement de savoir si le fait de perdre le brevet était susceptible d'entraîner un dommage. L'autorité cantonale a admis ce fait au demeurant évident.
6. La recourante se plaint d'une violation de l'art. 44 al. 1 CO, qui permet de réduire et même de supprimer les dommages-intérêts si le lésé a contribué à créer le dommage. Elle soutient que suite à la faute concomitante de l'intimé retenue par l'autorité cantonale, le lien de causalité adéquate entre sa faute et le dommage aurait été rompu.
6.1 La recourante revient sur la norme de droit américain précitée qui permettait, à son avis, de sauver le brevet. Or, le Tribunal fédéral n'examine pas l'application du droit étranger dans les affaires pécuniaires (cf. art. 96 LTF) et la recourante ne soulève pas de grief constitutionnel relatif à l'application à ce droit.
Cela étant, l'autorité cantonale a certes retenu que les chances de sauver le brevet étaient plus aléatoires aux États-Unis qu'au Canada, mais elle a néanmoins reproché à l'intimé de n'avoir rien entrepris aux États-Unis, "ayant estimé - certainement à tort - que de nouvelles démarches n'en valaient pas la peine". Pour ce motif, elle a jugé qu'il n'avait pas satisfait à son obligation de tenter de réduire le dommage. Elle a en conséquence réduit les dommages-intérêts de moitié.
6.2 La réduction ou le refus des dommages-intérêts au sens de l'art. 44 al. 1 CO doit intervenir, entre autres cas, lorsque la partie lésée n'a pas pris toutes les mesures commandées par les circonstances pour diminuer le dommage. Cette règle concrétise le principe du ménagement dans l'exercice d'un droit, en l'occurrence le droit du lésé d'exiger réparation; conformément à un principe général du droit de la responsabilité civile, le lésé doit supporter lui-même le dommage dans la mesure où son étendue lui est personnellement imputable (cf. ATF 130 III 182 consid. 5.5.1 p. 189 s.). Il en résulte que la réparation due par l'autre partie ne s'étend qu'au dommage moins important qui subsisterait si le lésé avait satisfait à son devoir de diminuer le dommage effectif (arrêt 4C.83/2006 du 26 juin 2006 consid. 4, non résumé sur ce point in JT 2006 I 475).
Dans l'application de l'art. 44 al. 1 CO, il appartient au juge de discerner objectivement les divers facteurs à l'origine du dommage, d'après les circonstances, et de pondérer de façon appropriée les responsabilités propres de chaque partie. La jurisprudence lui reconnaît un large pouvoir d'appréciation et le Tribunal fédéral ne contrôle sa décision qu'avec retenue. Il intervient lorsque l'autorité cantonale de dernière instance s'est écartée sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'est appuyée sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore lorsqu'elle a ignoré des éléments qui auraient absolument dû être pris en considération. En outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF 131 III 12 consid. 4.2). En vertu de l'art. 8 CC, dans l'action tendant au paiement de dommages-intérêts, les circonstances propres à justifier la réduction de l'indemnité appartiennent aux faits destructeurs ou extinctifs dont la preuve incombe à la partie recherchée (arrêt 4C.83/2006 du 26 juin 2006 consid. 5, non résumé sur ce point in JT 2006 I 475).
Sous cet angle, l'appréciation de l'autorité cantonale ne prête pas le flanc à la critique. Il ne saurait en particulier être question d'admettre que l'omission de l'intimé d'entreprendre aux États-Unis des démarches, qui plus est aléatoires, a rompu le lien de causalité adéquate entre la faute de la recourante, à l'origine du dommage, et le dommage.
7. La recourante se plaint enfin d'une violation de l'art. 51 CO (concours de diverses causes du dommage) et de l'art. 101 CO (responsabilité pour des auxiliaires). Elle soutient ne pas devoir réparer le dommage dans la mesure où A._ SA en serait responsable.
Le dommage litigieux découle de la violation d'obligations contractuelles par la recourante. Pour l'exécution de ces obligations incombant à celle-ci, A._ SA n'était pas l'auxiliaire de l'intimé. Ce dernier ne saurait dès lors se voir opposer l'art. 101 CO.
Pour le surplus, lorsque plusieurs ont causé ensemble un dommage, ils sont tenus solidairement de le réparer (art. 50 al. 1 CO); le lésé peut, à son choix, exiger réparation de tous les débiteurs solidaires ou de l'un d'eux seulement (art. 144 al. 1 CO). En l'espèce, la recourante doit ainsi l'entier des dommages-intérêts et ne peut pas arguer du fait que A._ SA pourrait être codébitrice solidaire pour la même dette.
8. Il résulte de ce qui précède que le recours est partiellement fondé. Dès lors qu'il est admis sur une question de fait, il y a lieu de renvoyer la cause à l'autorité cantonale.
9. Compte tenu de l'issue du litige, il convient de mettre les frais judiciaires de la présente procédure par moitié à la charge de chacune des parties et de compenser les dépens (art. 66 al. 1 et art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis.
2. L'arrêt attaqué est annulé et la cause renvoyée à la IIe Cour civile du Tribunal cantonal neuchâtelois.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis par moitié à la charge de chacune des parties.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la IIe Cour civile du Tribunal cantonal neuchâtelois.
Lausanne, le 1er février 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz