Faits:
A. Y._ et B.X._ se sont rencontrés en 1997; ils ont alors vécu ensemble jusqu'en 2004.
En 1999, Y._ a décidé de construire une maison, dont le coût total était estimé à 570'000 francs. Elle disposait alors de 280'000 fr. de fonds propres.
Le 5 mars 1999, la Banque V._ a accordé à Y._ et B.X._ un crédit de construction de 360'000 fr.; Y._ et B.X._ se sont engagés comme débiteurs solidaires.
Ce même 5 mars 1999, Y._ a ouvert un compte épargne auprès de la Banque V._.
Le 12 avril 1999, C.X._, frère de B.X._, a établi en faveur de Y._ un ordre permanent portant sur un montant de 500 fr. à verser mensuellement sur ce compte. A.X._, un autre frère de B.X._, a fait de même le 20 avril 1999. Pour sa part, B.X._ a procédé au premier versement en date du 30 juin 1999, d'un montant de 500 fr.; il a ensuite versé régulièrement des montants allant de 500 fr. à 2'000 francs.
Entre le 19 avril 1999 et le 29 novembre 2004, Y._ a opéré plusieurs versements en faveur de B.X._ et ce dernier a effectué plusieurs retraits sur le compte, disposant d'une procuration depuis le 27 juillet 1999. Selon Y._, la somme totale reçue par B.X._ est de 156'915 francs.
Entre le 30 avril 1999 et le 30 janvier 2001, C.X._ a versé 10'000 fr. sur le compte; entre le 5 mai 1999 et le 9 mai 2005, A.X._ a versé 31'500 fr., tandis que B.X._, entre le 30 juin 1999 et le 30 octobre 2006, a versé 51'000 francs.
C.X._ a quitté la Suisse pour s'installer au Kosovo en 2001.
Dans le courant de l'année 2004, Y._ et B.X._ se sont séparés.
B. Par mémoire du 14 octobre 2009 adressé au Tribunal civil de l'arrondissement de la Glâne, Y._ a ouvert action contre B.X._ et A.X._, concluant à ce qu'ils soient condamnés solidairement à lui payer la somme de 94'004 fr. 40 avec intérêts.
Les défendeurs ont conclu au rejet de la demande.
Par jugement du 14 octobre 2010, dont le dispositif a été communiqué aux parties le 4 novembre 2010, le Tribunal civil de l'arrondissement de la Glâne a rejeté la demande en tant qu'elle est dirigée contre A.X._, mais l'a admise en tant qu'elle est dirigée contre B.X._ et a condamné ce dernier à verser à la demanderesse la somme de 94'004 francs 40.
Saisie d'un recours formé par la demanderesse, la Ie Cour d'appel civil du Tribunal cantonal fribourgeois, par arrêt du 22 septembre 2011, a réformé le jugement entrepris et condamné B.X._ et A.X._ solidairement à verser à Y._ la somme de 94'004 fr. 40 avec intérêts à 5 % l'an dès le 16 décembre 2008, prononcé la mainlevée définitive à due concurrence et statué sur les frais et dépens.
C. A.X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 22 septembre 2011. Invoquant l'absence de société simple entre les trois frères, une violation du principe de la confiance et l'appréciation arbitraire des preuves, il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué et au rejet de la demande en tant qu'elle est dirigée contre lui.
L'intimée conclut au rejet du recours dans la mesure où il est recevable avec suite de frais et dépens.

Considérant en droit:
1. 1.1 Interjeté par une partie qui a succombé dans ses conclusions libératoires et qui a donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 4 p. 317 s.; <ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). Il ne suffit pas d'invoquer l'arbitraire dans l'appréciation des preuves; il faut encore, par une motivation précise - répondant aux exigences de l'<ref-law> - et en se référant si possible aux pièces du dossier, montrer que l'état de fait dressé par l'autorité précédente est insoutenable (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, le recourant présente son propre état de fait et invoque sur de nombreux points l'arbitraire dans l'appréciation des preuves (sur la notion d'arbitraire dans l'appréciation des preuves : <ref-ruling> consid. 4.2 p. 560). Un intérêt est cependant requis pour l'exercice de toute voie de droit (<ref-ruling> consid. 1.3 p. 105; <ref-ruling> consid. 1b p. 431). Il n'y a aucun intérêt à examiner ces griefs si, sur la base des faits établis et qu'il ne conteste pas, il apparaît que son recours doit de toute manière être admis. Pour le cas où le Tribunal fédéral envisagerait d'admettre le recours, l'intimée a également invoqué l'arbitraire dans l'appréciation des preuves. Elle observe que le recourant a menti à plusieurs reprises dans la procédure; ce fait n'est toutefois pas propre à influer sur le sort de la cause (cf. <ref-law>), parce que l'analyse porte essentiellement sur les premières déclarations faites par l'intimée elle-même. En ce qui concerne l'allégué que l'intimée a formulé pour la première fois dans son mémoire d'appel, la cour cantonale n'est pas tombée dans l'arbitraire en ne tenant pas compte d'une affirmation pro domo intervenue aussi tardivement. Le raisonnement sera donc mené sur la base des faits constatés dans la décision attaquée (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
S'il admet le recours, le Tribunal fédéral peut statuer lui-même sur le fond ou renvoyer l'affaire à l'autorité précédente pour qu'elle prenne une nouvelle décision (<ref-law>).
2. 2.1 Selon l'<ref-law>, chaque partie doit, si la loi ne prescrit le contraire, prouver les faits qu'elle allègue pour en déduire son droit.
En l'absence d'une disposition spéciale instituant une présomption, l'<ref-law> répartit le fardeau de la preuve pour toutes les prétentions fondées sur le droit fédéral et détermine, sur cette base, laquelle des parties doit assumer les conséquences de l'échec de la preuve (<ref-ruling> consid. 2.6 p. 24; <ref-ruling> consid. 2a p. 522). Il en résulte que la partie demanderesse doit prouver les faits qui fondent sa prétention, tandis que la partie adverse doit prouver les faits qui entraînent l'extinction ou la perte du droit (<ref-ruling> consid. 3.1 p. 323). L'<ref-law> ne prescrit cependant pas comment les preuves doivent être appréciées et sur quelles bases le juge peut forger sa conviction (<ref-ruling> consid. 2d; <ref-ruling> consid. 3a p. 253). Savoir si, à l'issue de l'appréciation des preuves, l'existence ou l'inexistence d'un fait doit être considérée comme établie ou comme restant douteuse est une question qui ne relève pas de l'<ref-law>, mais exclusivement de l'appréciation des preuves.
La question essentielle qui se pose en l'espèce est de savoir si l'intimée, en tant que partie demanderesse, est parvenue à prouver des faits d'où l'on peut déduire qu'elle est créancière du recourant.
2.2 L'intimée a allégué que les trois frères C.X._, A.X._ et B.X._ avaient uni leurs ressources et leurs efforts en vue de construire, d'aménager et d'exploiter un hôtel-restaurant au Kosovo; elle soutient qu'ils ont ainsi constitué entre eux une société simple (<ref-law>), laquelle lui a emprunté de l'argent dont les associés sont solidairement redevables en vertu de l'<ref-law>.
Il faut déterminer si la demanderesse est parvenue à prouver des faits (<ref-law>) qui permettent de déduire, par qualification juridique, que les trois frères ont conclu entre eux une société simple au sens de l'<ref-law>.
Des déclarations faites par la demanderesse en procédure, il ressort que c'est son compagnon, B.X._, qui lui a seul parlé de ce projet d'hôtel-restaurant en lui présentant des photos. Il n'est pas établi qu'elle ait vu le recourant plus que deux ou trois fois. Les frères parlaient entre eux en albanais. La demanderesse a admis, lors de son audition, qu'elle ne savait pas s'ils discutaient du projet de construction au Kosovo. Elle n'a entendu parler que d'une obscure question de machines. La demanderesse n'est pas parvenue à apporter le moindre indice permettant de penser que ce projet d'hôtel-restaurant aurait eu une quelconque consistance. La cour cantonale a conclu (arrêt entrepris p. 6 let. c) qu'il n'est pas établi que le recourant ait entendu son frère évoquer ce projet en présence de la demanderesse.
La société simple se présente comme un contrat de durée dont les éléments caractéristiques sont, d'une part, le but commun qui rassemble les efforts des associés et, d'autre part, l'existence d'un apport, c'est-à-dire une prestation que chaque associé doit faire au profit de la société (<ref-ruling> consid. 3.1 p. 456 s.; arrêt 4C.22/2006 du 5 mai 2006 consid. 6.2, in SJ 2006 I p. 541). S'agissant du but commun, il peut consister par exemple à acheter ensemble un immeuble (<ref-ruling> let. A p. 249; <ref-ruling> consid. 3b p. 52) ou à construire un bâtiment en commun (<ref-ruling> consid. 3.2 p. 601).
En l'espèce, le projet de réaliser un hôtel-restaurant au Kosovo résulte des seules déclarations faites, en tête à tête, par B.X._ à l'intimée; il n'est pas établi que les deux autres frères aient eu connaissance de ce projet et encore moins qu'ils s'y soient associés. En conséquence, faute de but commun, il ne peut être question d'une société simple (cf. <ref-law>).
La société simple étant un contrat (<ref-law>, <ref-law>), la seule volonté de B.X._ ne peut suffire pour constituer une société simple et obliger ses frères.
2.3 Dans un mémoire complémentaire, la demanderesse a allégué qu'il était possible que ses fonds aient pu servir à la construction de trois maisons familiales au Kosovo pour C.X._, A.X._ et les enfants d'un autre frère décédé pendant la guerre.
Elle n'a formulé cependant à ce sujet qu'une simple hypothèse. Elle n'a pu apporter aucun indice susceptible de démontrer que son argent aurait effectivement été utilisé à ce but, pas plus qu'elle n'a établi que les trois frères se seraient associés pour réaliser chacune de ces trois maisons. Les éléments de preuve apportés par la demanderesse ne permettent pas de constater que les trois frères auraient décidé d'unir leurs efforts ou leurs ressources en vue de réaliser ces maisons. Faute de preuve quant à un accord des frères comportant un animus societatis, on ne peut retenir l'existence d'une société simple (<ref-law>).
2.4 Le juge de première instance est parvenu à la conviction que le projet au Kosovo n'était qu'un leurre imaginé par B.X._ pour soutirer de l'argent à sa compagne, la demanderesse.
Il ressort des constatations cantonales (<ref-law>) - sans que l'arbitraire ne soit démontré à ce sujet (art. 9 Cst.) - qu'il n'a pas été prouvé que le recourant savait ce que B.X._ avait raconté à la demanderesse, ni qu'il serait intervenu d'une quelconque manière auprès d'elle pour accréditer l'idée d'un projet au Kosovo. Il n'est ainsi pas établi dans les faits que le recourant aurait participé, d'une quelconque manière, à une tromperie organisée par son frère. De ce point de vue également, les faits établis, qui ne correspondent pas à l'hypothèse visée à l'<ref-law>, ne permettent pas de fonder une créance à l'encontre du recourant. Que le recourant soit le frère de B.X._ n'implique évidemment pas qu'il soit responsable des actes illicites que ce dernier aurait commis.
2.5 Il est établi que B.X._ a reçu des fonds de la demanderesse et qu'il a prélevé différents montants sur le compte d'épargne de cette dernière. La demanderesse invoque à ce sujet l'existence d'un prêt de consommation (<ref-law>).
Quoi qu'il en soit, un contrat ne peut lier que les cocontractants. Or, il n'est en rien établi que le recourant serait intervenu lors de ces prêts et qu'il aurait manifesté la volonté d'en être codébiteur solidaire (cf. <ref-law>). Pour le recourant, les contrats de prêt invoqués ne sont qu'une res inter alios acta.
Pour être complet, il faut encore ajouter qu'aucune constatation de fait ne permet de penser que le recourant aurait donné à son frère B.X._ une procuration pour lui permettre de le représenter lors de la conclusion de ces prêts (cf. art. 32 al. 1 et 2 CO). Rien ne permet non plus de penser que le recourant, par une manifestation de volonté adressée à l'intimée, lui aurait fait croire à l'existence d'un rapport de représentation (cf. <ref-law>). Ainsi, B.X._ ne pouvait pas représenter son frère et l'engager par ses actes.
2.6 Il reste que le recourant a donné l'ordre permanent à sa banque de verser régulièrement 500 fr. sur le compte de la demanderesse. Pour la bonne compréhension de la cause, il faut observer que le recourant n'a fait qu'alimenter le compte et qu'il n'a procédé à aucun retrait (il n'avait d'ailleurs pas de procuration pour cela), la demanderesse n'ayant par ailleurs pas allégué qu'elle lui ait remis personnellement des fonds.
Le recourant a expliqué qu'il voulait, par ses versements, aider son frère. Cette explication n'est pas entièrement convaincante, puisque les versements ont continué après le moment où le projet de construction de la demanderesse en Suisse a été réalisé et après le moment où les concubins se sont séparés. Il n'empêche que ces versements ont cessé à un certain moment, sans que l'on sache d'ailleurs pourquoi.
Il est vrai que ce point du dossier reste nébuleux. Il faut cependant rappeler - comme on l'a dit en préambule - que le fardeau de la preuve incombe à la demanderesse (<ref-law>). La question pertinente n'est pas de savoir pourquoi le recourant a donné cet ordre permanent, mais si la demanderesse est parvenue à prouver un engagement pris à son égard par le recourant de lui payer davantage que ce qu'elle a déjà reçu.
Or, la recourante n'a prouvé aucune manifestation de volonté émanant du recourant d'où on puisse déduire une telle volonté. On aurait pu imaginer que le recourant et l'intimée concluent entre eux une reprise de dette cumulative par laquelle le recourant se serait engagé, solidairement avec son frère, à payer la dette de ce dernier (sur cette figure juridique: THOMAS PROBST, in Commentaire romand, Code des obligations I, 2003, introduction aux art. 175 - 183 CO p. 938; cf. arrêt 4D_111/2009 du 11 novembre 2009 consid. 2.4) ou encore que les frères aient conclu entre eux une stipulation pour autrui parfaite (<ref-law>) qui permette à l'intimée de réclamer elle-même la prestation promise par le recourant. Il faut cependant constater qu'aucune de ces constructions juridiques ne trouve le moindre point d'appui dans les constatations de fait cantonales (<ref-law>).
2.7 La cour cantonale et les parties ont longuement évoqué la théorie de la confiance développée par la jurisprudence pour l'interprétation des manifestations de volontés (sur cette notion : <ref-ruling> consid. 3.2 p. 412 s.; <ref-ruling> consid. 4.1 p. 611 s.).
Il n'y a cependant en l'espèce aucun contrat écrit dont il faudrait interpréter les clauses. L'existence et le contenu d'un accord oral entre le recourant et l'intimée dont il faudrait interpréter la portée n'est pas non plus établi. Ces considérations sont donc hors de propos.
En l'absence de toute constatation d'assurances données par le recourant à l'intimée, on ne saurait parler d'une responsabilité fondée sur la confiance éveillée, dont les conditions sont particulièrement strictes (<ref-ruling> consid. 4.3.2 p. 395; <ref-ruling> consid. 4.1 p. 451).
2.8 Il résulte de ce qui précède que l'intimée, en tant que partie demanderesse, n'est pas parvenue à prouver des faits d'où il résulterait, d'un point de vue juridique, qu'elle dispose d'une créance à l'encontre du recourant. La demande, en tant qu'elle est dirigée contre le recourant, doit donc être rejetée. La décision contraire prise par la cour cantonale viole l'<ref-law>.
3. Les frais judiciaires et les dépens sont mis à la charge de l'intimée qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis.
2. L'arrêt attaqué est réformé en ce sens que la demande dirigée contre A.X._ est rejetée, de même que la requête de mainlevée définitive en tant que la poursuite est dirigée contre A.X._.
3. La cause est renvoyée à l'autorité précédente pour statuer à nouveau sur les frais et dépens de la procédure cantonale.
4. Les frais judiciaires de la procédure fédérale, arrêtés à 4'500 fr., sont mis à la charge de l'intimée.
5. L'intimée versera au recourant une indemnité de 5'500 fr. à titre de dépens.
6. Le présent arrêt est communiqué aux représentants des parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 2 avril 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget