Faits:
A. Au début des années 1990, les époux F.X._ et H.X._, qui vivaient avec leurs deux enfants dans un appartement de quatre pièces, ont envisagé d'acheter ou de faire construire un logement mieux adapté aux besoins de leur famille.
Au cours de l'année 1993, F.X._ a su qu'un terrain à bâtir était à vendre à ..., à proximité de leur logement.
Les époux X._ étaient amis des époux Z._, qui envisageaient également de construire un logement pour eux-mêmes, étant précisé que H.Z._, charpentier-menuisier, était actif dans le domaine des constructions en bois. Les deux couples ont alors imaginé de s'associer pour réaliser la construction de deux villas contiguës en propriété par étages (allégué de la demande n° 14).
H.Z._ a insisté pour que la construction soit faite en bois, ce qui lui permettait d'assurer l'essentiel de la réalisation par son entreprise de menuiserie-charpenterie. Les époux X._ étaient entièrement d'accord avec ce projet. H.Z._ a expliqué qu'il serait ainsi possible de bénéficier des rabais qu'il pouvait obtenir en raison de son activité professionnelle.
H.Z._ a proposé de recourir aux services de A._, qu'il connaissait depuis de nombreuses années et qui exploitait un bureau d'architectes à Lausanne sous la raison sociale B._ SA. Les époux X._ ont accepté.
Le 25 octobre 1993, les époux X._ et les époux Z._ ont signé une promesse de vente et d'achat pour le terrain à ... d'une surface de 1'000 m2 qui devait être vendu pour le prix de 270'000 fr.
Le bureau d'architectes a élaboré un projet consistant à réaliser une construction abritant deux villas mitoyennes. En raison de l'opposition de la Municipalité, il a été décidé, à l'initiative de H.Z._, de réaliser une construction comportant deux appartements imbriqués. Le bâtiment devait comporter trois niveaux, à répartir en deux logements. Les époux X._ se sont ralliés à cette solution. Le permis de construire a été délivré le 1er février 1994.
Le 2 mars 1994, les époux X._ et les époux Z._ ont signé l'acte de vente et d'achat du terrain, en exécution de la promesse de vente du 25 octobre 1993.
Les travaux de réalisation du bâtiment ont commencé le 18 avril 1994.
Le 15 juin 1994, le bureau d'architectes a adressé une première demande d'acompte, estimant le coût global de la construction à 617'000 fr., terrain non compris, coût qui devait être supporté pour moitié par chacun des couples.
Le 27 juillet 1994, les époux X._ et les époux Z._ ont divisé l'immeuble en cours de construction en deux lots de propriété par étages. Le logement comprenant le rez et la moitié du premier étage a été attribué aux époux X._ et celui du premier étage et des combles a été attribué aux époux Z._.
Le chantier a pris un peu de retard. Les époux X._ se sont plaints de différents défauts.
Le 12 janvier 1995, une séance de réception provisoire a réuni les époux X._ et le bureau d'architectes. Il n'est pas établi qu'une réception définitive ait eu lieu ultérieurement.
Les époux X._ se sont plaints d'un dépassement des coûts et de divers défauts, en particulier de l'isolation phonique et thermique. Une entreprise spécialisée en acoustique, C._ SA, a été consultée et a proposé des mesures à prendre.
B. Par demande du 21 mai 2002, F.X._ et H.X._ ont ouvert action devant les tribunaux vaudois contre A._ et B._ SA, concluant à ce que ces derniers soient condamnés à leur payer la somme de 565'297 fr. avec intérêts à 5% dès le 14 février 2001.
Les défendeurs ont conclu au rejet de la demande.
Ils ont appelé en cause C._ SA, concluant à ce que cette dernière soit condamnée à les relever de toute condamnation qui serait prononcée contre eux.
L'appelée en cause a conclu au rejet des conclusions prises à son encontre.
Une expertise judiciaire a été effectuée.
Par jugement du 26 mai 2010, la Cour civile du Tribunal cantonal vaudois a rejeté les conclusions prises par F.X._ et H.X._ contre A._ et B._ SA, de même que les conclusions prises par les défendeurs contre l'appelée en cause C._ SA, statuant par ailleurs sur les frais et les dépens. En substance, la cour cantonale a estimé que les époux X._ avaient formé avec les époux Z._ une société simple en vue d'acheter le terrain et de réaliser la construction, consultant ensemble le bureau d'architectes; il en a été déduit que les époux X._ n'avaient pas la légitimation active pour s'en prendre seuls aux défendeurs.
Par arrêt du 12 octobre 2010, la Chambre des recours du Tribunal cantonal vaudois, examinant s'il y avait eu violation de l'art. 4 du code de procédure civile vaudois (ci-après: CPC/VD), ou arbitraire dans l'appréciation des preuves et l'établissement des faits, a rejeté dans la mesure où il était recevable, avec suite de frais, le recours formé par F.X._ et H.X._.
C. Ayant reçu le 16 juillet 2010 le jugement rendu le 26 mai 2010 par la Cour civile, F.X._ et H.X._ ont déposé, le 13 septembre 2010, un recours en matière civile au Tribunal fédéral.
Ayant reçu l'arrêt de la Chambre des recours le 24 mars 2011, F.X._ et H.X._ ont formé, le 19 avril 2011, un recours en matière civile dirigé contre cette décision, recours qu'ils ont qualifié de complémentaire. Ils ont conclu, avec suite de frais et dépens, à la réforme de l'arrêt rendu par la Cour civile - mais sans toucher aux chiffres II et IV du dispositif qui concernent les rapports entre les défendeurs et l'appelée en cause -, à ce que les défendeurs soient condamnés à leur verser la somme de 565'297 fr. avec intérêts à 5% l'an dès le 14 janvier 2001 et à ce que les frais de la procédure entre eux soient fixés à nouveau; subsidiairement, ils ont demandé le renvoi de la cause à l'autorité cantonale.
Les défendeurs ont conclu, avec suite de frais et dépens, à l'irrecevabilité, subsidiairement au rejet, des recours formés contre le jugement de la Cour civile et contre l'arrêt de la Chambre des recours.
Dans une brève écriture, l'appelée en cause a constaté que les conclusions prises ne la concernaient pas.
Les parties ont encore déposé des remarques complémentaires, sans y avoir été invitées.

Considérant en droit:
1. 1.1 Vu leur connexité évidente, les deux recours, l'un dirigé contre le jugement de la Cour civile du 26 mai 2010 et l'autre contre l'arrêt de la Chambre des recours du 12 octobre 2010, doivent être traités dans un seul et même arrêt.
1.2 Les deux recours font apparaître clairement que l'appelée en cause (C._ SA) n'est mentionnée que parce qu'elle était partie à la procédure cantonale. Aucune conclusion n'est prise contre elle. Les recourants ont fait ressortir sans aucune ambiguïté, dans le libellé de leurs conclusions, qu'ils ne remettent pas en cause les chiffres II et IV du dispositif cantonal, lesquels rejettent les conclusions prises par les intimés contre l'appelée en cause et qui met à la charge de ces derniers des dépens en faveur de l'appelée en cause. Sachant que le Tribunal fédéral est lié par les conclusions prises (art. 107 al. 1 LTF), il était évident, les intimés n'ayant pas recouru, que la décision à rendre ne pouvait péjorer la situation juridique de l'appelée en cause. En conséquence, il était inutile qu'elle dépose des observations, ce qui exclut que des dépens lui soient accordés pour cet acte (art. 68 al. 4 et 66 al. 3 LTF).
1.3 Contrairement à ce que les recourants semblent avoir redouté, il ne se pose en l'espèce aucun problème de droit transitoire en relation avec l'entrée en vigueur, le 1er janvier 2011, du CPC et des modifications de la LTF intervenues en cette occasion. En effet, la procédure cantonale s'est déroulée entièrement sous l'empire de l'ancien droit. Même pour déterminer les voies de recours (art. 405 al. 1 CPC), le dispositif de la dernière décision cantonale - qui a d'ailleurs été rendu sur recours (art. 75 al. 2 LTF) - a été envoyé aux parties avant le 1er janvier 2011 (<ref-ruling> consid. 2 p. 129 s., 130 consid. 2 p. 131 s.).
Selon le droit cantonal en vigueur à l'époque, certains des griefs des recourants contre le jugement de la Cour civile pouvaient encore faire l'objet d'un recours cantonal, alors que d'autres ne le pouvaient pas. Dans une telle situation, l'ensemble des griefs pouvait être invoqué devant le Tribunal fédéral par un recours déposé dans les trente jours suivant la notification de l'expédition complète de la seconde décision (art. 100 al. 1 et 6 LTF, dans la version de l'époque). Le premier recours déposé était donc prématuré, mais cette situation reste sans conséquence (arrêt 4A_31/2009 du 30 novembre 2009 consid. 2). Dès lors que le second recours a été déposé en temps utile (art. 48 al. 1 et 100 al. 1 LTF), le recours en matière civile est recevable aussi bien en tant qu'il est dirigé contre le jugement de la Cour civile pour les motifs qui ne pouvaient pas faire l'objet d'un recours cantonal que dans la mesure où il est dirigé contre l'arrêt de la Chambre des recours pour les griefs que celle-ci pouvait examiner.
1.4 Interjetés par les parties qui ont succombé dans leurs conclusions en paiement et qui ont donc qualité pour recourir (art. 76 al. 1 LTF), et dirigé contre des décisions finales (art. 90 LTF) rendues en matière civile (art. 72 al. 1 LTF) après avoir épuisé les voies de recours cantonales (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), les recours, déposés dans les formes prévues par la loi (art. 42 LTF), sont ainsi recevables.
1.5 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313), mais non pour violation du droit cantonal (<ref-ruling> consid. 2.4 p. 249).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question en rapport avec le droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.6 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). La partie recourante qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit motiver son grief d'une manière qui corresponde aux exigences de l'art. 106 al. 2 LTF (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.7 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Invoquant une violation arbitraire de l'art. 4 CPC/VD ainsi que l'arbitraire dans l'appréciation des preuves et l'établissement des faits, les recourants soutiennent que la cour cantonale ne pouvait pas retenir qu'ils ont eu l'intention, avec le couple Z._, d'atteindre un but commun et que cette autorité a admis à tort l'existence d'une société simple entre eux et ce dernier couple. Ces griefs, qui touchent la procédure cantonale et l'établissement des faits, ont été examinés par la Chambre des recours, de sorte que seule sa décision, prise en dernière instance cantonale (art. 75 al. 1 LTF), fait ici l'objet du recours.
2.1 Comme on l'a rappelé, le recours en matière civile ne peut pas être formé pour violation du droit cantonal de procédure (cf. supra consid. 1.5). En revanche, la partie recourante peut invoquer l'interdiction de l'arbitraire découlant de l'art. 9 Cst. en relation avec l'application du droit cantonal (<ref-ruling> consid. 1 p. 203; <ref-ruling> consid. 2.3 p. 466).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 4.2 p. 560).
Selon l'art. 4 al. 1 CPC/VD, le juge ne peut fonder son jugement sur d'autres faits que ceux qui ont été allégués dans l'instance et qui ont été soit admis par les parties, soit établis au cours de l'instruction selon les formes légales.
En conséquence, un fait ne peut être retenu qu'à une double condition: il doit d'une part avoir été allégué et, d'autre part, être resté sans contestation ou avoir été dûment prouvé. Il s'agit là d'une conception classique de la maxime des débats. Le juge ne peut pas retenir un fait qui n'a pas été régulièrement allégué (cf. arrêt 4P.329/2005 du 21 février 2006 consid. 3.2; FABIENNE HOHL, Procédure civile, tome I, 2001, n. 763 p. 148). Le juge violerait par ailleurs l'art. 8 CC s'il retenait un fait contesté qui n'a pas été prouvé (<ref-ruling> consid. 5.4 p. 601 s.).
La règle de l'art. 4 al. 1 CPC/VD n'interdit toutefois pas au juge d'apprécier les faits régulièrement allégués et établis et d'en tirer des déductions ou appréciations alors même que celles-ci ne sont pas elles-mêmes alléguées par les parties (arrêt 4P.22/2004 du 6 octobre 2004 consid. 3.3; POUDRET/HALDY/TAPPY, Procédure civile vaudoise, 3e éd. 2002, no 4 ad art. 4 CPC/VD).
2.2 En l'espèce, la cour cantonale a constaté que les recourants ont allégué, sous chiffre 14, que les deux couples avaient imaginé de s'associer pour réaliser la construction de deux villas contiguës en propriété par étages. Les recourants ne prétendent pas que la constatation de cet allégué serait elle-même arbitraire (cf. art. 106 al. 2 LTF).
Il est ainsi clairement décrit, sous l'angle des faits, que les quatre personnes avaient conçu, de manière concordante et réciproque, le projet de s'associer, c'est-à-dire d'unir leurs efforts et/ou leurs ressources, pour réaliser cette construction, qui constituait leur but commun. Les faits pertinents pour l'analyse juridique de la situation ont donc été allégués.
La cour cantonale a ensuite constaté que ce projet avait été mis à exécution, en relevant que les quatre personnes avaient conclu ensemble le contrat de promesse de vente, le contrat de vente et avaient mis en oeuvre le bureau d'architectes, dont elles ont approuvé les deux projets successifs; par ailleurs, les frais de l'acquisition et de la construction ont été partagés entre les deux couples. Les recourants ne prétendent pas, en tout cas avec la précision requise par l'art. 106 al. 2 LTF, que l'un ou l'autre de ces faits ne pourrait pas être déduit, fût-ce par interprétation ou déduction, des allégués formulés.
Ainsi, les recourants ne sont pas parvenus à démontrer, comme l'exige l'art. 106 al. 2 LTF, que la cour cantonale est tombée dans l'arbitraire en concluant, dans l'arrêt du 12 octobre 2010, que l'art. 4 CPC/VD n'a pas été violé.
2.3 Les recourants se plaignent surtout de ce que les intimés n'ont pas allégué l'existence d'une société simple entre les deux couples.
La qualification juridique d'un contrat relève du droit, et non des faits (<ref-ruling> consid. 3 p. 219). Or, le juge doit appliquer le droit d'office, selon le principe iura novit curia, consacré aujourd'hui par l'art. 57 CPC, mais déjà communément admis sous l'ancien droit (<ref-ruling> consid. 3b p. 596 s.; <ref-ruling> consid. 2a p. 122). Le juge doit qualifier un rapport juridique indépendamment de la dénomination que les parties lui ont donnée (<ref-ruling> consid. 3.2 p. 669). Est seule déterminante l'analyse du contenu réel de l'accord passé (cf. entre autres auteurs: TERCIER/FAVRE, Les contrats spéciaux, 4e éd., Berne 2009, n. 263 et n. 269 p. 38 s.). Il n'est d'ailleurs pas rare qu'un contrat de société simple existe alors même que les parties ne connaissent pas la qualification juridique correcte de leur relation (<ref-ruling> consid. II/2a p. 365; <ref-ruling> consid. 2a p. 710; arrêt 4A_383/2007 du 19 décembre 2007 consid. 3.1; arrêt 4C.24/2000 du 20 mars 2000 consid. 3d; HANDSCHIN/VONZUN, Zürcher Kommentar, 2009, no 127 ad art. 530 CO et les références).
Il n'était donc nullement nécessaire qu'une partie allègue l'existence d'une société simple, puisqu'il s'agit là d'une question de qualification juridique que le juge doit examiner d'office. En présence d'une question de droit, les intimés n'avaient à ce sujet à l'évidence ni un devoir d'allégation, ni un devoir de contestation. Le juge devait s'assurer d'office que les recourants étaient titulaires du droit qu'ils invoquaient en justice; les intimés n'avaient aucune obligation de soulever une exception de défaut de légitimation active.
2.4 Certes, les recourants invoquent aussi l'arbitraire dans l'appréciation des preuves et l'établissement des faits.
Selon la jurisprudence, il n'y a arbitraire dans l'appréciation des preuves et l'établissement des faits que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait une déduction insoutenable (ATF <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 2.1 p. 9).
S'agissant d'un grief constitutionnel, les recourants devaient montrer en quoi consiste l'arbitraire (cf. supra consid. 1.5). Or, sur aucun des faits qui viennent d'être rappelés, ils n'ont démontré qu'un point de fait déterminé retenu par la cour cantonale serait contraire au résultat univoque de l'administration des preuves (sur l'exigence cf. <ref-ruling> consid. 2.2 p. 246; arrêt 4A_132/2011 du 1er juin 2011 consid. 1.3). Ils n'en ont d'ailleurs même pas tenté la démonstration.
Les recourants insistent sur le fait qu'ils avaient, de même que le couple Z._, la volonté de détenir, à terme, un lot de propriété par étages. Cet argument est toutefois impropre à démontrer que la juridiction cantonale aurait entrepris une constatation insoutenable en admettant, dans le cadre de l'établissement des faits, l'existence d'un but commun consistant à acheter un terrain et à construire ensemble une maison comprenant deux appartements, dans le but de réduire les coûts, chacun des voisins supportant la moitié des frais de construction (cf. également sous l'angle du droit infra consid. 3.2).
Quant à l'hypothèse d'une dissolution de la société simple, les recourants ne soutiennent pas qu'une liquidation de celle-ci aurait été dûment alléguée et prouvée. Il n'y a donc aucun arbitraire à ne pas retenir ces faits.
Soulevant un dernier point de fait (cf. arrêt 4C.18/1995 du 13 juin 1995 consid. 4b), les recourants font valoir que H.Z._ n'a pas fourni un apport en travail. Ils admettent toutefois que le couple Z._ a fourni un apport en argent, en supportant la moitié des coûts. Il n'est nul besoin qu'il y ait de surcroît un apport en travail pour que l'on puisse admettre l'existence d'une société simple. La question de fait soulevée n'est donc pas de nature à influer sur le sort de la cause (art. 97 al. 1 LTF), de sorte qu'il n'y a pas lieu d'entrer en matière à ce sujet.
Le recours dirigé contre l'arrêt de la Chambre des recours doit donc être entièrement rejeté.
3. Invoquant une violation des art. 530, 544 al. 1, 545 CO, des art. 712a ss CC et la transgression du principe de la bonne foi et de l'interdiction de l'abus de droit (art. 2 CC), les recourants, à l'encontre de l'arrêt rendu par la Cour civile, se plaignent de ce que celle-ci ait retenu l'existence d'une société simple entre les deux couples et, par voie de conséquence, leur ait dénié la légitimation pour agir seuls contre les intimés.
3.1 Selon l'art. 530 al. 1 CO, la société simple est un contrat par lequel deux ou plusieurs personnes conviennent d'unir leurs efforts ou leurs ressources en vue d'atteindre un but commun. Il faut encore - ce qui ne donne pas matière à discussion en l'espèce - que la société ne présente pas les caractéristiques distinctives d'une autre société réglée par la loi (art. 530 al. 2 CO).
La société simple se présente comme un contrat de durée dont les éléments caractéristiques sont, d'une part, le but commun qui rassemble les efforts des associés et, d'autre part, l'existence d'un apport, c'est-à-dire une prestation que chaque associé doit faire au profit de la société (arrêt 4C.22/2006 du 5 mai 2006 consid. 6.2 publié in SJ 2006 I p. 541).
S'agissant du but commun, acheter ensemble un immeuble (<ref-ruling> let. A p. 249; <ref-ruling> consid. 3b p. 52) ou construire un bâtiment en commun (<ref-ruling> consid. 3.2 p. 601) constitue typiquement un but de société simple. L'art. 530 CO n'exige pas que la société tende à réaliser un bénéfice. Il n'est pas nécessaire non plus qu'elle soit conçue pour durer de manière illimitée (FRANÇOIS CHAIX, in Commentaire romand, Code des obligations II, 2008, n° 7 ad art. 530 CO; FELLMANN/MÜLLER, Berner Kommentar, 2006, no 479 ad art. 530 CO et les références citées; HANDSCHIN/VOLLZUN, Zürcher Kommentar, 4e éd. 2009, no 41 ad art. 530 CO; MARTIN FURRER, Der gemeinsame Zweck als Grundbegriff und Abgrenzungskriterium im Recht der einfachen Gesellschaft, thèse Zurich 1996, p. 54).
Pour ce qui est de l'apport que chaque associé doit fournir, il peut consister aussi bien dans une prestation patrimoniale que dans une prestation personnelle (arrêt 4C.166/2005 du 24 août 2005 consid. 3.1). Il n'est pas nécessaire que les apports soient égaux, puisque le contraire peut être convenu tacitement, sous réserve d'une violation de l'art. 27 al. 1 CC, cette dernière question n'étant toutefois pas discutée ici (cf. arrêt 4A_21/2011 du 4 avril 2011 consid. 3.3; arrêt 4A_509/2010 du 11 mars 2011 consid. 5.5.1). L'apport, régi par l'art. 531 CO, ne doit pas nécessairement consister en une prestation appréciable en argent et susceptible d'être comptabilisée (CHAIX, op. cit., n° 2 ad art. 531 CO; FELLMANN/MÜLLER, op. cit., no 61 ad art. 531 CO; LUKAS HANDSCHIN, Basler Kommentar, Obligationenrecht II, in 3e éd. 2008, no 5 ad art. 531 CO).
3.2 En l'espèce, il résulte des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que les recourants et le couple Z._ ont conçu le projet de s'associer en vue d'acquérir le terrain que la recourante avait remarqué et d'y faire construire en commun une maison destinée à abriter deux logements, l'un pour le couple recourant et l'autre pour le couple Z._. Chacun devait faire un apport, puisque les frais devaient être partagés. Ce projet a été mis à exécution, puisque les deux couples ont ensemble conclu la promesse de vente, puis le contrat de vente concernant l'acquisition du terrain. Ils ont ensemble mis en oeuvre les intimés en vue d'étudier la construction, puis de la réaliser. Ils ont effectivement partagé les frais. Il résulte qu'ils ont uni leurs efforts et leurs ressources en vue de réaliser un but commun, à savoir acquérir un terrain et y construire un bâtiment. Le rapport juridique noué entre eux se caractérise donc comme une société simple au sens de l'art. 530 CO.
Qu'ils aient d'emblée conçu l'idée de constituer ensuite une propriété par étages, de manière à ce que chacun des couples devienne à terme propriétaire de son propre logement n'y change rien (cf. <ref-ruling> consid. 2a p. 290).
3.3 Le présent litige est né du rapport juridique qui a été noué avec les intimés. La question pertinente n'est pas de qualifier ce rapport juridique, mais bien de déterminer avec qui les intimés ont contracté.
Il résulte des constatations cantonales que les intimés ont été en contact avec les deux couples et que ce sont ces derniers qui, ensemble, ont approuvé les deux projets successifs. Ainsi, le contrat a bien été conclu avec les deux couples, formant une société simple en vue de la réalisation de leur projet.
Il est sans doute vrai que par la suite, une fois la construction réalisée, chaque couple a commencé à raisonner en fonction de son propre logement. Cette remarque est toutefois sans pertinence, de même que l'argumentation tirée de la constitution d'une propriété par étages (art. 712a ss CC). En effet, les rapports entre les parties se sont noués en 1993, à une époque où les deux couples formaient entre eux clairement une société simple, les futurs logements n'étant alors ni déterminés, ni attribués. La propriété par étages n'a été constituée que le 27 juillet 1994; si cette constitution a eu une conséquence pour les recourants et les époux Z._ (tout en restant engagés par la convention de société simple, ils ont alors formé une communauté de propriétaires d'étage; cf. <ref-ruling> consid. 3.2 p. 602), elle ne peut avoir pour effet d'imposer aux intimés un changement de parties dans le contrat déjà conclu.
3.4 Selon l'art. 544 al. 1 CO, les choses, créances et droits réels transférés ou acquis à la société appartiennent en commun aux associés dans les termes du contrat de société. Dès lors qu'aucune convention contraire n'a été prouvée, il faut en déduire que les biens de la société simple appartiennent, sous la forme de la propriété en main commune, à tous les associés, de sorte qu'ils ne peuvent en disposer qu'en commun (arrêt 4A_275/2010 du 11 août 2010 consid. 4.2; <ref-ruling> consid. 2a p. 345). Cette règle vaut pour toutes les créances revenant à la société simple, y compris les éventuelles créances en dommages-intérêts (arrêt 4A_275/2010 déjà cité consid. 4.2; arrêt 4C.277/2002 du 7 février 2003 consid. 3.1; arrêt 4C.218/2000 du 6 octobre 2000 consid. 2a).
Il résulte de ce qui précède que les recourants et les époux Z._ étaient titulaires en main commune d'une éventuelle créance à l'encontre des intimés, née du contrat conclu avec eux.
3.5 En tant qu'ils sont titulaires en main commune d'une créance, les associés forment entre eux une consorité nécessaire (arrêt 4C.190/1996 du 14 octobre 1996 consid. 3c publié in SJ 1997 p. 396). Il en résulte qu'ils ne peuvent faire valoir la créance que tous ensemble; il s'agit là d'une question de droit matériel, et non de procédure (<ref-ruling> consid. 3.3 p. 434). Si les associés n'agissent pas tous ensemble, ceux qui ont introduit l'action n'ont pas la légitimation active, ce qui doit entraîner le rejet de la demande, et non son irrecevabilité (arrêt 4A_79/2010 du 29 avril 2010 consid. 2.1 publié in SJ 2010 I p. 459).
Dès lors que les associés Z._ n'ont pas agi avec les recourants, c'est à juste titre que la demande a été rejetée.
3.6 Il n'en irait différemment que si les associés, par un acte de cession (art. 165 al. 1 CO), avaient cédé la créance litigieuse aux recourants ou encore si, dans le cadre d'une liquidation de la société simple (art. 548 et 549 CO), cet actif leur avait été attribué. Rien de tel n'a été constaté dans l'état de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF). Il est hors de question de raisonner avec des hypothèses -comme celle visant à soutenir que le contrat d'architecte aurait alors été repris, par actes concluants, par les propriétaires de chacun des lots de propriété par étages - qui ne trouvent aucun point d'appui dans les constatations cantonales.
3.7 Sur la base des faits allégués et dûment établis, le juge devait procéder d'office à la qualification juridique des accords passés et déterminer si les recourants étaient ou non titulaires de la créance qu'ils invoquaient en justice. Il ne pouvait statuer au mépris des droits des autres associés, qui ne sont pas partie à la procédure. On ne discerne par ailleurs aucune manoeuvre déloyale de la part des intimés. Il n'y a donc pas trace d'un abus de droit (art. 2 CC). Si les recourants n'ont pas correctement analysé la situation juridique, ils ne peuvent s'en prendre qu'à eux-mêmes.
Le recours formé contre le jugement de la Cour civile doit donc être entièrement rejeté.
4. Les frais et les dépens doivent être mis à la charge des recourants qui succombent (art. 66 al. 1 et 5, art. 68 al. 1, 2 et 4 LTF).
Il n'est pas alloué de dépens à l'appelée en cause (cf. supra consid. 1.2).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours dirigé contre le jugement de la Cour civile du 26 mai 2010 et celui formé contre l'arrêt de la Chambre des recours du 12 octobre 2010 sont rejetés.
2. Les frais judiciaires, arrêtés à 8'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants, en tant que débiteurs solidaires, verseront aux intimés, créanciers solidaires, une indemnité globale de 9'000 fr. à titre de dépens.
4. Il n'est pas alloué de dépens à l'appelée en cause C._ SA.
5. Le présent arrêt est communiqué aux parties, à la Cour civile du Tribunal cantonal du canton de Vaud et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 août 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget