Faits:
A. La société anonyme A._ SA, inscrite au registre du commerce en 1933, est devenue propriétaire, quelques jours après son inscription, d'un immeuble à .... X._ détenait la moitié du capital-actions de la société et son épouse l'autre moitié. Le premier nommé était l'administrateur unique de la société.
Dès 1986, d'importants travaux, notamment l'aménagement des combles, ont été entrepris dans le bâtiment, en vue de créer une propriété par étages.
Celle-ci a été formellement constituée le 24 avril 1996. Par acte authentique dressé le même jour, A._ SA, agissant par son administrateur unique, a vendu à F.Y._ et H.Y._, pour le prix de 360'000 fr., une unité de propriété par étages correspondant à l'appartement du 1er étage. Par un autre acte authentique du même jour, A._ SA a vendu à Z._, pour le prix de 300'000 fr., une autre unité de propriété par étages correspondant à l'appartement aménagé dans les combles.
La propriété par étages étant ainsi constituée, la société A._ SA a été dissoute le 1er juillet 1998, puis radiée du registre du commerce, après liquidation, le 14 septembre 2001.
Dès la fin de l'année 1996, des infiltrations d'eau ont été constatées. Une première intervention pour y remédier a été entreprise en janvier et en mars 1997. Par la suite, des expertises ont été effectuées, évoquant des malfaçons importantes dans l'aménagement des combles et un mauvais état de la toiture.
B. Par deux demandes séparées datées du 3 décembre 2003, F.Y._ et H.Y._ d'une part, et Z._ d'autre part, ont ouvert action devant les tribunaux neuchâtelois contre X._, invoquant la garantie des défauts due par le vendeur. Soutenant que l'élimination des défauts coûterait au moins 60'000 fr., les premiers (F.Y._ et H.Y._), propriétaires de 330 millièmes de l'immeuble, ont réclamé 19'980 fr., tandis que le second (Z._), propriétaire de 310 millièmes de l'immeuble, a demandé 18'600 francs.
X._ s'est opposé aux deux demandes en totalité. Il a fait valoir principalement que celles-ci auraient dû être dirigées contre la société A._ SA et, subsidiairement, que des clauses d'exclusion de garantie avaient été convenues ainsi que, dans un cas, une cession des droits contre les maîtres d'état.
Les deux demandes ont été jointes par décision du 30 août 2004.
Par jugement du 5 août 2010, le Tribunal civil du district de La Chaux-de-Fonds a accueilli les deux demandes. Il a considéré qu'il était abusif, en vertu du principe de la transparence, de se prévaloir de l'indépendance juridique de A._ SA. Il a admis que les défauts avaient été dûment prouvés, que les avis avaient été donnés en temps utile, qu'il n'y avait pas de clause d'exclusion de garantie valable et que les demandeurs avaient droit à une réduction du prix de vente correspondant à leurs demandes, dont le montant était d'ailleurs inférieur au dommage subi.
La Cour de cassation civile du Tribunal cantonal neuchâtelois, par arrêt du 14 décembre 2010, a rejeté le recours formé par X._ avec suite de frais et dépens.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 14 décembre 2010. Invoquant l'arbitraire et une violation du droit fédéral, il reprend chacun des trois points litigieux (sa légitimation passive, les clauses d'exonération et la cession des droits) et conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et à ce que les demandes dirigées contre lui soient déclarées irrecevables ou rejetées. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente.
Les intimés concluent, sous suite de frais et dépens, à l'irrecevabilité, subsidiairement, au rejet du recours.

Considérant en droit:
1. 1.1 Les deux demandes (celle de F.Y._ et H.Y._ d'une part et celle de Z._ d'autre part) ne s'excluent pas l'une l'autre. En raison de leur connexité évidente, elles ont été jointes et ont donné lieu à un seul et même arrêt, de sorte que l'on se trouve en présence d'une consorité simple. Dans un tel cas, les conclusions prises en dernière instance cantonale - qui étaient entièrement litigieuses - doivent être additionnées (<ref-law>; JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, 2009, nos 14 s. ad <ref-law>). Il en résulte que la valeur litigieuse de 30'000 fr. requise par l'<ref-law>, pour ouvrir la voie du recours en matière civile, est atteinte.
Interjeté par la partie qui a succombé dans ses conclusions libératoires et qui a donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance statuant sur recours (<ref-law>), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. c, 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire : ATF <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 300, 397 consid. 1.5 p. 401 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort du litige (<ref-law>). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, le recourant présente son propre état de fait, mais dès lors qu'il n'invoque, dans cette partie de son écriture, aucune des circonstances prévues par l'<ref-law>, il n'y a pas lieu d'en tenir compte et le raisonnement doit être conduit sur la base de l'état de fait figurant dans l'arrêt cantonal.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>). S'il admet le recours, le Tribunal fédéral peut statuer lui-même sur le fond ou renvoyer l'affaire à l'autorité précédente pour qu'elle prenne une nouvelle décision (<ref-law>).
2. 2.1 Les deux demandes qui ont été jointes tendent à une réduction du prix de vente sur la base de l'<ref-law>. Invoquant les contrats de vente qu'elles ont conclus pour acquérir leur part de copropriété par étages (<ref-law>), les parties demanderesses se placent donc sur le terrain de la garantie en raison des défauts due par le vendeur (<ref-law>).
Par définition, cette garantie (et par voie de conséquence la réduction du prix) est due par le vendeur dans le cadre du contrat de vente conclu (<ref-law>).
Il faut donc déterminer qui est le vendeur dans les contrats conclus avec les intimés le 24 avril 1996. S'agissant de ventes immobilières, l'acte authentique, requis par l'<ref-law>, doit en principe l'exprimer avec toute la clarté nécessaire.
Dans l'hypothèse où les demandes seraient dirigées contre un tiers, qui n'est pas tenu à la garantie des défauts, elles ne pourraient qu'être rejetées (pour défaut de légitimation passive; cf. <ref-ruling> consid. 1a p. 63; <ref-ruling> consid. 1a p. 83 s.).
2.2 Il ressort des faits établis par l'autorité précédente - qui lient le Tribunal fédéral (<ref-law>) - que les deux actes authentiques du 24 avril 1996 désignent comme partie venderesse la société A._ SA.
Cette désignation est parfaitement logique, puisqu'il résulte des constatations cantonales que cette société était propriétaire de l'immeuble et que c'était donc elle qui avait créé des parts de copropriété par étages qui ont été mises en vente.
Aucune des constatations cantonales ne permet d'imaginer que les parties, au moment de la conclusion des contrats le 24 avril 1996, avaient en vue un autre vendeur que la société A._ SA.
Les contrats conclus désignent clairement celle-ci comme la venderesse et aucun élément du dossier ne permet de penser que cela ne correspond pas à la volonté réelle des parties. Il n'est donc pas nécessaire de faire ici de longs développements sur l'interprétation des manifestations de volonté. La situation est parfaitement limpide : la partie venderesse est la société A._ SA.
2.3 On ne comprend dès lors pas pourquoi les demandeurs se prévalent de la garantie des défauts à l'égard d'une tierce personne, à savoir le recourant.
Il est vrai que celui-ci était l'administrateur unique de la société, mais l'administrateur ne peut pas être confondu avec la société cocontractante. Il faut relever ici que les demandeurs n'ont pas prétendu que l'administrateur aurait commis, à leur préjudice, un acte illicite au sens de l'<ref-law> qui leur aurait causé un dommage direct dont ils pourraient demander réparation sur la base de l'<ref-law>.
Il est vrai aussi que le recourant était l'un des deux actionnaires de la société. Il faut cependant rappeler que la société anonyme constitue une personne morale distincte de ses membres et que les actionnaires ne sont pas personnellement responsables des dettes sociales (arrêt 4C.455/1995 du 28 mai 1996 consid. 6 non publié in <ref-ruling>).
La véritable raison pour laquelle les demandes ont été dirigées contre le recourant tient probablement au fait que la société A._ SA avait été radiée du registre du commerce. Cette situation n'empêchait cependant pas les demandeurs de faire valoir leurs droits. Selon la jurisprudence constante, ils pouvaient en effet requérir la réinscription de la société au registre du commerce (<ref-ruling> consid. 3.2 p. 734; <ref-ruling> consid. 1 p. 326). Les problèmes d'infiltration d'eau étant déjà connus, ils auraient aussi pu songer à s'opposer à la radiation (cf. <ref-law>). En tout cas, ils ne pouvaient pas, pour éluder la procédure de réinscription, s'en prendre à l'administrateur ou à un actionnaire de leur choix, en lieu et place de la société qui était leur cocontractante.
2.4 Pour admettre néanmoins la légitimation passive du recourant, la cour cantonale a cru pouvoir appliquer la théorie de la transparence (en allemand : Durchgriff).
2.4.1 Lorsqu'une personne physique fonde une société anonyme, notamment pour exercer le droit de propriété sur un immeuble, il faut considérer en principe qu'il y a deux sujets de droit distincts avec des patrimoines séparés : la personne physique d'une part et la société anonyme d'autre part (arrêt 4C.15/2004 du 12 mai 2004 consid. 5.2). Malgré l'identité économique entre la société et son actionnaire unique, on les traite en principe comme des sujets de droit distincts (<ref-ruling> consid. 2.4 p. 333 et les arrêt cités).
Selon la théorie de la transparence, on ne peut cependant pas s'en tenir dans tous les cas à l'existence formelle de deux personnes juridiquement distinctes lorsque tout l'actif ou la quasi-totalité de l'actif d'une société anonyme appartient soit directement, soit par personnes interposées, à une même personne, physique ou morale; malgré la dualité de personnes à la forme, il n'existe pas des entités indépendantes, la société étant un simple instrument dans la main de son auteur, lequel, économiquement, ne fait qu'un avec elle. On doit dès lors admettre, à certains égards, que, conformément à la réalité économique, il y a identité de personnes et que les rapports de droit liant l'une lient également l'autre. Ce sera le cas chaque fois que le fait d'invoquer la dualité des sujets constitue un abus de droit ou a pour effet une atteinte manifeste à des intérêts légitimes. Ainsi, l'indépendance juridique entre l'actionnaire unique et la société anonyme ne peut pas être invoquée dans un but qui ne mérite pas la protection de la loi, comme par exemple pour éluder un contrat, une prohibition de concurrence ou encore contourner une interdiction (arrêt 4A_384/2008 du 9 décembre 2008 consid. 4.1 publié in SJ 2009 I p. 424; cf. également : arrêt 5A_175/2010 du 25 mai 2010 consid. 3.3.4; arrêt 4C.15/2004 du 12 mai 2004 consid. 5.2; <ref-ruling> consid. 3b p. 506).
L'application du principe de la transparence suppose donc, tout d'abord, qu'il y ait identité des personnes, conformément à la réalité économique, ou, en tout cas, la domination économique d'un sujet de droit sur l'autre. Il faut ensuite que la dualité soit invoquée de manière abusive, c'est-à-dire pour tirer un avantage injustifié (cf. arrêt 4A_384/2008 déjà cité consid. 4.1 et 4.2; arrêt 4C.231/1997 du 15 septembre 1998 consid. 2b).
2.4.2 En l'espèce, le capital-actions de la société anonyme était partagé entre le recourant et son épouse. Aucune constatation cantonale ne permet de déduire que l'épouse ne détenait la moitié des actions qu'à titre fiduciaire pour son mari. Rien ne permet d'exclure qu'elle ait fait une mise de fond initiale en 1933. On ne peut pas affirmer non plus qu'elle n'avait aucune intention d'exercer le droit de vote attaché à ses actions, s'agissant tout de même du destin du logement familial. Que l'épouse ne soit jamais apparue auprès des tiers en tant que représentante de la société s'explique sans difficulté par le fait que le mari était l'administrateur unique. On ne peut donc pas affirmer que la société A._ SA était dans la maîtrise économique du seul recourant, à l'exclusion de son épouse. La première condition pour l'application du principe de la transparence n'est donc pas réalisée.
Il en va de même de la seconde. On ne peut pas imaginer que les époux aient fondé cette société en 1933 en vue de léser les demandeurs et d'en tirer à leur détriment un avantage injustifié. La constitution d'une société immobilière pour exercer le droit de propriété était d'ailleurs courante à l'époque (cf. <ref-ruling> consid. 2.4 p. 333). Dès lors que la société anonyme était propriétaire de l'immeuble, c'était à elle qu'il incombait, d'un point de vue juridique, de constituer les parts de copropriétés et de les vendre. On ne discerne à cet égard aucun abus de droit.
La copropriété par étages étant réalisée, les époux n'ont pas vu d'intérêt à conserver la société anonyme pour exercer leur droit de propriété sur leur unité d'étage. On ne perçoit ici aucune forme d'abus de droit.
Sur la base des actes authentiques, les demandeurs pouvaient déterminer sans difficulté qui était la partie venderesse et ils pouvaient exercer leurs droits contre elle. Il est vrai que la radiation de la société les obligeait à une procédure de réinscription. La théorie de la transparence ne doit cependant pas permettre à l'autre partie d'éluder la procédure qu'elle devait suivre.
Il ne résulte pas des constatations cantonales que le recourant aurait adressé aux demandeurs la moindre manifestation de volonté dont on pourrait déduire qu'il acceptait de reprendre la place de la société A._ SA ou de reprendre son obligation d'assumer la garantie des défauts.
Que le recourant se soit parfois, ou ait été parfois, présenté comme le propriétaire de l'immeuble n'y change rien. Il est fréquent en pratique que l'on s'attache plutôt à la réalité économique, ce qui n'enlève rien à l'existence juridique des sociétés immobilières. Que le recourant ait présenté lui-même une réclamation contre un entrepreneur et passé une transaction avec lui peut procéder d'une mauvaise analyse juridique ou d'un calcul tactique; quoi qu'il en soit, les demandeurs ne peuvent pas en déduire de bonne foi que le recourant leur proposait de se substituer à la société A._ SA dans les contrats de vente conclus ou d'assumer la garantie des défauts.
2.5 Dès lors que le recourant n'était pas le vendeur, qu'il n'était pas non plus son successeur et qu'il n'avait pas repris ses obligations, c'est manifestement à tort que la garantie des défauts a été invoquée contre lui. Dès lors qu'il n'est pas le débiteur, les demandes doivent être rejetées, sans qu'il y ait lieu d'examiner les autres points litigieux.
3. Les frais judiciaires et les dépens sont mis solidairement à la charge des parties qui succombent (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
2. Les demandes formées par F.Y._ et H.Y._ d'une part et par Z._ d'autre part sont rejetées.
3. Les frais judiciaires, fixés à 2'000 fr., sont mis solidairement à la charge des intimés.
4. Les intimés verseront solidairement aux recourants une indemnité de 2'500 fr. à titre de dépens.
5. La cause est renvoyée à l'autorité précédente pour fixer à nouveau les frais et dépens de la procédure cantonale.
6. Le présent arrêt est communiqué aux parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 17 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget