Faits:
A. A.a Par acte de vente du 14 mai 2004, instrumenté par le notaire A._, Y._, avocat de profession, a vendu pour le prix de 315'000 fr. à H.X._ et F.X._ la parcelle n° 1378 de la Commune de ... (Valais) sur laquelle est érigé un chalet. Le chiffre 3 des conditions de vente stipulait que le chalet était vendu, meublé et agencé, dans son état actuel, tel qu'il était connu des acheteurs, sans garantie, « sous la seule réserve de l'article 199 du Code des obligations (défauts frauduleusement dissimulés) ». Le chiffre 7 des mêmes conditions précisait que l'immeuble vendu était situé dans la zone à bâtir de la Commune de ....
Les époux X._ ont pris possession du chalet le 28 mai 2004.
Par courriel du 1er juin 2004, H.X._ a avisé Y._ qu'il avait découvert avec stupéfaction la très forte inclinaison du chalet, constatée le même jour par un menuisier au moyen d'un niveau.
Mandaté par H.X._, l'architecte B._ a relevé, dans un rapport du 22 juin 2004, que le chalet présentait une déformation de 17 cm entre les angles sud-est et sud-ouest du balcon du rez-de-chaussée, que l'intérieur souffrait du même problème et que le sol de l'étage subissait encore plus cette déformation; il a estimé le coût de la remise à niveau à 20'000 fr., les défauts non corrigibles représentant une moins-value de 18'000 fr.
A.b Il a été constaté que le chalet susmentionné avait été bâti par Y._ en 1972, lequel l'avait agrandi en 1977. Le précité a affirmé qu'il n'a jamais eu conscience d'un problème d'inclinaison affectant une dalle et que les nombreux hôtes qu'il a accueillis dans le cottage n'ont rien remarqué à ce propos. Il a ainsi été retenu que C._, qui est une amie de Y._ et a effectué de nombreux séjours dans le chalet, n'avait pas été consciente du défaut de planéité. Le paysagiste D._, qui entretenait les extérieurs depuis 1991 ou 1992, a déclaré avoir pénétré moult fois dans le séjour du chalet sans déceler d'anomalie au niveau des sols et sans que le vendeur lui ait parlé de quoi que ce soit à ce propos. E._, qui a séjourné régulièrement dans le chalet durant dix à quinze ans, n'a pas remarqué de malfaçon relative à l'inclinaison et a assuré que Y._ n'avait jamais fait état d'un problème de cette nature.
En 1992, le chalet avait été estimé par un architecte à 325'000 fr., compte tenu d'un coefficient de vétusté de 20%, sans qu'il soit fait mention d'un défaut.
Les amateurs qui ont visité le chalet à partir de 2001 n'ont pas remarqué de problème d'inclinaison de dalle.
Avant de signer l'acte de vente, les conjoints X._ ont visité le chalet à trois reprises, la première fois pendant une demi-heure, les fois suivantes durant une heure et demie. Ils ont fait remarquer à Y._ que le lamage de la façade n'était pas posé correctement. Ils ont en outre manifesté au vendeur leur intention d'entreprendre des transformations, pour un coût de l'ordre de 70'000 fr. à 80'000 fr.
Le directeur d'une banque sollicitée par les acheteurs pour leur octroyer un crédit hypothécaire a établi le 19 avril 2004 un rapport d'estimation du chalet après s'y être rendu. Il a arrêté la valeur vénale du bâtiment à 289'200 fr., celle du terrain à 44'500 fr., soit 890 m2 à 50 fr. par m2, plus 33'500 fr. pour le mur de soutènement, le goudronnage et le couvert, d'où un total de 367'200 fr. Ce document, à usage exclusif de la banque, mentionnait que les acquéreurs avaient l'intention de rénover le chalet à leurs frais en investissant 35'000 fr. de matériel et que la parcelle se trouvait en zone verte; il n'était pas fait même allusion au défaut de planéité du plancher.
A.c Le 3 août 2004, les conjoints X._ ont introduit une requête de preuve à futur tendant à établir l'existence des défauts affectant le chalet et le coût des travaux de réfection.
Dans leur rapport d'expertise du 17 mars 2005, l'ingénieur civil EPFL G._ et l'architecte HES H._ ont affirmé que le défaut d'horizontalité du chalet, provenant de la construction, ne présentait aucun danger, la stabilité générale n'étant pas menacée. Ils ont constaté que la dalle du rez-de-chaussée penchait d'est en ouest d'environ 15 cm et du nord au sud de 3 à 4 cm et que tant le plafond que la terrasse du rez-de-chaussée présentaient une déclivité de l'ordre de 1,5 %. Les experts ont estimé les coûts de la remise en état des planchers et plafonds à 16'200 fr. en tout. Ils n'ont pas pu déterminer la cause de l'inclinaison de la chape du chalet, mais ont émis l'hypothèse qu'un tassement a pu se produire quand le chalet a été agrandi.
A.d Entre le 12 et le 14 août 2004, lorsque les époux X._ ont souhaité mettre à l'enquête l'ouverture d'une fenêtre, ces derniers ont prétendu avoir découvert de manière fortuite que la parcelle qu'ils avaient acquise par contrat du 14 mai 2004 se situait non en zone à bâtir, mais en zone agricole.
B. B.a Par demande du 16 août 2004, H.X._ et F.X._ ont ouvert devant les autorités valaisannes contre Y._ action en réduction du prix en raison des défauts présentés par la chose vendue. A titre d'indemnités pour les moins-values entraînées par l'inclinaison du chalet, la situation du chalet en zone agricole et les frais engendrés notamment par l'effondrement d'un mur arrière après inondation d'une route dont la propriété ne leur a pas été remise par le défendeur, les demandeurs ont conclu en dernier lieu, dans leur mémoire-conclusions du 10 juin 2010, avec suite de frais et dépens, au paiement par Y._ de la somme globale de 72'000 fr. plus intérêts à 5% l'an dès le 19 juillet 2004; les demandeurs ont encore requis qu'ordre soit donné au défendeur de leur donner « les papiers relatifs à la route d'accès ».
Le défendeur a conclu à libération.
B.b En cours d'instance, soit le 22 novembre 2005, H.X._ a dénoncé pénalement Y._ pour obtention frauduleuse d'une constatation fausse (<ref-law>), au motif que ce dernier avait sciemment omis de l'informer que la parcelle n° 1378 se trouvait en zone agricole, alors que l'acte de vente stipulait qu'elle se situait en zone à bâtir.
Entendu par le juge d'instruction, H.X._ a déclaré que s'il avait su, au moment d'acquérir le chalet, que cet objet se trouvait en zone agricole, il ne l'aurait pas acheté à ce prix-là.
Par jugement du 5 mai 2008, le Juge I du district de Sion a acquitté Y._ au bénéfice de l'adage « in dubio pro reo ». Ce jugement constate, au considérant 2 in fine de sa partie fait, page 9, que l'immeuble litigieux se trouve en zone agricole, selon attestation de zone délivrée par la Commune de ... le 26 janvier 2006.
Le juge d'instruction a refusé de suivre, par décision du 16 novembre 2007, à une nouvelle plainte pénale formée par H.X._ contre Y._, cette fois pour escroquerie (<ref-law>); cette décision a été confirmée par la Chambre pénale du Tribunal cantonal valaisan le 18 janvier 2008.
B.c Au cours de l'instruction du procès civil, F.X._ a affirmé que les conjoints n'auraient pas persisté dans leur intention d'acheter le chalet s'ils avaient eu connaissance que la parcelle se trouvait en zone agricole
Aucune expertise n'a été sollicitée en rapport avec la moins-value susceptible de découler de la situation du chalet en zone agricole.
B.d Par jugement du 16 août 2010, la Cour civile II du Tribunal cantonal valaisan a rejeté la demande en tant qu'elle était recevable.
En substance, la cour cantonale a rappelé que lorsque, comme en l'espèce, une vente immobilière a été conclue, les règles relatives à la garantie pour les défauts de la chose vendue des <ref-law> sont applicables par analogie. Elle a tout d'abord considéré que certaines défectuosités du chalet étaient visibles avant l'achat en faisant preuve d'une attention suffisante: il s'agissait de l'état de trois escaliers d'accès, du mur de pierre à l'arrière du chalet et de l'aménagement extérieur en général, de l'état du mobilier, des vitres fendues, de la présence de cloques sous les balcons, de l'état des joints entre la chape et la dalle sur la tranche du balcon ainsi que de la présence d'un trou à l'arrière du chalet. En application de l'<ref-law>, le vendeur ne saurait engager sa responsabilité contractuelle pour l'ensemble de ces défauts.
En revanche, la Cour civile a admis que le défaut de planéité du chalet ne pouvait pas être constaté par les futurs acheteurs. Elle a ensuite déterminé la portée de la clause d'exclusion de garantie contenue dans l'acte de vente sur la base de la commune et réelle volonté des parties. Ce procédé l'a amené à retenir que le vendeur ne répondait envers les acheteurs que des défauts frauduleusement dissimulés, des défauts étrangers aux éventualités que des acquéreurs raisonnables auraient prises en compte et de l'absence d'une qualité promise dans l'acte en la forme écrite, de sorte que la clause excluant la garantie était valable pour les défauts ordinaires avec lesquels l'acheteur pouvait compter. La cour cantonale a jugé que le défendeur n'avait jamais eu connaissance du défaut d'horizontalité avant que les demandeurs ne l'en avisent le 1er juin 2004 et que ce défaut, qui n'avait pas empêché le vendeur de jouir de son bien pendant plus de trente ans, ne sortait pas du champ d'application que les acheteurs pouvaient légitimement attribuer à la clause exclusive de garantie, d'autant plus que sa suppression ne représentait que le 10,7 % du prix de vente global du chalet. Elle en a inféré que l'exclusion de garantie s'appliquait au défaut de planéité.
S'agissant d'autres défauts, au nombre desquels entraient la zone dans laquelle se trouvait le chalet et les questions liées à la route d'accès, les magistrats valaisans ont retenu que leur existence n'avait pas été prouvée à l'instar de la moins-value qui en résulterait, étant donné qu'ils n'avaient pas été allégués en procédure ou ne ressortaient pas de l'expertise judiciaire.
C. H.X._ et F.X._ exercent un recours en matière civile au Tribunal fédéral contre le jugement précité. Principalement, ils concluent à la réforme de cette décision en ce sens que « son dispositif est modifié dans le sens des conclusions prises par les recourants le 10 juin 2010 ». A titre subsidiaire, ils requièrent l'annulation du jugement attaqué, la cause étant renvoyée à la cour cantonale pour nouvelle décision.
L'intimé propose le rejet du recours.

Considérant en droit:
1. 1.1 Interjeté par la partie demanderesse qui a entièrement succombé dans ses conclusions en paiement et qui a ainsi la qualité pour recourir (<ref-law>), dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. de l'<ref-law>, le recours est par principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
Que la cour cantonale ait statué en instance unique est certes contraire aux exigences de l'<ref-law>, mais il n'importe car les cantons disposaient encore d'un délai d'adaptation (<ref-law>).
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 1.4 p. 674; <ref-ruling> consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>; <ref-ruling> consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Le recourant ne peut de toute manière demander une correction de l'état de fait que si celle-ci est susceptible d'influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, les recourants, sur près de 15 pages, présentent leur propre version des faits dans la première partie de leur mémoire de recours, cela sans invoquer de manière précise ni violation du droit ni arbitraire. Il n'y a donc pas lieu d'en tenir compte. Le raisonnement qui sera développé se fondera dès lors exclusivement sur l'état de fait contenu dans le jugement déféré, sous réserve des cas où les recourants auraient invoqué l'arbitraire avec la précision requise.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
Les conclusions principales des recourants tendent à la réforme du jugement cantonal dans le sens des conclusions qu'ils avaient prises dans leur mémoire-conclusions du 10 juin 2010. Les recourants doivent toutefois préciser dans le mémoire adressé au Tribunal fédéral quelles modifications de la décision attaquée sont demandées, afin qu'apparaissent immédiatement les points qui restent contestés en instance fédérale (<ref-ruling> consid. 3). En se bornant à renvoyer aux conclusions qu'ils ont prises au terme de la procédure cantonale, les recourants ne satisfont pas aux exigences précitées. Il suit de là que leurs conclusions principales sont irrecevables.
Par leurs conclusions subsidiaires, les recourants sollicitent simplement l'annulation du jugement déféré et le renvoi de la cause à l'autorité cantonale. La jurisprudence admet que la partie recourante peut se dispenser de prendre des conclusions sur le fond et ne conclure qu'à l'annulation de la décision et au renvoi de la cause à l'autorité précédente si le Tribunal fédéral, dans l'hypothèse où il admet le recours, n'est de toute manière pas en mesure de statuer lui-même sur le fond (ATF <ref-ruling> consid. 1.3 p. 383; <ref-ruling> consid. 1.2 p. 139). On doit considérer que cette condition est remplie en l'espèce. En effet, s'il devait être considéré que la fausse indication de la zone où se situe le chalet, figurant dans l'acte de vente du 14 mai 2004, constitue l'absence d'une qualité promise pour laquelle le vendeur ne peut se prévaloir de la clause exclusive de garantie, le Tribunal fédéral ne serait pas à même de déterminer la moins-value en résultant pour les acheteurs, puisque cette question n'a fait l'objet d'aucune instruction en procédure cantonale. Les conclusions subsidiaires en cause sont donc recevables.
2. Les recourants invoquent une violation par la Cour civile des art. 197 et 199 CO en rapport avec deux défauts qu'ils prétendent avoir allégués et prouvés en cours de procédure, soit l'inclinaison du chalet et le fait que ce chalet ne se trouve pas en zone à bâtir, mais bien en zone agricole.
Discutant de la portée de la clause d'exclusion de garantie au sens de l'<ref-law> convenue par les parties, les recourants prétendent que le défaut présenté par l'inclinaison du chalet est d'une importance telle qu'il ne peut être compris dans ladite clause. Quant au défaut constitué par le fait que le bâtiment est sis dans une zone agricole, il représente une moins-value considérable pour les recourants qui avaient fait clairement état de leurs projets d'agrandissement. A leurs yeux, un tel défaut échappe également à l'exclusion de garantie stipulée. Du moment qu'il n'est pas remis en cause que ces deux défauts ont été signalés en temps utile à l'intimé, ce dernier doit en répondre en vertu de l'<ref-law>.
Sur la base de deux témoignages et des déclarations de l'architecte B._, les recourants taxent d'arbitraire la constatation que l'intimé n'avait pas eu connaissance du défaut de planéité avant que les acheteurs l'en avisent le 1er juin 2004. Ils en déduisent que le vendeur a dissimulé de manière dolosive ce défaut qui ne pouvait lui échapper.
Quant au défaut concernant la zone où est bâti le chalet, les recourants font valoir que c'est tout aussi arbitrairement que la cour cantonale a retenu que ce défaut, de même que la moins-value qu'elle entraîne, n'ont pas été allégués et prouvés en procédure.
3. 3.1 Il est constant que les recourants, d'une part, l'intimé, d'autre part, ont conclu un contrat de vente (<ref-law>), qui porte sur un bien-fonds sis en Valais. Cette vente se définit ainsi comme une vente immobilière (<ref-law>). A teneur de l'<ref-law>, les règles concernant la vente mobilière s'appliquent par analogie aux ventes d'immeubles. Il est de jurisprudence que ce renvoi a trait en particulier aux règles sur la garantie en raison des défauts (<ref-ruling> consid. 3 p. 147).
Lorsque la chose vendue est défectueuse, l'acheteur, hormis le cas du commerce de bétail (cf. <ref-ruling> consid. 3 p. 70), peut, selon son libre choix, soit se prévaloir d'un vice du consentement pour invalider le contrat, soit se placer sur le terrain de la garantie des défauts et exercer l'action en résolution du contrat (dite aussi rédhibitoire) ou l'action en réduction du prix (dite aussi minutoire) (<ref-ruling> consid. 1 p. 134 ss; <ref-ruling> consid. 2 p. 322).
In casu, il a été constaté que les recourants, par demande du 16 août 2004, ont choisi d'intenter l'action en réduction du prix à raison de nombreux défauts affectant prétendument le chalet vendu.
3.2 Dans leur recours en matière civile, les recourants ont désormais renoncé à se prévaloir d'un certain nombre de défauts dont la cour cantonale a retenu qu'ils étaient facilement décelables par les acquéreurs avant la conclusion de la vente. Ces défauts sont les suivants: état de trois escaliers d'accès, du mur de pierre à l'arrière du chalet et de l'aménagement extérieur en général; état du mobilier; présence de vitres fendues et de cloques sous les balcons; état des joints entre la chape et la dalle sur la tranche du balcon; existence d'un trou à l'arrière du chalet. Il convient de donner acte aux recourants de leur nouvelle position juridique.
Il ne reste donc plus que deux défauts sur lesquels les acheteurs fondent leur action minutoire. Il s'agit de la planéité déficiente des sols, qui constitue un défaut matériel à caractère technique (cf. TERCIER/FAVRE, Les contrats spéciaux, 4e éd., 2009, ch. 729 p. 107 et ch. 738 p. 108/109), et de la non-conformité de la zone dans laquelle se trouve le chalet avec la zone mentionnée au chiffre 7 des conditions du contrat de vente, défaut qui représente dans les circonstances de l'espèce, comme on le verra, l'absence d'une qualité promise par le vendeur (cf. <ref-ruling>).
Si le défaut d'horizontalité du chalet a été constaté en fait d'une manière qui lie le Tribunal fédéral (<ref-law>), en particulier sur la base d'une expertise judiciaire, les magistrats valaisans ont considéré que le défaut qui se rapporte à la zone où est construit le chalet n'a pas été allégué en procédure. A ce propos, les recourants font grief à la cour cantonale d'être tombée dans l'arbitraire, en se référant aux allégués 142 ss de leur mémoire-réplique du 21 novembre 2005.
Le moyen est fondé. L'écriture précitée des recourants, qui figure au dossier sous la cote C1 09-111 I/II p. 58 à 77, comporte en effet les allégués 143 à 145 suivants:
« La découverte fortuite de la nature exacte de la zone est en effet intervenue après signature de l'acte et après que l'acte de vente ait été validé en procédure devant le Tribunal d'arrondissement (143). Ni les époux X._ ni le Tribunal d'arrondissement ne connaissaient la vérité sur la zone au moment où les époux X._ ont demandé confirmation et validation de l'achat (144). En effet, contrairement à ce qui est mentionné dans l'acte, la zone dans laquelle se trouve le chalet est une zone agricole et non une zone à bâtir (145) ».
La lecture de cet acte de procédure montre que les recourants ont allégué la description, erronée à leurs yeux, de la zone où se trouve la parcelle qu'ils ont acquise. Pour l'avoir nié, les juges cantonaux ont constaté arbitrairement les faits de procédure.
Et l'intimé ne remet pas en cause que le chalet en question se situe effectivement en zone agricole, ainsi que l'a reconnu le Juge I du district de Sion dans un jugement du 5 mai 2008, qui se trouve au dossier sous la cote C1 09-111 I/II p. 120 à 142.
4. 4.1 Il n'est pas contesté que les parties ont inséré dans le contrat de vente immobilière du 14 mai 2004 une clause d'exclusion de garantie.
D'après la jurisprudence, une clause exclusive de garantie ne peut être invoquée à l'encontre de défauts de la chose vendue totalement étrangers aux éventualités qu'un acheteur doit raisonnablement prendre en considération (<ref-ruling> consid. 4.3.1 p. 689 ss; <ref-ruling> consid. 4a et 5a p. 67). La clause d'exclusion doit s'interpréter comme toute manifestation de volonté. Il faut ainsi déterminer sa portée en recherchant la volonté réelle et commune des parties. Si cette dernière n'a pas pu être constatée, il sied de procéder à une interprétation selon le principe de la confiance. Le point de savoir si un défaut se situe en dehors des prévisions des parties est notamment fonction du but économique de l'accord; ainsi l'acheteur d'une construction ancienne qui consent à ce qu'une clause d'exclusion soit insérée dans le contrat doit s'attendre à des dépenses inattendues de l'ordre de 10% du prix d'achat (<ref-ruling> consid. 4.3.1 p. 689 ss).
Dans le cas présent, la cour cantonale a fixé la portée de la clause exclusive convenue après avoir constaté la réelle et commune intention des parties. Elle a ainsi retenu en fait (<ref-law>), sans se voir taxer d'arbitraire à cet égard, que l'intimé ne doit répondre envers les recourants que des défauts frauduleusement dissimulés, des défauts étrangers aux éventualités que des acquéreurs raisonnables auraient prises en compte ainsi que de l'absence d'une qualité promise dans l'acte de vente ou dans un avenant passé par écrit. Cette constatation lie le Tribunal fédéral.
4.2 A ce stade du raisonnement, il convient de se demander si la clause d'exclusion de garantie acceptée par les plaideurs empêche les recourants de se prévaloir et du défaut de planéité et de l'indication erronée de la zone dans l'acte de vente.
4.2.1
4.2.1.1 Concernant le défaut matériel, soit celui se rapportant au manque d'horizontalité, les recourants prétendent que l'autorité cantonale a admis de manière insoutenable que l'intimé ignorait ce défaut avant la conclusion du contrat de vente. Ils tentent par ce biais d'établir que le vendeur a frauduleusement tu ce défaut, lequel ne serait alors plus couvert par la clause d'exclusion.
Dans cette optique, ils se réfèrent à l'expert privé qu'ils ont mandaté en juin 2004, à savoir B._, lequel a relevé dans les conclusions de son rapport d'expertise du 22 juin 2004 que cette déformation « est, sans doute, un défaut caché volontairement » et qu'il est « inimaginable que le promoteur, le propriétaire et les entreprises concernées n'aient pas pu constater ces différences ». Ils invoquent également le témoignage du menuisier F._, qui a déclaré « que le vendeur (aurait) pu remarquer l'inclinaison de la dalle à la différence de l'acquéreur » et que « si le constructeur est le vendeur du chalet, il n'a pas pu ignorer ce défaut qui ne pouvait intervenir par la suite ».
Il résulte cependant des dépositions concordantes de deux témoins entendus pendant l'instruction (i.e. D._ et E._), dont il n'est pas soutenu qu'elles ont été résumées arbitrairement dans le jugement attaqué, que ces derniers se sont rendus à de nombreuses reprises dans le chalet avant qu'il ne soit vendu, qu'ils n'ont pas remarqué l'inclinaison des sols et que l'intimé n'a jamais fait état devant eux d'une malfaçon des planchers. A cela s'ajoute que les experts judiciaires n'ont pas déterminé la raison pour laquelle la chape du chalet est inclinée, se limitant à émettre l'hypothèse que ce phénomène pouvait résulter d'un tassement survenu pendant les travaux d'agrandissement du bâtiment.
On voit donc que les experts judiciaires n'ont nullement affirmé que le vendeur devait connaître le défaut de planéité des sols, défaut que deux témoins n'ont du reste pas détecté en dépit de leurs nombreux passages dans le chalet. Dès l'instant où l'expert privé, mandaté par un des recourants, n'a émis que des supputations et que le témoin F._ est contredit par les témoins D._ et E._, il n'y avait nul arbitraire à retenir que l'intimé ignorait la légère déclivité des sols (estimée par les experts judiciaires à 1,5 %) lorsqu'il a vendu son chalet aux recourants.
Partant, comme l'intimé n'était pas du tout conscient du problème de planéité en question au moment de la conclusion de la vente immobilière, les conditions d'une dissimulation frauduleuse d'un défaut, telle qu'elle est envisagée dans la clause d'exclusion, ne sont pas remplies.
4.2.1.2 Le défaut d'horizontalité n'ayant rien à voir avec la notion de qualité promise envisagée par la clause exclusive, il reste encore à examiner si ledit défaut, par sa gravite, était en dehors de ce qui pouvait être raisonnablement attendu par les acheteurs, ainsi que le soutiennent les recourants.
Il faut liminairement se pencher sur le but économique du contrat. C'est le lieu de relever que les recourants ont acheté le chalet dans l'intention d'y habiter, peu importe que ce soit à demeure ou seulement une partie de l'année. Or les experts judiciaires ont déclaré que le défaut de planéité ne présentait aucun danger pour la stabilité générale du chalet. Cette défectuosité, apparue apparemment en 1977 lorsque le chalet a été agrandi, n'a pas empêché l'intimé d'y vivre pendant plus de 25 ans et d'y recevoir de nombreux hôtes, qui n'ont pas remarqué de problème particulier au niveau des sols. Partant, le défaut en cause ne saurait compromettre sensiblement le but du contrat au point de vue financier.
Si l'on considère maintenant l'importance économique du défaut en lui-même comme l'exige la jurisprudence, les experts judiciaires ont estimé que la remise en état des planchers et plafonds entraînerait une dépense de 16'200 fr., ce qui ne représente qu'un peu plus de 5% du prix de vente. Ce montant entre dans le pourcentage de dépenses par rapport au prix d'achat auquel doit s'attendre l'acheteur d'un bâtiment ancien (<ref-ruling> consid. 4.3.1 p. 689 ss).
Il a de plus été constaté qu'une banque a estimé, un mois avant la vente, la valeur du chalet, du terrain et des accessoires à la somme de 367'200 fr. Le prix de vente ayant été fixé à 315'000 fr., il appert ainsi que l'intimé a demandé un prix relativement bas pour son chalet, construit en 1972, pour contrebalancer la clause d'exclusion de garantie insérée dans le contrat.
Dans de telles circonstances, il n'est pas possible d'admettre que le défaut d'horizontalité était tout à fait en dehors de ce à quoi les parties pouvaient raisonnablement s'attendre.
En d'autres termes, l'invocation du défaut précité tombe sous le coup de la clause exclusive de garantie. Le raisonnement des magistrats valaisans est sur ce point conforme au droit fédéral.
4.2.2 D'après l'art. 197 al. 1 in initio CO, le vendeur est tenu de garantir l'acheteur en raison des qualités promises.
Il a été retenu que la clause d'exclusion de garantie, interprétée d'après la volonté réelle et commune des parties, ne concernait pas les qualités qui auraient été promises dans l'acte de vente.
Le contrat du 14 mai 2004 stipulait, au chiffre 7 des conditions de vente, que l'immeuble se situait dans une zone à bâtir. Il faut voir dans cette clause, qui indique que l'objet vendu a une propriété précise, à savoir d'être sis en zone constructible, l'assurance d'une qualité donnée par le vendeur (cf. sur cette notion: <ref-ruling> consid. 4 p. 25).
En réalité, le terrain est en zone agricole, de sorte qu'il ne présente pas la qualité contractuellement promise. Cela ne signifie pourtant pas encore qu'il existe une moins-value.
Comme on l'a vu ci-dessus, les recourants ont choisi d'introduire une action en diminution du prix de la chose vendue (<ref-law>).
Or la doctrine exclut l'action en réduction du prix lorsque le défaut n'entraîne aucune moins-value (TERCIER/FAVRE, op. cit., ch. 869 p. 128). L'acheteur ne peut donc réduire le prix qu'en cas de moins-value, soit de différence entre la valeur objective de la chose supposée sans défauts et la valeur objective de la chose défectueuse (SILVIO VENTURI, Code des obligations I, Commentaire romand, n° 16 ad <ref-law>).
La cour cantonale a constaté qu'après le deuxième échange d'écritures, les demandeurs n'avaient pas allégué une moins-value pour l'absence de la qualité promise en question. Elle a relevé également que ces derniers n'avaient pas demandé une expertise sur ce point. Les recourants n'ont pas taxé ces constatations d'arbitraire.
Savoir si l'absence d'une qualité promise génère ou non une moins-value est une question de fait.
Les recourants, qui n'ont invoqué ni violation de leur droit d'être entendus, ni arbitraire dans l'établissement des faits ou l'application du droit cantonal de procédure (<ref-law>), ne contestent pas le raisonnement de l'autorité cantonale, selon lequel ils n'ont pas allégué en temps utile, selon les réquisits de la procédure cantonale, que l'absence de qualité promise aurait entraîné une moins-value. Ils ne prétendent pas non plus avoir requis, dans les délais prescrits, une expertise à ce propos. Et il a été constaté qu'un témoin a affirmé que c'était un avantage, pour le propriétaire d'un chalet déjà construit, que le bien-fonds se situât en zone agricole, car l'intéressé ne court pas le risque qu'une construction dérangeante soit érigée aux alentours.
Les demandeurs se bornent à soutenir qu'il serait possible de déduire une moins-value d'une pièce produite et de l'expertise effectuée par l'ingénieur G._ et l'architecte H._. Mais ces deux documents montrent tout au plus que les acheteurs ont acquis le terrain pour un prix élevé, mais pas que le prix payé correspond au coût d'un terrain en zone à bâtir. La garantie des défauts ne protège pas l'acheteur contre le risque de faire une mauvaise affaire.
Partant, il appert que c'est sans arbitraire que la cour cantonale a admis que n'a pas été apportée la preuve d'une moins-value provoquée par l'absence de la qualité promise en cause.
5. En définitive, le recours doit être rejeté en tant qu'il est recevable. Les frais judiciaires et les dépens sont mis solidairement à la charge des recourants, qui succombent (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'500 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimé une indemnité de 4'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et au Tribunal cantonal du canton du Valais, Cour civile II.
Lausanne, le 4 janvier 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Ramelet