Faits: A. X._, qui exploite une entreprise d'ébénisterie, d'agencement et de menuiserie, a acquis, en 1994, un chalet, construit à la fin des années 1960, sur la commune de ... (Valais), situé à l'extérieur de la station de .... Désirant vendre son chalet, il a chargé l'agence A._ de trouver un acheteur. Y._, qui exerce la profession d'infirmière, a souhaité acheter un petit chalet en Valais grâce à un héritage de 90'000 fr. qu'elle a reçu à fin 2005; son intention était de s'y installer à sa retraite, mais de le louer dans l'intervalle, afin de financer partiellement cette acquisition. Intéressée au chalet offert à la vente par X._, elle l'a visité à deux reprises, les 3 et 10 décembre 2005. Lors de la première visite, le père de S.B._, la responsable de l'agence immobilière, s'est présenté comme constructeur de chalets et a déclaré à Y._ qu'il s'agissait d'une bonne construction et qu'elle ferait une très bonne affaire. Lors de la seconde visite, X._ a affirmé que le chalet était parfaitement en ordre et en bon état, précisant qu'il s'occupait de son entretien; il a indiqué en outre que le terrain bénéficiait d'une source privée, si bien que l'acheteuse ne manquerait pas d'eau et n'aurait pas besoin de raccorder le chalet au système communal. Le 7 février 2006, X._ a vendu à Y._ la parcelle no ..., folio 25, comprenant, outre le chalet, un garage et une annexe construite sommairement. Le prix de vente a été fixé à 380'000 fr., sur lesquels, en raison de la reprise d'un prêt hypothécaire, l'acheteuse devait verser 210'000 fr. L'acte de vente contenait la disposition suivante : "L'habitation et le garage sont vendus dans leur état actuel. L'acquéreuse déclare les avoir visités et les accepter comme tels, sous réserve du chiffre 5." Sous ch. 5, le vendeur s'était engagé à effectuer à ses frais différents travaux. Au mois de juillet 2006, l'entrepreneur P.B._, chargé de repeindre l'intérieur du garage, n'a pas pu procéder à ce travail en raison d'infiltrations d'eau dans le mur. Un nouveau locataire, C._, est entré dans le chalet le 1er juillet 2006. Peu après son emménagement, des problèmes d'alimentation en eau sont survenus. S.B._ a fait apporter de l'eau, puis changer la pompe. Le problème n'a pas été réglé et le locataire a résilié le bail et rendu les clés le 29 juillet 2006 en déclarant que son congé était uniquement lié au fait qu'il ne pouvait pas disposer d'eau. Y._ lui a restitué le loyer de juillet 2006 et lui a remboursé les frais d'hébergement encourus à l'Hôtel S._. Le 29 juillet 2006, Y._ s'est rendue au chalet et a constaté la présence d'humidité. Elle a immédiatement téléphoné à X._ pour lui en faire part, ainsi que l'aviser du départ du locataire. Elle a confirmé ses réclamations par lettre du 8 août 2006. Par courrier du 26 août 2006, elle a communiqué à X._ et à S.B._ qu'elle n'acceptait pas le chalet et dressé une liste des défauts, mentionnant notamment le manque d'eau potable dû probablement à une insuffisance de la source. A la fin du mois d'août 2006, Y._ a chargé l'architecte D._, de dresser un état du chalet. Celui-ci a estimé la valeur du bien-fonds à quelque 190'000 fr. Selon lui, le chalet, insalubre et privé d'alimentation en eau potable, était inhabitable. Y._ a continué de veiller à l'entretien du chalet, faisant procéder à une vidange en novembre 2006. B. Le 22 janvier 2007, Y._ a cité X._ en conciliation, en indiquant qu'elle invalidait le contrat de vente pour cause de dol et d'erreur essentielle. Le 2 février 2007, elle a ouvert action devant le Juge du district de Monthey contre X._. Elle a conclu en dernier lieu à l'annulation de la vente et à la restitution du prix de vente avec intérêts. Subsidiairement, elle a demandé que le prix de vente soit réduit de 190'000 fr. Par ailleurs, elle a sollicité, avec intérêts, des dommages-intérêts, soit, en capital, 8'129 fr. 65, 1'775 fr., 3'636 fr. 90 et 3'112 fr. 20. Le défendeur s'est opposé à la demande en totalité. Une expertise judiciaire a été confiée à l'architecte E._. Pour la question de l'alimentation en eau, celui-ci s'est adjoint les services d'un spécialiste, F._, du Bureau V._ SA. Ce dernier a conclu que l'eau était potable selon la législation en vigueur, mais qu'elle n'était pas pure du point de vue bactériologique; sur les bases de la déclaration d'un tiers, il a supposé que l'alimentation en eau n'était pas permanente, du moins certaines années. L'expert judiciaire en a déduit que l'alimentation en eau potable était défectueuse et n'était pas garantie. Un assainissement de l'installation, à supposer que la source soit suffisante, coûterait 50'000 fr. et un raccordement au réseau d'eau publique 90'000 fr. L'expert a également fait appel à l'organisation W._, pour étudier d'autres problèmes d'humidité. Il a été conclu que des travaux d'assainissement étaient indispensables pour garantir la pérennité de l'édifice. Pour ces autres défauts, l'expert a estimé que certains ne pouvaient pas être détectés par l'acheteuse, tandis que le vendeur, en raison de sa profession et de sa durée de possession, ne pouvait vraisemblablement pas les ignorer. L'expert a estimé la valeur du bien-fonds à 203'000 fr. Le locataire qui a précédé C._ n'a pas pu être entendu. Cependant, C._ a affirmé qu'il lui avait dit avoir rencontré des problèmes d'alimentation en eau durant l'hiver, ce qu'un autre témoin (G._) a confirmé. Les locataires antérieurs qui ont été entendus ne se sont pas plaints d'une insuffisance de la source ou d'une insalubrité de l'eau. Le prêteur hypothécaire, T._ SA, a réalisé, en juin 2007, une étude visant à déterminer la valeur de marché du chalet litigieux, qui a été estimé à 135'000 fr. Par jugement du 27 août 2010, la Cour civile II du Tribunal cantonal valaisan a invalidé la vente, condamné X._ à restituer à Y._, avec intérêts, le prix qu'elle a payé, soit 210'000 fr., ainsi qu'à la libérer de la dette hypothécaire qu'elle a reprise, soit 170'000 fr.; moyennant quoi, il a été ordonné au registre foncier d'inscrire X._ comme propriétaire du bien-fonds. Par ailleurs, X._ a été condamné à verser à Y._, avec intérêts, différentes sommes, soit 5'740 fr., 2'070 fr. 10, 319 fr. 55 et 375 fr.; de son côté, cette dernière a été condamnée à verser à X._ 4'200 fr. avec intérêts. Le Tribunal cantonal a également statué sur les frais et dépens. C. X._ exerce un recours en matière civile auprès du Tribunal fédéral contre le jugement cantonal du 27 août 2010. Invoquant l'interdiction de l'arbitraire et la violation de nombreuses dispositions de droit fédéral, le recourant a conclu à l'annulation de la décision attaquée et au rejet des conclusions de sa partie adverse, sous suite de frais et dépens; subsidiairement, il a demandé le renvoi de la cause à l'autorité cantonale. Il a sollicité par ailleurs l'effet suspensif, qui lui a été accordé par ordonnance présidentielle du 26 octobre 2010. L'intimée a conclu au rejet du recours avec suite de frais et dépens, et à l'octroi de l'assistance judiciaire.