Sachverhalt: A. A._ (Klägerin, Käuferin) erwarb mit Kaufvertrag vom 13. Dezember 1999 von B._ (Beklagte, Verkäuferin) die Liegenschaft "........" in X._ (Parzelle Nr. 1386, Plan 11 Grundbuch X._), umfassend ein Wohnhaus und 604 m2 Gebäudegrundfläche, Hofraum und Garten. Der Kaufpreis belief sich auf Fr. 450'000.--. Vor dem Verkauf hatte die Verkäuferin diverse Renovationsarbeiten durchführen lassen. In Ziffer 8 des Kaufvertrages wurde die Gewährleistung für körperliche und rechtliche Mängel des Kaufgrundstücks im gesetzlich zulässigen Rahmen ausgeschlossen. Der Besitzesantritt wurde auf den 1. Januar 2000 festgelegt, wobei die Käuferin mit ihrer Familie das Haus bereits kurz vor Weihnachten 1999 bezog und nach den Angaben der Verkäuferin bereits seit Oktober 1999 über das Haus verfügt haben soll. In der Folge traten in der Liegenschaft Mängel in Form von Feuchtigkeitserscheinungen und deren Auswirkungen auf. Im Frühjahr 2001 beauftragte die Käuferin den Architekten L._, die Schäden am Wohnhaus in einem Privatgutachten festzustellen und eine Grobschätzung für die Instandstellung vorzunehmen. Der Gutachter ermittelte in seinem Bericht vom 26. April 2001 einen Aufwand von Fr. 148'400.-- zur Mängelbeseitigung. In einem Nachtrag vom 22. September 2001 stellte er zudem an diversen Stellen im und am Haus Schimmelpilzbildungen und sonstige Feuchtigkeitsspuren fest und legte die Sanierungskosten auf weitere Fr. 37'000.-- fest. B. Die Käuferin belangte die Verkäuferin am 14. November 2001 vor Bezirksgericht Landquart auf Bezahlung von Fr. 149'433.-- bzw. eines Betrages nach richterlichem Ermessen nebst Zins. Auf Gesuch der Klägerin auf Sicherstellung eines gefährdeten Beweises hin behielt sich der Bezirksgerichtspräsident in der Beweisverfügung vom 23./25. Januar 2002 die Anordnung einer Expertise vor. Darauf reichte die Klägerin ein Wiedererwägungsgesuch sowie ein ärztliches Zeugnis ein, nach dem davon auszugehen sei, dass ihr am 12. Oktober 2000 geborenes Kind eine allergische Reaktion auf die im feuchten Wandmilieu des Hauses vorkommenden Schimmelpilze aufweise; da sich die Hals-, Nasen-, Ohren- und Lungensymptomatik trotz gezielter Behandlung nicht besserte, habe der Arzt der Familie dringend geraten, so rasch wie möglich einen Wohnungswechsel zu vollziehen. Mit Verfügung vom 5. März 2002 hiess der Bezirksgerichtspräsident das Gesuch um Sicherstellung des gefährdeten Beweises gut und beauftragte den Experten M._ mit der Beweissicherung. Dieser stellte in allen untersuchten Proben sehr reichlich Kolonien oder Sporen verschiedener Pilze fest, unter anderem auch einer Gattung, die beim Einatmen als Allergene wirke. Mit Urteil vom 20. August 2003 wies das Bezirksgericht die Klage ab. Eine gegen dieses Urteil erhobene kantonalrechtliche Berufung der Klägerin wies das Kantonsgericht von Graubünden am 17. Februar 2004 ab. Es kam zum Ergebnis, der Gewährleistungsausschluss sei wirksam. Die Beklagte habe die Klägerin nicht absichtlich über Mängel getäuscht bzw. solche absichtlich oder grobfahrlässig verschwiegen. Die Ausschlussklausel sei auch nicht unwirksam, weil der Mangel gänzlich ausserhalb dessen liege, womit ein Erwerber vernünftigerweise rechnen müsse. C. Die Klägerin beantragt mit eidgenössischer Berufung, das Urteil des Kantonsgerichts aufzuheben und die Klage gutzuheissen, eventuell die Sache an die Vorinstanz zurückzuweisen. Mit Beschluss vom 19. Juli 2004 wurde der Klägerin für das bundesgerichtliche Verfahren die unentgeltliche Prozessführung bewilligt und ein unentgeltlicher Rechtsbeistand beigegeben. Eine in gleicher Sache erhobene staatsrechtliche Beschwerde hat die Klägerin mit Schreiben vom 17. August 2004 zurückgezogen. Die Beklagte schliesst auf Abweisung der Berufung, soweit darauf einzutreten sei.