Sachverhalt: A. A._ (Kläger, Beschwerdeführer) und die B._ AG (Beklagte, Beschwerdegegnerin) schlossen am 4. Oktober 2003 einen Werkvertrag für den Bau "einer schlüsselfertigen Wurzelraumkläranlage (B._-System) " in U._ mit einer Ausbaugrösse von 40 m2 Sohlenfläche. Der Werklohn belief sich gemäss dem Vertrag insgesamt auf Fr. 33'969.30. In der Folge erstellte die Beklagte die Wurzelraumkläranlage auf dem Grund und Boden des Klägers. Am 23. Oktober 2003 erfolgte die Inbetriebnahme. Die C._ AG als Gemeindekontrollorgan führte am 4. Dezember 2004 eine Abnahme durch. Das Werk wurde zudem vom Amt für Abfall, Wasser, Energie und Luft des Kantons Zürich (nachfolgend: AWEL) am 3. September 2004 ebenfalls abgenommen. Letzteres Amt hielt fest, es lägen keine Mängel vor. Anlässlich der Abnahme war aber keine Wasserprobe entnommen worden. In den Folgejahren wurden vom AWEL diverse Wasserproben vorgenommen. Diese ergaben, dass die Abflusswerte die geforderten Einleitungsbedingungen nicht erfüllten. Gestützt auf die ersten Berichte des AWEL erhob der Kläger am 23. September 2006 schriftlich Mängelrüge, weil die Wasserqualität der Anlage die geforderten Werte bei Weitem nicht erreiche. Er forderte einerseits einen konkreten Sanierungsvorschlag und andererseits eine schriftliche Garantieverlängerung, bis mindestens zwei Proben gut oder sehr gut ausfallen würden. Die Beklagte verlängerte am 25. September 2006 die Garantiefrist von drei Jahren um weitere zwei Jahre und hielt fünf Massnahmen fest, mittels derer die Anlage "in Ordnung" gebracht würde. Indessen nahm die Beklagte trotzdem keine Nachbesserung vor. Der Kläger teilte ihr daher am 21. Oktober 2007 mit, dass die Kläranlage noch immer nicht richtig funktioniere. Die Sanierung der Anlage sei im Frühjahr 2007 nicht vorgenommen worden. Werde die Anlage bis Ende Mai 2008 von der Beklagten nicht ordnungsgemäss saniert und ihre Funktionsfähigkeit durch ausreichende Wasserproben bewiesen, werde er sich auf die Garantieverlängerung "beziehen". Er werde sich ab Oktober 2008 mit dem AWEL in Verbindung setzen und ein Baugesuch für eine andere Kläranlage einreichen. Am 19. August 2008 teilte er der Beklagten mit, auch den diesjährigen Prüfungsberichten sei zu entnehmen, dass die Wasserproben völlig ungenügend seien. Die vorgeschlagenen Sanierungsarbeiten seien nie durchgeführt worden. Somit werde er die Kläranlage entfernen lassen und durch ein anderes Produkt ersetzen. Zudem machte er die Kosten für den Bau der Kläranlage und weitere Kosten in der Höhe von insgesamt Fr. 46'942.55 geltend. Die Beklagte reagierte nicht. B. Am 6. April 2009 begehrte der Kläger vor dem Bezirksgericht in Leuk, die Beklagte sei zur Zahlung von Fr. 46'942.55 nebst Zins zu verurteilen. Am 29. Februar 2012 beauftragte das Gericht Dr. D._ und Prof. E._ mit der Durchführung einer Expertise. Das Gutachten vom 29. Juni 2012 wurde dem Bezirksgericht am 9. Juli 2012 erstattet (nachfolgend: Gerichtsgutachten D._/E._). Der Kläger verlangte einen Ergänzungsbericht, der am 23. Oktober 2012 erstellt wurde. Daraufhin beantragte der Kläger am 19. Oktober 2012 eine Oberexpertise. Die Bezirksrichterin wies diesen Antrag am 22. November 2012 ab. Der Schlussantrag des Klägers lautete auf Bezahlung von Fr. 42'942.55 nebst Zins seit dem 20. Oktober 2004. Damit forderte er Rückerstattung des bezahlten Werklohnes von Fr. 33'969.30 sowie den Ersatz weiteren Aufwandes im Umfang von Fr. 8'973.25. Die Beklagte verlangte die Abweisung der Klage. Mit Urteil vom 3. April 2013 wies das Bezirksgericht die Klage ab. Dieses Urteil focht der Kläger mit Berufung beim Kantonsgericht Wallis an, wobei er in der Sache den gleichbleibenden Antrag stellte. Das Kantonsgericht wies die Berufung mit Urteil vom 19. Dezember 2013 ab. In der Begründung hielt es zunächst fest, dass die Mängelrüge innerhalb der gewährten Garantiefrist erfolgt und auch die Nachbesserung respektive Sanierung der Anlage rechtzeitig verlangt worden sei. Da die Beklagte innert der angesetzten Frist keine Nachbesserung vorgenommen habe, obwohl sie versprochen habe, die Anlage (zusammen mit dem Kläger) in Ordnung zu bringen, sei das Wahlrecht wieder aufgelebt. Der Kläger habe davon Gebrauch gemacht und die Wandelung verlangt. Das Kantonsgericht prüfte daher die Voraussetzungen für die Wandelung. Gestützt auf das Gerichtsgutachten D._/E._ erachtete es das Kantonsgericht für erwiesen, dass die Kläranlage wohl Mängel aufweise, jedoch nicht unbrauchbar sei, insbesondere nicht definitiv. Vielmehr könnten sich die Mängel mit einem geschätzten Aufwand von Fr. 13'000.-- beheben lassen. Demnach - so der Schluss des Kantonsgerichts - könne der Kläger nicht die (einzig geltend gemachte) Wandelung verlangen, und das Bezirksgericht habe die Klage zu Recht abgewiesen. Den neben dem Werklohn geltend gemachten Ersatz des weiteren Aufwandes im Umfang von Fr. 8'973.25 lehnte die Vorinstanz mangels hinlänglicher Substanziierung ab. C. Der Kläger beantragt mit Beschwerde in Zivilsachen, die Beklagte sei zu verurteilen, ihm den Werklohn von Fr. 33'969.30 nebst Zins zurückzubezahlen. Eventualiter sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen. Die Beklagte begehrt, die Beschwerde abzuweisen und das Urteil des Kantonsgerichts zu bestätigen. Die Vorinstanz verwies auf das angefochtene Urteil und einen Zwischenentscheid vom 19. September 2013, ohne einen Antrag zu stellen.