Sachverhalt: A. An einer Pachtsteigerung vom 25. April 2004 bot die Bürgergemeinde X._ (Beschwerdegegnerin) mehrere landwirtschaftliche Grundstücke zur Pacht an. Die Nutzung eines Loses erfolgte gemäss den Bestimmungen des Burgerreglements, auf welches in den Steigerungsbedingungen verwiesen wurde, jeweils auf den 15. Oktober. A._ (Beschwerdeführer 1), B._ (Beschwerdeführer 2), C._ (Beschwerdeführer 3), D._ (Beschwerdeführer 4) und E._ (Beschwerdeführer 5) ersteigerten sich je die Pacht an mehreren Grundstücken. Da an der Versteigerung die Maximalpachtzinse überboten worden waren, wurde anlässlich eines Burgerhocks vom 14. Oktober 2004, wenn auch unverbindlich, das weitere Vorgehen aufgezeigt. Gestützt darauf beschloss der Burgerrat am 26. Oktober 2004, dass die Versteigerung annulliert und für die betroffenen Parzellen übergangsweise ein zweijähriger Pachtvertrag vereinbart werden sollte. Mit Schreiben vom 11. Februar 2005 wurden die Pächter hierüber orientiert. Am 17. März 2005 reichte die Beschwerdegegnerin bei der zuständigen Stelle ein Gesuch um Genehmigung einer verkürzten Pachtdauer ein, welchem stattgegeben wurde. Streitig ist, ob und wenn ja für welche der Grundstücke die Pachtdauer gültig auf zwei Jahre herabgesetzt wurde. B. Die Beschwerdeführer 1 und 2 beanspruchen überdies die Pacht an nicht von der Versteigerung vom 25. April 2004 betroffenen Grundstücken, welche die Beschwerdegegnerin mit Vertrag vom 28. Oktober 2004 ab dem 16. Oktober 2004 an die Y._ AG verpachtet hat. Gemäss diesem Vertrag sollte sich die Verpächterin um die Suche eines Pächters für die ausserhalb der Monte Juli und August weiterhin mögliche landwirtschaftliche Nutzung als Wiese (nicht als Ackerland) kümmern. Die Beschwerdeführer 1 und 2 behaupten, diese Parzellen (oder zumindest gewisse dieser Parzellen) von der Beschwerdegegnerin gepachtet zu haben, wobei der Pachtvertrag nach Ablauf der ursprünglichen Pachtdauer stillschweigend weitergeführt worden sei. Dadurch habe sich die Pachtdauer um weitere sechs Jahre verlängert. C. Am 27. September 2007 reichte die Beschwerdegegnerin gegen die Beschwerdeführer und F._ Klage ein, mit welcher sie feststellen lassen wollte, dass an den einzeln aufgeführten Parzellen kein ihr Eigentum beschränkendes Recht der Beklagten bestehe. Ferner seien die Beklagten anzuweisen, jegliche ungerechtfertigte Störung und Einwirkung auf die genannten Grundstücke zu unterlassen und die bestehenden Störungen zu beseitigen. Subsidiär verlangte die Beschwerdegegnerin die Übertragung des unmittelbaren Besitzes an den Grundstücken. Am 7. Januar 2008 anerkannte F._ die Klage, worauf mit Bezug auf ihn ein Abschreibungsentscheid erging. D. Mit Urteil vom 1. Oktober 2009 erkannte das Kantonsgericht des Kantons Wallis, Voraussetzung für eine Bewilligung der Verkürzung der Pachtdauer sei, dass die Parteien tatsächlich eine kürzere Pachtdauer als sechs Jahre vereinbart hätten. Soweit dies nicht der Fall war, wies es die Klage ab, d.h. mit Bezug auf sämtliche vom Beschwerdeführer 4 gepachteten Parzellen und einen Teil der den Beschwerdeführern 1 und 2 zugefallenen Lose. Hinsichtlich drei weiterer Parzellen wies das Kantonsgericht die Klage ab, da die entsprechenden Grundstücke entgegen den Behauptungen der Beschwerdegegnerin nicht Gegenstand der Versteigerung vom 25. April 2004 gewesen seien. Soweit bereits bei der Ersteigerung eine verkürzte Pachtdauer vorgesehen war, erachtete das Kantonsgericht die Vereinbarung als gültig, da für die Berechnung der Frist für das spätestens drei Monate nach dem Antritt der Pacht einzureichende Gesuch um behördliche Bewilligung der Pachtverkürzung der tatsächliche Pachtantritt massgebend sei. So verhielt es sich mit Bezug auf die übrigen an der Versteigerung den Beschwerdeführern 1 und 2 und auf sämtliche dem Beschwerdeführer 5 zugefallenen Parzellen. Mit dem Beschwerdeführer 3 war dagegen die verkürzte Pachtdauer erst nach Vorliegen der Bewilligung vereinbart worden, was das Kantonsgericht ebenfalls als zulässig ansah. Bezüglich der an die Y._ AG verpachteten Parzellen erachtete es die behauptete Fortsetzung der Pacht nicht als erwiesen. Bezüglich einer der Parzellen sei zudem überhaupt keine Fortsetzung des bestehenden Pachtverhältnisses, bezüglich zwei anderer keine frühere Berechtigung des Beschwerdeführers 1 behauptet worden. Soweit keine gültigen Pachtverträge (mehr) bestanden, hiess das Kantonsgericht die Eigentumsfreiheitsklage gut und wies die Beschwerdeführer 1, 2, 3 und 5 an, betreffend diese Grundstücke jegliche ungerechtfertigte Einwirkung und Störung zu unterlassen und die bestehende Störung zu beseitigen. Mangels Rechtsschutzinteresses trat es auf das Feststellungsbegehren nicht ein, da diesem keine eingenständige Bedeutung zukomme. E. Mit Beschwerde in Zivilsachen beantragen die Beschwerdeführer dem Bundesgericht im Wesentlichen, die Eigentumsfreiheitsklage abzuweisen und sämtliche Kosten der Beschwerdegegnerin aufzuerlegen. Ihrem Gesuch um Gewährung der aufschiebenden Wirkung gab das Bundesgericht am 17. Dezember 2009 statt. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei, während das Kantonsgericht unter Hinweis auf den angefochtenen Entscheid auf Gegenbemerkungen verzichtet.