Sachverhalt: A. Die Y._ AG; Beschwerdegegnerin) nahm im Jahr 2007 an ihrer Liegenschaft Z._strasse in Q._ Sanierungsarbeiten vor. Mit Schreiben vom 18. April 2008 zeigte sie A. und B. X._ (Beschwerdeführer) eine Nettomietzinserhöhung von Fr. 396.-- für die von ihnen in dieser Liegenschaft gemietete 4.5-Zimmerwohnung an, nämlich von bisher netto Fr. 1'367.-- auf neu netto Fr. 1'763.--, gültig ab 1. Oktober 2008. Als Begründung wurden ein Teuerungsausgleich von Fr. 8.20, die allgemeine Kostensteigerung von Fr. 6.25 sowie die umfassende Sanierung gemäss beiliegendem Schreiben von Fr. 382.-- aufgeführt. Darin wurden die Baukosten mit Fr. 553'338.85 beziffert und zu einem Überwälzungssatz von 60 % veranschlagt. Die Beschwerdeführer beanstandeten diese Erhöhung bei der Schlichtungsstelle für Mietangelegenheiten. Es kam zu keiner Einigung. B. Mit Klage vom 18. September 2008 beantragte die Beschwerdegegnerin beim Bezirksgericht Liestal, es sei festzustellen, dass der monatliche Nettomietzins für die von den Beschwerdeführern bei der Beschwerdegegnerin gemietete 4.5-Zimmerwohnung, 1. OG, Liegenschaft Z._strasse, Q._, ab 1. August 2008 neu Fr. 1'763.-- (Kosten-Basis: Hypothekarzinssatz 3.25 %; Landesindex der Konsumentenpreise 114.8 Punkte per 31. März 2008; Allgemeine Kostensteigerung ausgeglichen bis 31. März 2008) beträgt und als Nebenkosten separat vereinbart sind: Heizung/Warmwasser, Radio/ TV, Wasser, Abwasser, Hauswartung, allgemein Strom, Haus- und Gartendienst, Kehricht. Mit Urteil vom 25. August 2009 hiess der Bezirksgerichtspräsident zu Liestal die Klage teilweise gut und stellte fest, dass der monatliche Nettomietzins für die gemietete Wohnung ab 1. Oktober 2008 neu Fr. 1'689.-- (Kosten-Basis: Hypothekarzinssatz 3.25 %; Landesindex der Konsumentenpreise 114.8 Punkte per 31. März 2008; Allgemeine Kostensteigerung ausgeglichen bis 31. März 2008) beträgt und als Nebenkosten separat vereinbart sind: Heizung/Warmwasser, Radio/ TV, Wasser, Abwasser, Hauswartung, allgemein Strom, Haus- und Gartendienst, Kehricht. Der Bezirksgerichtspräsident anerkannte effektive Baukosten von Fr. 534'333.35 und davon einen wertvermehrenden Anteil von 50 %. Gegen dieses Urteil appellierten die Beschwerdeführer an das Kantonsgericht Basel-Landschaft und beantragten, das angefochtene Urteil aufzuheben. Es sei festzustellen, dass die Mietzinserhöhung von Fr. 396.-- pro Monat gemäss der Anzeige vom 18. April 2008 missbräuchlich sei; es sei die Mietzinserhöhung per 1. Oktober 2008 auf maximal Fr. 14.45 pro Monat zu reduzieren, eventualiter auf maximal Fr. 208.70, subeventualiter auf maximal Fr. 242.90. Das Kantonsgericht, Abteilung Zivil- und Strafrecht, hiess die Appellation am 25. Mai 2010 teilweise gut und stellte fest, dass der monatliche Nettomietzins für die gemietete Wohnung ab 1. Oktober 2008 neu Fr. 1'652.45 (Kosten-Basis: Hypothekarzinssatz 3.25 %; Landesindex der Konsumentenpreise 114.8 Punkte per 31. März 2008; Allgemeine Kostensteigerung ausgeglichen bis 31. März 2008) beträgt und als Nebenkosten separat vereinbart sind: Heizung/Warmwasser, Radio/TV, Wasser, Abwasser, Hauswartung, allgemein Strom, Haus- und Gartendienst, Kehricht. Das Kantonsgericht anerkannte effektive Baukosten von Fr. 523'625.50 und davon einen wertvermehrenden Anteil von 45 %. C. Die Beschwerdeführer beantragen dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Kantonsgerichts vom 25. Mai 2010 sei aufzuheben und festzustellen, dass der monatliche Nettomietzins für die gemietete Wohnung ab 1. Oktober 2008 neu Fr. 1'381.45 (Kosten-Basis: Hypothekarzinssatz 3.25 %; Landesindex der Konsumentenpreise 114.8 Punkte per 31. März 2008; Allgemeine Kostensteigerung ausgeglichen bis 31. März 2008) beträgt und als Nebenkosten separat vereinbart sind: Heizung/Warmwasser, Radio/TV, Wasser, Abwasser, Hauswartung, allgemein Strom, Haus- und Gartendienst, Kehricht. Die Beschwerdegegnerin beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz schliesst auf Abweisung der Beschwerde. D. Mit Verfügung vom 11. Oktober 2010 wurde der Beschwerde die aufschiebende Wirkung erteilt.