Sachverhalt: A. C._ (Verkäuferin, Beklagte und Beschwerdegegnerin) verkaufte A.A._ und B.A._ (Käufer, Kläger und Beschwerdeführer) mit öffentlich beurkundetem Kaufvertrag vom 21. Juni 2012 die Stockwerkeigentums-Grundstücke Nrn. ttt, uuu und vvv sowie das Grundstück Nr. www, alle GB X._, zu je hälftigem Miteigentum. Als Kaufpreis wurden Fr. 1'350'000.-- vereinbart, wobei Fr. 100'000.-- durch die Käufer als Anzahlung zu leisten waren. Für diese Anzahlung gewährte die Verkäuferin den Käufern mit Vertrag vom 21. Juni 2012 ein Darlehen über Fr. 100'000.--, das durch einen Registerschuldbrief in gleicher Höhe abgesichert wurde. Ebenfalls am 21. Juni 2012 unterzeichneten die Parteien eine "Zusatzvereinbarung zum Kaufvertrag vom 21.6.2012 betreffend Grundstücke ttt, uuu, vvv und www GB X._ " mit folgendem Inhalt: "Die Parteien A.A._ u. B.A._ (Käufer) und C._ (Verkäuferin) der vorstehend genannten Grundstücke halten folgendes fest: a) Grundstück www GB X._ (Einfamilienhaus) Der Wintergarten ist so abzudichten, dass kein Wasser/Regenwasser eintritt. Termin: 3. September 2012. Die Kosten für die Reinigung des Einfamilienhauses werden von der Käuferschaft übernommen. b) Grundstück ttt GB X._ (4 1/2-Zimmer Maisonette-Wohnung). Die Verkäuferin haftet für einen allfälligen Mietzinsausfall inklusive Nebenkosten der Mieter D._ und E._ bis zur Wohnungsübergabe bzw. bis zum Auszug der Mieter. Die Wohnung ist in einwandfreiem Zustand zu übergeben. c) (...) d) Grundstück vvv GB X._ (3 1/2-Zimmer Etagenwohnung) Die Wohnung ist in gutem Zustand. Bei Regen tritt im Bereich der Eingangstüre Wasser ein. Dieser Schaden ist innert Monatsfrist, d.h. bis zum 21. Juni 2012 zu beheben. e) Sollten vorstehend beschriebene Mängel nicht fristgerecht oder nicht zur vollständigen Zufriedenheit der Käuferschaft behoben werden, so ist die Käuferschaft berechtigt einen ausgewiesenen Fachmann mit der Instandstellung der Arbeiten zu beauftragen. Die Kosten gehen vollumfänglich zu Lasten der Verkäuferin." Mit Schreiben vom 26. Dezember 2012 teilten die Käufer der Verkäuferin mit, die in der Zusatzvereinbarung vom 21. Juni 2012 aufgeführten Arbeiten seien ihrer Ansicht nach nicht vorgenommen worden. Sie sähen sich bei weiterer Unterlassung gezwungen, einen Fachmann mit den Arbeiten zu betrauen und die entstehenden Kosten mit der Darlehensforderung von Fr. 100'000.-- zu verrechnen. Ausserdem könne aufgrund der Mängel die Rückzahlung des Darlehens nicht wie vereinbart erfolgen. Mit Schreiben vom 9. Juli 2013 kündigte die Verkäuferin das Darlehen über Fr. 100'000.-- auf Ende Oktober 2013. Mit Schreiben vom 25. Oktober 2013 führte der Anwalt der Käufer gegenüber der Verkäuferin aus, am 23. Juli 2013 sei ein gemeinsamer Augenschein mit dem Ziel einer gütlichen Einigung vereinbart worden. Nachdem die Verkäuferin aber einseitig die Verhandlungen abgebrochen habe, sei er nun beauftragt, den seinen Klienten erwachsenen Schaden durchzusetzen und den Rücktritt vom Vertrag zu prüfen. Die Käufer hätten die Liegenschaft im Frühsommer 2012 besichtigt, wobei die Kellermauern trocken und die Kellerwände neu weiss gestrichen gewesen seien. Bereits im Herbst 2012 seien die Kellerräumlichkeiten feucht und nicht mehr benutzbar gewesen. Eine Kostenschätzung vom 12. April 2013 ergebe für die Sanierung der Unterkellerung Kosten von ca. Fr. 125'000.--. Seine Klientschaft habe bemerkt, dass keine Drainage um die Liegenschaft gezogen worden sei, was einen verdeckten Mangel darstelle. Zum Bau der Wintergartenverglasung seien offenbar Fensterglaselemente anstelle von Wintergartenglaselementen verbaut worden. Eine Abdichtung sei daher nicht möglich und es sei ein Neubau nötig. Die entsprechenden Kosten würden sich gemäss der Offerte vom 5. Februar 2013 auf Fr. 114'750.-- belaufen. Der Mangel am Eingangsbereich sei zwischenzeitlich durch die Käufer direkt behoben worden. Die Kosten würden Fr. 4'800.-- betragen. Damit belaufe sich der Schaden auf insgesamt Fr. 244'550.--. Dieser Betrag werde mit dem Darlehen von Fr. 100'000.-- verrechnet. Darüber hinaus würden von der Beklagten Fr. 100'000.-- gefordert. B. B.a. Mit Entscheiden vom 13. November 2014 erteilte der Einzelrichter des Bezirksgerichts Willisau, Abteilung 1, in den Betreibungen Nrn. yyy und zzz X._ von C._ (Beklagte und Beschwerdegegnerin) gegen A.A._ und B.A._ (Kläger und Beschwerdeführer) für Fr. 100'000.-- nebst 5% Zins seit 1. November 2013 sowie für den Registerschuldbrief vom 21. Juni 2012 im 3. Rang über Fr. 100'000.--, lastend auf Grundstück Nr. www, GB X._, die provisorische Rechtsöffnung. Mit Aberkennungsklage vom 3. Dezember 2014 beantragten die Kläger dem Bezirksgericht Willisau, es sei festzustellen, dass die gegen sie in Betreibung gesetzte Forderung in Höhe von Fr. 100'000.-- zuzüglich Verzugszins zu 5% seit 1. November 2013 infolge Verrechnung nicht mehr bestehe. Zur Begründung führten die Kläger aus, dass die Darlehensforderung mit Gegenforderungen über Fr. 125'000.--, Fr. 114'750.-- und Fr. 4'800.-- verrechnet worden sei. Zudem stehe ihnen eine weitere Schadenersatzforderung im Zusammenhang mit nicht erfüllten feuerpolizeilichen Auflagen zu, welche sie ebenfalls zur Verrechnung stellen würden. Diese Forderung bezifferten die Kläger in der Replik gestützt auf eine Schätzung von Architekt F._ auf Fr. 70'000.--. Mit Klageantwort vom 6. Februar 2015 beantragte die Beklagte die Abweisung der Aberkennungsklage und verlangte ihrerseits, die Kläger seien zur sofortigen Zahlung von Fr. 100'000.-- nebst 5 % Zins seit dem 1. November 2013 sowie der vorgeschossenen Gerichtskosten und Parteientschädigungen zu verurteilen gemäss der provisorisch erteilten Rechtsöffnung in den Entscheiden des Bezirksgerichts Willisau vom 13. November 2014. Mit Urteil vom 13. Oktober 2015 wies das Bezirksgericht Willisau die Aberkennungsklage ab, trat auf die weiteren Begehren der Beklagten nicht ein und auferlegte den Klägern die Prozesskosten. B.b. Dagegen erhoben die Kläger am 11. November 2015 Berufung beim Kantonsgericht Luzern, mit der sie die Aufhebung des bezirksgerichtlichen Urteils und die Gutheissung der Aberkennungsklage verlangten. Mit Urteil vom 15. März 2016 wies das Kantonsgericht die Berufung ab und bestätigte das erstinstanzliche Urteil. C. Mit Beschwerde in Zivilsachen stellen die Kläger dem Bundesgericht folgende Rechtsbegehren: "1. Das Urteil des Kantonsgericht des Kantons Luzern vom 15. März 2016 sei aufzuheben und zur Neubeurteilung über die Aberkennungsklage vom 3. Dezember 2014 an das Kantonsgericht des Kantons Luzern, eventuell an das Bezirksgericht Willisau zurückzuweisen. 2. Eventualiter: Das Urteil des Kantonsgerichts des Kantons Luzern vom 15. März 2016 sei aufzuheben und es sei festzustellen, dass die gegen die Beschwerdeführer in Betreibung gesetzte Forderung in der Höhe von Fr. 100'000.-- zzgl. Verzugszins zu 5 % seit 1. November 2013, Betreibungen Nr. yyy und zzz (Zahlungsbefehle vom 13.09. bzw. 17.09.2014 des Betreibungsamts X._), infolge Verrechnung nicht mehr besteht." Die Beklagte beantragt in ihrer Beschwerdeantwort die Abweisung der Beschwerde; die Vorinstanz beantragt in ihrer Vernehmlassung Abweisung, soweit Eintreten.