Sachverhalt:
A.
A.A._ (Beklagter 1, Beschwerdeführer 1), Ehegatte von B.A._ (Beklagte 2, Beschwerdeführerin 2), war Gesellschafter und Geschäftsführer der D._ GmbH. C._ (Kläger, Beschwerdegegner) war ein langjähriger Geschäftspartner des Beklagten 1. Im Jahre 2006 kämpfte der Beklagte 1 mit finanziellen Problemen, weshalb das der Beklagten 2 gehörende Einfamilienhaus zwangsversteigert werden sollte. Um die Zwangsversteigerung abzuwenden, kaufte der Kläger das Wohnhaus und die Beklagten mieteten die verkaufte Liegenschaft vom Kläger zurück.
Nachdem es zu Zahlungsrückständen bei den Mietzinsen kam, kündigte der Kläger am 31. Mai 2010 den Mietvertrag und verlangte die Ausweisung der Beklagten. Im Rahmen des Ausweisungsverfahrens schlossen die Parteien am 5. August 2010 vor dem Bezirksgericht Visp einen Vergleich. Darin vereinbarten sie unter anderem, dass die Beklagten die Liegenschaft bis zum 31. August 2010 zu verlassen haben, dass sie dem Kläger Fr. 36'300.-- schulden und dass sie das Recht haben, bis zum 31. August 2010 einen Rückkaufvertrag für das Einfamilienhaus zu einem Kaufpreis von Fr. 720'000.-- abzuschliessen. Die Beklagten kauften das Haus innert vereinbarten Frist nicht zurück und blieben darin wohnen.
Am 27. August 2010 wurde über die D._ GmbH der Konkurs ausgesprochen. In der Folge bezahlte der Beklagte 2 am 6. September 2010 von seinem Privatkonto insgesamt Fr. 82'950.-- an den Kläger, unter anderem die Beträge von Fr. 23'000.-- und Fr. 22'000.--. Am 18. April 2012 wurde das von den Beklagten gemietete Wohnhaus zwangsgeräumt.
B.
Der Kläger reichte am 26. Februar 2013 beim Bezirksgericht Visp gegen die Beklagten eine Forderungsklage ein, wobei er ausstehende Mietzinsen und Räumungskosten geltend machte. Er beantragte mit dem nach dem Beweisverfahren angepassten Begehren, die Beklagten seien unter solidarischer Haftbarkeit zu verpflichten, ihm den Betrag von Fr. 51'002.90 nebst Zins zu 5 % seit dem 19. April 2012 zu bezahlen. Die Beklagten erhoben dagegen Widerklage für während der Räumung entstandene Schäden an ihrem Inventar. Sie beantragten mit dem in der Instruktionsverhandlung angepassten Begehren, der Kläger sei zu verpflichten, ihnen einen Betrag von Fr. 62'150.-- zu bezahlen.
Mit Urteil vom 9. Juni 2015 erkannte das Bezirksgericht, dass die Beklagten dem Kläger solidarisch Fr. 33'000.-- zuzüglich 5 % Verzugszins seit dem 1. Juli 2011 und Fr. 10'509.70 zuzüglich 5 % Verzugszins seit dem 29. Januar 2013 schulden. Demgegenüber schulde der Kläger den Beklagten Fr. 7'000.-- zuzüglich 5 % Verzugszins ab dem 6. September 2009 und Fr. 5'000.-- zuzüglich 5 % Verzugszins ab dem 18. April 2013. Sämtliche weiteren Anträge wurden abgewiesen, soweit überhaupt darauf einzutreten war.
Dagegen erhoben die Beklagten Berufung an das Kantonsgericht Wallis und beantragten, das Urteil des Bezirksgerichts sei aufzuheben und der Kläger sei zu verpflichten, ihnen Fr. 27'900.90 nebst Verzugszins seit Fälligkeit zu bezahlen. Das Kantonsgericht hiess mit Urteil vom 10. Mai 2017 die Berufung teilweise gut und erkannte, dass die Beklagten dem Kläger solidarisch Fr. 11'000.-- zuzüglich 5 % Verzugszins ab dem 1. Januar 2012 und Fr. 10'509.70 zuzüglich 5 % Verzugszins ab dem 29. Januar 2013 zu bezahlen haben. Der Kläger schulde den Beklagten Fr. 5'000.-- zuzüglich 5 % Verzugszins ab dem 18. April 2013.
C.
Dagegen erheben die Beschwerdeführer Beschwerde in Zivilsachen und beantragen, das Urteil des Kantonsgerichts sei aufzuheben und der Beschwerdegegner sei zu verpflichten, ihnen Fr. 12'000.-- nebst 5 % Zins seit dem 3. September 2010 und Fr. 5'000.-- nebst 5 % Zins seit dem 18. April 2013 zu bezahlen. Eventualiter sei das Urteil aufzuheben und zur Neubeurteilung der Sache an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt die Abweisung der Beschwerde. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1.
1.1. In mietrechtlichen Angelegenheiten ist die Beschwerde in Zivilsachen grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 15'000.-- beträgt (<ref-law>). Der Streitwert bemisst sich bei einem Endentscheid nach den Begehren, die vor der Vorinstanz streitig geblieben waren (<ref-law>), wobei nach <ref-law> der Betrag einer Widerklage nicht mit demjenigen der Hauptklage zusammengerechnet wird.
Die Erstinstanz verpflichtete die Beschwerdeführer, dem Beschwerdegegner einen Betrag von insgesamt Fr. 43'509.70 und den Beschwerdegegner den Beschwerdeführern insgesamt einen Betrag von Fr. 12'000.-- zu bezahlen. Dagegen erhoben die Beschwerdeführer Berufung an die Vorinstanz und beantragten, das erstinstanzliche Urteil sei aufzuheben und der Beschwerdegegner sei zu verpflichten, den Beschwerdeführern einen Betrag von Fr. 27'900.90 zu bezahlen. Strittig waren damit vor der Vorinstanz die Hauptklage des Beschwerdegegners über Fr. 43'509.70 und die Widerklage der Beschwerdeführer über Fr. 27'900.90, womit beide die Streitwertgrenze von Fr. 15'000.-- nach <ref-law> erfüllen.
1.2. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) auf die Beschwerde einzutreten.
2.
Die Beschwerdeführer machen in der Widerklage Schäden an ihrem Inventar geltend, die während der Räumung des Mietobjekts entstanden seien. Die Vorinstanz erwog diesbezüglich zusammenfassend, dass die Beschwerdeführer ihrer Behauptungs- und Substanzierungspflicht nicht rechtzeitig nachgekommen seien. Es bleibe daher beim erstinstanzlichen Urteil und der Zusprechung von Fr. 5'000.-- als Schadenersatz, da der Beschwerdegegner dies nicht angefochten habe. Mit diesen Erwägungen setzen sich die Beschwerdeführer vor Bundesgericht nicht auseinander, sodass insoweit auf die Beschwerde von vornherein nicht einzutreten ist.
3.
Der Beschwerdegegner machte in der Hauptklage ausstehende Mietzinsen und Räumungskosten geltend. Bezüglich letzter erwog die Vorinstanz, dass die Beschwerdeführer zwar das gesamte Urteil der Erstinstanz angefochten haben. Sie begründeten aber "mit keinem Wort" die Anfechtung der Räumungskosten von insgesamt Fr. 10'509.70, die der Bezirksrichter festgelegt habe. Es bleibe daher beim erstinstanzlichen Urteil.
Die Vorinstanz erwog hinsichtlich der vom Beschwerdegegner geltend gemachten Mietzinsen, dass insgesamt Fr. 33'000.-- Mietzinsen ausstehend seien. Die Beschwerdeführer beriefen sich darauf, dass der Beschwerdeführer 1 am 6. September 2010 mit Valuta 3. September 2010 von seinem Privatkonto unter anderem eine Zahlung über Fr. 22'000.-- und Fr. 23'000.-- an den Beschwerdegegner geleistet habe. Umstritten sei, so die Vorinstanz, wofür die Beträge von Fr. 22'000.-- und Fr. 23'000.-- bezahlt worden seien.
Die Vorinstanz kam bezüglich dem Betrag von Fr. 23'000.-- zusammenfassend zum Schluss, dass dieser Betrag nicht an die ausstehenden Mietzinsen anrechnet werden könne. Demgegenüber sei der Betrag von Fr. 22'000.--, wie vom Schuldner erklärt, an die Mieten anzurechnen. Mithin würden die Beschwerdeführer dem Beschwerdegegner Fr. 11'000.-- für ausstehende Mieten schulden (Fr. 33'000.-- minus Fr. 22'000.--).
4.
4.1. Vor Bundesgericht beharren die Beschwerdeführer einzig auf ihrer Auffassung, dass auch die Zahlung über Fr. 23'000.-- vom Konto des Beschwerdeführers 1 an den Beschwerdegegner an die ausstehenden Mietzinsschulden der Beschwerdeführer anzurechnen sei. Sie argumentierten, der Beschwerdeführer 1 habe am 25. März 2011 erklärt, dass die Zahlungen von Fr. 22'000 und Fr. 23'000.-- an den Kaufpreis des Einfamilienhauses von Fr. 675'000.-- [sic] anzurechnen seien bzw. als Vorauszahlung von Miete betrachtet werden könnten. Die Vorinstanz habe die Zahlung über Fr. 22'000 zu Recht als Vorauszahlung für die Miete für das Einfamilienhaus akzeptiert, wie dies der Beschwerdeführer 1 erklärt habe. Den Betrag von Fr. 23'000.-- beurteile die Vorinstanz "überraschenderweise völlig anders" als den Betrag von Fr. 22'000.--. Die Vorinstanz hätte den Betrag von Fr. 23'000.-- genau gleich wie den Betrag von Fr. 22'000.-- behandeln müssen. Der Schluss der Vorinstanz, dass es sich beim Betrag von Fr. 23'000.-- um eine "persönliche Schuld" gehandelt habe, sei nicht einsichtig und wenig überzeugend. Auch Mietausstände seien persönliche Schulden. Die Vorinstanz verletze damit Art. 86 und <ref-law> sowie das Willkürverbot.
4.2. Die Vorinstanz erwog, dass bei der Überweisung der Beträge vom Schuldner keinen Angaben gemacht worden seien, wofür diese Beträge zu verwenden seien. Im Laufe des Verfahrens habe der Beschwerdeführer 1 die beiden überwiesenen Beträge als "vorgeschossene Mietzinsen" für das gemietete Haus bezeichnet. Zudem habe er ausgeführt, er habe mit Ausnahme der geschuldeten Mieten keine Schulden gegenüber dem Beschwerdegegner. Dem widerspreche er in seinem Schreiben vom 25. März 2011 an den Rechtsvertreter des Beschwerdegegners. Dort führe er aus:
"Am 3. September 2010 hat [der Beschwerdegegner] von mir folgende Zahlungen erhalten:
CHF 19'800.-- geschuldete Mieten bis August 2010
CHF 22'000.-- geforderter Betrag zum vereinbarten Kaufpreis von Fr. 675'000.--
CHF 23'000.-- geschuldeter Betrag zum vereinbarten Kaufpreis von CHF 675'000.--. (...)
Mit der Zahlung von CHF 23'000.-- habe ich persönliche Schulden vorgängig bezahlt, welche anschliessend mit dem Kaufpreis verrechnet werden müssen aber zum bezahlten Zeitpunkt als Vorauszahlung von Miete betrachtet werden könnte."
Mithin gebe der Beschwerdeführer 1 im Schreiben vom 25. März 2011 zum einen zu, so die Vorinstanz weiter, dass er neben den ebenfalls am 3. September 2010 bezahlten Mietschulden von Fr. 19'800.-- persönliche Schulden gegenüber dem Beschwerdegegner gehabt habe, die er nun bezahlt habe. Weshalb dieser Betrag später noch mit dem Kaufpreis für das Wohnhaus verrechnet werden sollte, werde nicht präzisiert. Zum anderen spreche der Beschwerdeführer 1 davon, dass diese Zahlung als Vorauszahlung von Miete betrachtet werden "könnte" und halte mithin nicht fest, dass dem so sei. Damit stehe aufgrund der persönlichen Ausführungen des Beschwerdeführers 1 fest, dass er mit der Bezahlung von Fr. 23'000.-- eine persönliche Schuld gegenüber dem Beschwerdegegner bezahlt habe, die bei der Abrechnung beim Rückkauf des Wohnhauses nicht angerechnet werden könne und es sich dabei auch nicht um vorbezahlte Mieten handle. Ob der Beschwerdeführer 1 diese Schuld von der D._ GmbH übernommen habe und die Schuld so zu seiner persönlichen Schuld geworden sei, könne mithin offen bleiben. Tatsache sei nämlich, dass er selbst erklärt habe, dass er mit der Zahlung der Fr. 23'000.-- eine persönliche Schuld beglichen habe. Damit stehe fest, dass dieser Betrag von Fr. 23'000.-- nicht an die ausstehenden Mieten angerechnet werden können und die Berufung diesbezüglich abgewiesen werden müsse.
4.3. Hat der Schuldner mehrere Schulden an denselben Gläubiger zu bezahlen, so ist er nach <ref-law> berechtigt, bei der Zahlung zu erklären, welche Schuld er tilgen will. Mangelt eine solche Erklärung, so wird gemäss <ref-law> die Zahlung auf diejenige Schuld angerechnet, die der Gläubiger in seiner Quittung bezeichnet, vorausgesetzt, dass der Schuldner nicht sofort Widerspruch erhebt. Liegt weder eine gültige Erklärung über die Tilgung noch eine Bezeichnung in der Quittung vor, regelt <ref-law> die Anrechnungsordnung.
Bei der Anrechnungserklärung des Schuldners nach <ref-law> handelt es sich um eine einseitige empfangsbedürftige Willenserklärung (Rolf H. Weber, Berner Kommentar, 2. Aufl. 2005, N. 23 zu <ref-law>; Marius Schraner, Zürcher Kommentar, 3. Aufl. 2000, N. 22 zu <ref-law>; Urs Leu, in: Basler Kommentar, Obligationenrecht, Bd. I, 6. Aufl. 2015, N. 3 zu <ref-law>). Für die Auslegung einseitig empfangsbedürftiger Willenserklärungen ist <ref-law> analog anwendbar (<ref-ruling> E. 2b S. 329; <ref-ruling> E. 3c; Urteile 4A_544/2012 vom 28. Januar 2013 E. 4.2; 4A_627/2012 vom 9. April 2013 E. 8.5). Entsprechend bestimmt sich der Inhalt der Anrechnungserklärung in erster Linie nach dem wirklichen Willen des Erklärenden, wenn ihn der Empfänger tatsächlich erkannt hat (<ref-law>; Urteil 2C_239/2014 vom 9. Februar 2015 E. 3.4; Ernst A. Kramer, Berner Kommentar, 1986, N. 50 zu <ref-law>; Peter Jäggi / Peter Gauch / Stephan Hartmann, Zürcher Kommentar, 4. Aufl. 2014, N. 67 zu <ref-law>). Kann dies nicht festgestellt werden, ist die Erklärung nach dem Vertrauensprinzip so auszulegen, wie sie vom Empfänger nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durfte und musste (dazu: <ref-ruling> E. 3.3 mit Hinweisen).
4.4. Die Beschwerdeführer machen für die vor Bundesgericht umstrittene Anrechnung der Zahlung über Fr. 23'000 einzig sinngemäss geltend, dass sie auch für diese Zahlung mit Schreiben vom 25. März 2011 eine Anrechnungserklärung im Sinne von <ref-law> abgegeben hätten, wonach die Zahlung über Fr. 23'000.-- an ihre ausstehenden Mietschulden anzurechnen sei. Soweit sie sich diesbezüglich auf Aussagen des Beschwerdegegners wie auf den Inhalt von Zahlungsbelegen berufen, weichen sie unzulässigerweise vom vorinstanzlichen Sachverhalt ab, ohne eine rechtsgenügliche Sachverhaltsrüge zu erheben (<ref-law>; <ref-ruling> E. 1.3.1, 264 E. 2.3 S. 266; je mit Hinweisen). Damit sind sie nicht zu hören.
Da ein wirklicher Wille im vorinstanzlichen Sachverhalt nicht feststellt wurde und dies unbeanstandet bleibt, ist zu beurteilen, wie der Beschwerdegegner die Erklärung des Beschwerdeführers 1 unter den gegebenen Umständen in guten Treuen verstehen durfte und musste.
Im Schreiben vom 25. März 2011 führte der Beschwerdeführer 1 einerseits aus, dass die Fr. 23'000.-- ein "geschuldeter Betrag zum vereinbarten Kaufpreis [des Wohnhauses]" sei. Andererseits erklärte er das Folgende: "Mit der Zahlung von CHF 23'000.00 habe ich persönliche Schulden vorgängig bezahlt, welche anschliessend mit dem Kaufpreis verrechnet werden müssen aber zum bezahlten Zeitpunkt als Vorauszahlung von Miete betrachtet werden könnte."
Der Beschwerdeführer 1 bezeichnete damit die Zahlung über Fr. 23'000.-- unspezifisch als Begleichung von "persönlichen Schulden". Sodann bestimmte er im Gegensatz zur Zahlung über Fr. 22'000.-- nicht, dass die Zahlung über Fr. 23'000.-- an die Mietschulden anzurechnen sei. Vielmehr erklärte er einzig im Konjunktiv, also der Möglichkeitsform, dass die Zahlung als Vorauszahlung von Miete "betrachtet werden könnte". Einzig gestützt auf diese Erklärungen des Beschwerdeführers 1 durfte und musste der Beschwerdegegner unter den vorliegenden Umständen nach Treu und Glauben nicht erkennen, dass die Beschwerdeführer mit der Zahlung über Fr. 23'000.-- ihre Mietschulden tilgen wollten. Andere Umstände, gestützt auf die geschlossen werden könnte, dass die Beschwerdeführer diese Zahlung an die Mietschulden anrechnen lassen wollten, werden von den Beschwerdeführern nicht rechtsgenüglich dargetan und sind im vorinstanzlichen Sachverhalt auch nicht ersichtlich. Die Vorinstanz verletzte damit <ref-law> nicht, als sie zum Schluss kam, dass die Zahlung über Fr. 23'000.-- nicht an die ausstehenden Mietschulden der Beschwerdeführer angerechnet werden.
Ob die Beschwerdeführer im vorliegenden Fall überhaupt ein halbes Jahr nach der Zahlung rechtsgültig eine Anrechnungserklärung im Sinne von <ref-law> abgeben konnten, braucht nach dem Gesagten nicht beurteilt zu werden.
Dass die Zahlung von Fr. 23'000.-- nach der gesetzlichen Anrechungsordnung von <ref-law> an die Mietschulden anzurechnen gewesen wäre, machen die Beschwerdeführer vor Bundesgericht nicht hinreichend geltend, zumal eine bundesgerichtliche Beurteilung daran scheitert, dass im vorinstanzlich festgestellten Sachverhalt die nach <ref-law> geforderten Angaben über die verschiedenen Schulden der Beschwerdeführer fehlen. Warum der Entscheid der Vorinstanz schliesslich offensichtlich unrichtig im Sinne von <ref-law> wäre, legen die Beschwerdeführer nicht hinreichend dar und ist auch nicht ersichtlich.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftbarkeit kostenpflichtig- und entschädigungspflichtig (Art. 66 Abs. 1 und 5, Art. 68 Abs. 1 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftbarkeit auferlegt.
3.
Die Beschwerdeführer haben unter solidarischer Haftbarkeit den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Wallis, I. Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 16. Oktober 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger