Sachverhalt: A. Im Jahr 2009 mieteten A._ und B._ (Beschwerdeführer) von C._ (Beschwerdegegner, Gesuchsteller) und dessen Ehefrau auf dessen landwirtschaftlicher Liegenschaft eine Wohnung sowie einen Pferdestall mit entsprechenden Anlagen. Den Mietern wurde per 31. August 2012 gekündigt. In der Folge einigten sich die Parteien im Rahmen eines Gerichtsverfahrens am 5. Dezember 2012 auf eine einmalige Erstreckung des Mietverhältnisses bis 15. September 2013. B. Mit Eingabe vom 29. April 2013 gelangte der Gesuchsteller an das Bezirksgericht Willisau. Er stellte ein Gesuch um Erlass superprovisorischer Massnahmen nach Art. 265 ZPO und beantragte im Wesentlichen, die Mieter unter Androhung von Strafe, einer Ordnungsbusse und der Ersatzvornahme im Unterlassungsfalle zu verpflichten, ihm jederzeit freien Zugang zur Weide über den Viehtrieb zu gewähren. Diesem Gesuch wurde am 30. April 2013 superprovisorisch entsprochen. Nach Anhörung der Gegenpartei wurde es indessen am 5. Juli 2013 abgewiesen und die Kosten dem Gesuchsteller auferlegt, der den Mietern eine Parteientschädigung zu leisten hatte. Er führte Berufung beim Kantonsgericht Luzern, das seinem Antrag, die vom Bezirksgericht superprovisorisch angeordneten Massnahmen für die Dauer des Berufungsverfahrens aufrechtzuerhalten, am 14. August 2013 entsprach. Auf gerichtliche Anfrage vom 19. September 2013 erklärte der Gesuchsteller, das Verfahren sei gegenstandslos geworden, da die Mieter das Mietobjekt am 16. September 2013 verlassen hätten. Er beantragte die Verfahrenskosten den Mietern aufzuerlegen, während diese verlangten, die Kosten seien dem Gesuchsteller zu überbinden. Am 19. November 2013 entschied das Kantonsgericht, das Berufungsverfahren sei zufolge Gegenstandslosigkeit beendet. Der Gesuchsteller trage die Kosten des Berufungsverfahrens und die Mieter diejenigen des erstinstanzlichen Verfahrens. Der Gesuchsteller habe die Mieter für das Berufungsverfahren, diese den Gesuchsteller für das erstinstanzliche Verfahren zu entschädigen. Die Rechtsmittelbelehrung verweist auf die Beschwerde in Zivilsachen. C. Mit Beschwerde in Zivilsachen beantragen die Mieter dem Bundesgericht im Wesentlichen, die Kosten- und Entschädigungsregelung des angefochtenen Entscheides aufzuheben und bezüglich des erstinstanzlichen Verfahrens den Kostenentscheid des Bezirksgerichts Willisau zu bestätigen. Der Beschwerdegegner beantragt unter Kostenfolge auf die Beschwerde nicht einzutreten und diese eventuell abzuweisen. Die Parteien haben unaufgefordert eine Replik und eine Duplik eingereicht, während sich das Kantonsgericht nicht hat vernehmen lassen.