Sachverhalt: A. Y._ (Beschwerdegegner) führte ab dem 29. Juli 2002 im Rahmen der Sanierung eines Wasserschadens diverse Abbruch- und Umbauarbeiten in der Liegenschaft von X._ (Beschwerdeführer) durch. Den Auftrag dazu hatte ihm der auf der Baustelle tätige Bauleiter, Architekt Z._, erteilt. Am 20. August 2002 beendete der Beschwerdegegner seine Arbeiten vorzeitig. Für die erbrachten Leistungen stellte er den Beschwerdeführern am 30. August 2002 Fr. 35'542.38 und am 18. September 2002 Fr. 354.25 in Rechnung. Die Beschwerdeführer verweigerten die Bezahlung. B. In der Folge erwirkte der Beschwerdegegner für die Rechnungssumme zuzüglich Zins die superprovisorische Vormerkung eines Bauhandwerkerpfandrechts auf dem im je hälftigen Miteigentum der Beschwerdeführer stehenden Grundstück. Am 6. Januar 2003 ordnete der Bezirksgerichtspräsident Arlesheim die vorläufige Eintragung des Bauhandwerkerpfandrechts an. Zugleich setzte er dem Beschwerdegegner Frist zur Anhebung der Klage auf Definitiverklärung des Bauhandwerkerpfandrechts an. Der zu diesem Zeitpunkt noch nicht anwaltlich vertretene Beschwerdegegner beantragte mit Eingabe vom 10. Januar 2003 sinngemäss die definitive Eintragung des provisorischen Bauhandwerkerpfandrechts, worauf der zuständige Instruktionsrichter mit Verfügung vom 17. Januar 2003 ein schriftliches Verfahren betreffend definitives Pfandrecht und Forderung anordnete. Der Beschwerdegegner stellte dem Bezirksgericht Arlesheim daraufhin mit Klagebegründung vom 11. August 2003 die Anträge, das provisorische Bauhandwerkerpfandrecht definitiv einzutragen und die Beschwerdeführer in solidarischer Haftbarkeit zur Zahlung von Fr. 35'542.40 nebst Zins zu 5 % seit dem 1. Oktober 2002 sowie Fr. 354.25 nebst Zins zu 5 % seit dem 19. Oktober 2002 und jeweils Kosten zu verurteilen. Das Bezirksgericht wies die Klage auf Definitiverklärung des Bauhandwerkerpfandrechts mit Urteil vom 17. Juni 2010 ab und ordnete die Löschung des vorläufig eingetragenen Bauhandwerkerpfandrechts an. Gleichzeitig hiess es die Forderungsklage gut. Eine von den Beschwerdeführern dagegen erhobene Appellation wies das Kantonsgericht Basel-Landschaft mit Urteil vom 5. April 2011 ab. C. Die Beschwerdeführer beantragen mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, es sei das Urteil des Kantonsgerichts aufzuheben und auf die Forderungsklage nicht einzutreten, eventuell sei diese abzuweisen. Subeventualiter sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner und die Vorinstanz schliessen auf Abweisung der Beschwerde. Der Beschwerdegegner stellt überdies den Verfahrensantrag, "die durch die Beschwerdeführer als Beilage 20 eingereichten allgemeinen Versicherungsbedingungen der T._-Versicherung seien als verspätet aus den Akten zu weisen." In der Folge reichten die Beschwerdeführer eine Replik, der Beschwerdegegner eine Duplik ein. Mit Verfügung vom 11. Juli 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.