Sachverhalt: A. B._ (Beschwerdegegner) wirft A._ (Beschwerdeführer) vor, das Pferd C._, das im hälftigen Miteigentum der Parteien gestanden habe, im November 2001 ohne seine Zustimmung verkauft resp. eingetauscht und ihn nicht entschädigt zu haben. B. Am 16. Februar 2007 reichte der Beschwerdegegner beim Amtsgericht Hochdorf Klage ein mit dem Antrag, der Beschwerdeführer habe ihm über den Verbleib, insbesondere über die Konditionen eines allfälligen Verkaufs/Tausches, des ihm anvertrauten Pferdes C._ Rechenschaft abzulegen. Zudem habe er ihm Fr. 200'000.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen. In der Replik reduzierte er seine Forderung auf Fr. 180'000.--. Der Beschwerdeführer beantragte die vollumfängliche Abweisung der Klage. Mit Urteil vom 29. Januar 2010 verpflichtete das Amtsgericht Hochdorf, II. Abteilung, den Beschwerdeführer, dem Beschwerdegegner Fr. 177'500.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen. Es erachtete eine Verrechnungsforderung des Beschwerdeführers in der Höhe von Fr. 2'500.-- als ausgewiesen. Dagegen appellierte der Beschwerdeführer an das Obergericht des Kantons Luzern und beantragte die Abweisung der Klage. Der Beschwerdegegner erhob Anschlussappellation und verlangte in der Hauptsache die Zusprechung von Fr. 180'000.-- nebst Zins zu 5 % seit 16. Dezember 2001. Das Obergericht gelangte im Urteil vom 29. Dezember 2010 zur Abweisung der Appellation des Beschwerdeführers, soweit es darauf eintrat, und zur Gutheissung der Anschlussappellation des Beschwerdegegners, nachdem diesem der Nachweis gelungen war, dass er dem Beschwerdeführer die geschuldeten Fr. 2'500.-- bereits bezahlt hatte. Dementsprechend verpflichtete das Obergericht den Beschwerdeführer, dem Beschwerdegegner Fr. 180'000.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 29. Dezember 2010 aufzuheben und die Klage vollumfänglich abzuweisen. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt, die Beschwerde abzuweisen. Die Vorinstanz schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. D. Mit Präsidialverfügung vom 22. März 2011 wurde das Gesuch um aufschiebende Wirkung der Beschwerde abgewiesen.