Sachverhalt:
A. B._ (Beschwerdegegner) wirft A._ (Beschwerdeführer) vor, das Pferd C._, das im hälftigen Miteigentum der Parteien gestanden habe, im November 2001 ohne seine Zustimmung verkauft resp. eingetauscht und ihn nicht entschädigt zu haben.
B. Am 16. Februar 2007 reichte der Beschwerdegegner beim Amtsgericht Hochdorf Klage ein mit dem Antrag, der Beschwerdeführer habe ihm über den Verbleib, insbesondere über die Konditionen eines allfälligen Verkaufs/Tausches, des ihm anvertrauten Pferdes C._ Rechenschaft abzulegen. Zudem habe er ihm Fr. 200'000.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen. In der Replik reduzierte er seine Forderung auf Fr. 180'000.--. Der Beschwerdeführer beantragte die vollumfängliche Abweisung der Klage. Mit Urteil vom 29. Januar 2010 verpflichtete das Amtsgericht Hochdorf, II. Abteilung, den Beschwerdeführer, dem Beschwerdegegner Fr. 177'500.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen. Es erachtete eine Verrechnungsforderung des Beschwerdeführers in der Höhe von Fr. 2'500.-- als ausgewiesen.
Dagegen appellierte der Beschwerdeführer an das Obergericht des Kantons Luzern und beantragte die Abweisung der Klage. Der Beschwerdegegner erhob Anschlussappellation und verlangte in der Hauptsache die Zusprechung von Fr. 180'000.-- nebst Zins zu 5 % seit 16. Dezember 2001. Das Obergericht gelangte im Urteil vom 29. Dezember 2010 zur Abweisung der Appellation des Beschwerdeführers, soweit es darauf eintrat, und zur Gutheissung der Anschlussappellation des Beschwerdegegners, nachdem diesem der Nachweis gelungen war, dass er dem Beschwerdeführer die geschuldeten Fr. 2'500.-- bereits bezahlt hatte. Dementsprechend verpflichtete das Obergericht den Beschwerdeführer, dem Beschwerdegegner Fr. 180'000.-- nebst Zins zu 5 % seit 16. Dezember 2001 zu bezahlen.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 29. Dezember 2010 aufzuheben und die Klage vollumfänglich abzuweisen. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt, die Beschwerde abzuweisen. Die Vorinstanz schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
D. Mit Präsidialverfügung vom 22. März 2011 wurde das Gesuch um aufschiebende Wirkung der Beschwerde abgewiesen.

Erwägungen:
1. Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz (<ref-law>). Sodann übersteigt der Streitwert von Fr. 180'000.-- die Grenze nach <ref-law>. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>) ist auf die Beschwerde einzutreten.
2. 2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2). Macht der Beschwerdeführer eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Er hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (<ref-ruling> E. 4.3 S. 522; <ref-ruling> E. 3 S. 352). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 2.1; <ref-ruling> E. 3.1. S. 399).
2.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5).
Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substanziiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (<ref-ruling> E. 1.4.3 S. 254 f.).
Zu beachten ist, dass dem Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zusteht (<ref-ruling> E. 4b). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b, je mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen im dargelegten Sinn missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2; <ref-ruling> E. 1.3). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem die freie Prüfung aller Tat- und Rechtsfragen zukäme (vgl. <ref-ruling> E. 2b).
3. Die Vorinstanz trat mangels rechtsgenüglicher Auseinandersetzung mit dem angefochtenen Urteil des Amtsgerichts auf die Appellationsbegründung weder in ihrer rein tatsächlichen Darlegung noch in ihrer allgemeinen Ausführung zur unterlassenen Beweisführungs- und Substanziierungspflicht des Beschwerdegegners ein. Als ungenügend erachtete sie auch den pauschalen Verweis auf die vorinstanzlichen Rechtsschriften und die damit eingereichten Beweismittel.
Der Beschwerdeführer rügt eine formelle Rechtsverweigerung und eine Verletzung des Anspruchs auf rechtliches Gehör, weil sich die Vorinstanz mit den Erörterungen in der Appellationsbegründung nicht oder nur rudimentär auseinandergesetzt habe, obwohl es ihr schon aufgrund des Inhaltsverzeichnisses zur Appellationsbegründung möglich gewesen wäre, die einzelnen gerügten Punkte zu beurteilen.
Die Rüge ist unbegründet. Die Vorinstanz ist nicht auf sämtliche Erörterungen in der Appellationsbegründung nicht eingetreten, sondern hat die Ausführungen genau bezeichnet (Appellationsbegründung S. 6-18 Ziff. 5-26), die sie als den Begründungsanforderungen nicht genügend beurteilte und auf die sie deshalb nicht eintrat. Der Beschwerdeführer vermag nicht aufzuzeigen, dass die betroffenen Ausführungen entgegen der Beurteilung der Vorinstanz die Anforderungen an eine korrekte Appellationsbegründung erfüllten. Auch macht er nicht geltend, dass die Vorinstanz ihrer Beurteilung unzulässig hohe Begründungsanforderungen zugrunde gelegt hätte. Eine Verletzung des Gehörsanspruchs oder eine formelle Rechtsverweigerung ist daher nicht ersichtlich.
4. Die Vorinstanz erachtete es mit dem Amtsgericht für erwiesen, dass der Beschwerdeführer das Pferd C._ verkauft resp. eingetauscht hat. Der Beschwerdeführer rügt Willkür in der Beweiswürdigung. Seine diesbezüglichen Ausführungen sind indessen nicht leicht verständlich und verfehlen die Begründungsanforderungen an eine Willkürrüge (vgl. Erwägung 2), zeigt er doch nicht im Einzelnen auf, inwiefern die gerügte Beweiswürdigung offensichtlich unhaltbar sein soll. Er moniert lediglich, im Zusammenhang mit der Aussage von D._ sei unberücksichtigt geblieben, dass D._ ein eigenes Interesse daran gehabt habe auszusagen, er sei im Zeitpunkt des Verkaufs nicht Besitzer gewesen und er sei nicht als Verkäufer aufgetreten, obwohl E._ gerade erklärt habe, er habe das Pferd von diesem erworben. Der Beschwerdeführer legt indessen nicht dar, diese von ihm behauptete Interessenlage des Zeugen D._ vor der Vorinstanz geltend gemacht zu haben. Der Vorwurf, diese Interessenlage sei unberücksichtigt geblieben, geht daher ins Leere. Der Umstand, dass die Zeugen D._ und E._ einander widersprechende Aussagen machten, wurde von der Vorinstanz beachtet und eingehend abgewogen. Inwiefern dabei das Willkürverbot verletzt worden sein soll, zeigt der Beschwerdeführer nicht auf.
Schliesslich erhebt er den Vorwurf, die Zeugen E._, F._ und D._ seien mit dem Vertreter des Beschwerdegegners in Kontakt gestanden. E._ und F._ hätten sogar schriftliche Erklärungen abgegeben, welche vom Rechtsanwalt des Beschwerdegegners verfasst worden seien. E._ habe mit ihm sogar mehrfach telefoniert und über den Fall gesprochen. Dies sei nicht berücksichtigt worden. Derartige zu Prozesszwecken fabrizierte Schriftstücke von Personen, denen eigentlich Zeugenqualität zukommen würde, seien unzulässig und dürften nicht einmal als Urkunden berücksichtigt werden. Indem im angefochtenen Urteil die Angaben von F._ und D._, sowie diejenigen von E._ teilweise, als erwiesen angenommen worden seien, werde das Willkürverbot verletzt.
Im angefochtenen Urteil finden sich keine Ausführungen zu den schriftlichen Erklärungen von E._ und F._, ebenso wenig zum erhobenen Vorwurf einer Beeinflussung der genannten Zeugen durch den Rechtsanwalt des Beschwerdegegners. Der Beschwerdeführer legt nicht mit Aktenhinweisen dar, dass er die entsprechenden Vorwürfe der Vorinstanz unterbreitet hätte. Es ist daher davon auszugehen, dass er dies nicht tat. Die Vorinstanz konnte und musste sich aber nicht mit Einwänden befassen, die ihr gar nicht vorgetragen wurden. Willkür liegt auch in diesem Zusammenhang nicht vor.
5. Der Beschwerdeführer macht sodann im Zusammenhang mit den Zeugenaussagen auch eine Verletzung von <ref-law> geltend. Was er unter diesem Titel vorträgt, erschöpft sich jedoch in blosser Kritik an der Beweiswürdigung und begründet keine Verletzung von <ref-law>. Mangels sachdienlicher Begründung kann auf diese Rüge nicht eingetreten werden.
6. Unter der Überschrift "der angebliche Schaden" moniert der Beschwerdeführer, dass die Vorinstanz die Angaben von G._, der einen Preis von Euro 240'000.-- genannt hatte, der Schadensberechnung zugrunde gelegt habe. Nach Meinung des Beschwerdeführers ist keineswegs mit Sicherheit erstellt, dass das Pferd C._ an G._ verkauft worden sei. Auch sei fraglich, ob der angebliche Verkaufspreis in Höhe von Euro 240'000.-- bzw. Fr. 360'000.-- bezahlt worden sei. Mit diesen Umständen setze sich die Vorinstanz nicht auseinander. Vielmehr nehme sie die E-Mail von G._ vom 31. Januar 2008 und die Aussagen des Zeugen H._ für bare Münze. Dadurch würden erneut Beweisregeln, d. h. <ref-law>, und die Grundsätze über die Schadensbemessung, d.h. <ref-law>, verletzt. Bekanntlich hätten Springpferde keinen Markt- oder Börsenpreis. Tatsächlich habe C._ bloss einen Affektionswert gehabt. Der Beschwerdegegner habe den Verkaufspreis nicht nachgewiesen, weswegen <ref-law>, insbesondere Art. 42 und 44 OR, verletzt worden seien.
Diese pauschalen Rügen gehen ins Leere. Die Vorinstanz hat hinsichtlich des Schadensbeweises auf die einlässliche Beweiswürdigung des Amtsgerichts abgestellt, nachdem sich der Beschwerdeführer in appellando damit nicht hinlänglich auseinandergesetzt, sondern lediglich seine eigene Meinung kundgetan hatte. Das Amtsgericht zog nicht einen Markt- oder Börsenpreis heran. Vielmehr hielt es für nachgewiesen, dass der Wert des Pferdes C._ im massgeblichen Zeitpunkt Euro 240'000.-- betrug. Dies aufgrund der Angabe von G._, er habe das Pferd für Euro 240'000.-- gekauft, und der Aussage des sachverständigen Zeugen H._, der einen Kaufpreis von Euro 240'000.-- für das Pferd C._ als angemessen beurteilte unter der Voraussetzung seines tadellosen Gesundheitszustandes bzw. tadelloser medizinischer Atteste. Dabei nahm es die genannten Angaben von G._ und H._ nicht einfach "für bare Münze", sondern gelangte zum genannten Beweisergebnis nach einlässlicher Würdigung der Beweise und in Auseinandersetzung mit den Einwänden des Beschwerdeführers. Da der Beschwerdeführer die Beweiswürdigung des Amtsgerichts vor Obergericht nicht rechtsgenüglich anfocht, hat er es seiner eigenen Prozessführung zuzuschreiben, dass die Vorinstanz darauf abstellte. Eine Verletzung von <ref-law> oder der Regeln über die Schadensberechnung ist weder dargetan noch ersichtlich.
7. Die Beschwerde erweist sich als unbegründet, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, I. Kammer als Appellationsinstanz, schriftlich mitgeteilt.
Lausanne, 19. April 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Die Gerichtsschreiberin:
Klett Hotz