Sachverhalt:
A. A.a C.X._ (Beschwerdeführer) und D.X._ (Beschwerdegegner) sind Brüder. Ihr Grossvater, A._, war der Gründer der Firma A._ AG. Nach einem Übernahmeversuch durch ein anderes Unternehmen, das 36 % der Aktien der Firma A._ AG erworben hatte, brachten die Familienaktionäre 1984 als Abwehrmassnahme die restlichen Aktien, ausmachend 64 %, in die A._ Holding AG ein. Ab dem Jahr 2000 standen sich die Familienaktionäre in zwei Pools gegenüber. Die Familienaktionäre des so genannten Pool 2000 bildeten die Mehrheit. Der zweite Pool wurde Verkäuferpool genannt, da dessen Mitglieder den Verkauf aller ihrer Titel (Namen- und Inhaberaktien sowie Partizipationsscheine) anstrebten. Zu diesem Verkäuferpool gehörten auch die Parteien des vorliegenden Verfahrens.
A.b Die Mitglieder des Verkäuferpools legten in der Folge alle ihre Titel in ein gemeinsames Depot bei der Bank Y._. In einem am 10. September 2000 unterzeichneten entsprechenden Hinterlegungsvertrag beauftragte der Beschwerdegegner B.E._, seine Titel unwiderruflich für die Dauer von zwei Jahren zu verwalten. Anfang Mai 2002 befanden sich im Bankdepot 1'833 Namenaktien, 40 Inhaberaktien und 1'075 Partizipationsscheine des Beschwerdegegners.
A.c Im Mai 2002 unterbreitete der Pool 2000 dem Verkäuferpool zwei Entflechtungsofferten. Der Pool 2000 bot entweder den Kauf aller von den Mitgliedern des Verkäuferpools gehaltenen Titeln aller Kategorien (Namenaktien, Inhaberaktien und Partizipationsscheine) zum fünffachen Nennwert an oder den Kauf von mindestens 3'000 und höchstens 5'000 Namenaktien zum zehnfachen Nennwert. Innerhalb des Verkäuferpools wurde in der Folge eine Mischvariante diskutiert, wonach der Beschwerdegegner alle seine Titel zum fünffachen Nennwert und die restlichen Mitglieder einen Teil ihrer Namenaktien zum zehnfachen Nennwert verkaufen würden.
A.d Mit Kaufvertrag vom 11./12. Juli 2002 verkauften 12 Mitglieder des Verkäuferpools, vertreten durch den Beschwerdeführer, insgesamt 5'000 Namenaktien, darunter auch die 1'833 vom Beschwerdegegner gehaltenen Namenaktien. Am 22. August 2002 stellte der Beschwerdeführer dem Beschwerdegegner die Verkaufsabrechnung zu, wonach 1'833 Namenaktien, 40 Inhaberaktien und 1'075 Partizipationsscheine zum fünffachen Nennwert, ausmachend netto Fr. 1'252'560.--, verkauft worden seien.
A.e Mit Schreiben vom 30. Oktober 2002 verlangte der Beschwerdegegner von B.E._ die Herausgabe seiner hinterlegten Inhaberaktien und Partizipationsscheine. Der Beschwerdegegner stützte sich auf den Kaufvertrag, wonach nur seine Namenaktien verkauft worden seien. Mit Schreiben vom 7. Juni 2003 teilte B.E._ dem Beschwerdegegner mit, dieser habe im Sommer 2002 all seine Titel verkauft, worauf die erwähnten Titel auf Anweisung des Beschwerdeführers diesem ausgehändigt worden seien.
B. B.a Mit Klage vom 17. November 2003 beantragte der Beschwerdegegner dem Bezirksgericht Rheinfelden im Wesentlichen, es sei der Beschwerdeführer zur Zahlung von Fr. 562'072.50 und zur Herausgabe von 40 Inhaberaktien und 1'075 Partizipationsscheinen zu verurteilen. Zur Begründung führte er aus, mit Kaufvertrag vom 11./12. Juli 2002 seien nur seine Namenaktien verkauft worden. Die Verkaufsabrechnung des Beschwerdeführers sei insofern nicht korrekt. Die eingeklagte Forderung von Fr. 562'072.50 bestehe in der Differenz zwischen der erfolgten Auszahlung und dem Betrag, welcher ihm bei korrekter Abrechnung zum zehnfachen Nennwert zustehen würde.
Mit Urteil vom 26. November 2008 wies das Bezirksgericht Rheinfelden die Klage ab.
B.b Gegen dieses Urteil erhob der Beschwerdegegner am 21. September 2009 beim Obergericht des Kantons Aargau Appellation und wiederholte im Wesentlichen die mit seiner Klage gestellten Begehren.
Mit Urteil vom 23. Dezember 2010 hob das Obergericht des Kantons Aargau das Urteil des Bezirksgerichts Rheinfelden auf und verurteilte den Beschwerdeführer zur Zahlung von Fr. 562'072.50 und zur Herausgabe von 40 Inhaberaktien und 1'075 Partizipationsscheinen an den Beschwerdegegner. Im Übrigen wies es die Appellation ab.
C. Mit Beschwerde in Zivilsachen vom 2. März 2011 beantragt der Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Aargau aufzuheben, soweit er zur Zahlung von Fr. 562'072.50 und zur Herausgabe der 40 Inhaberaktien und 1'075 Partizipationsscheine an den Beschwerdegegner sowie zur Zahlung von Verfahrens- und Parteikosten verurteilt worden sei. Im Übrigen sei das vorinstanzliche Urteil zu bestätigen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner beantragt sinngemäss, es sei auf die Beschwerde nicht einzutreten, eventualiter sei sie abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1 S. 103, 470 E. 1 S. 472; <ref-ruling> E. 1).
1.1 Die Beschwerde richtet sich gegen einen verfahrensabschliessenden Entscheid (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>), die Rechtsbegehren des Beschwerdeführers sind im kantonalen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>). Auf die Beschwerde ist somit unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 i.V.m. <ref-law>) einzutreten.
1.2 Die Beschwerde hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich der Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Nach der Rechtsprechung des Bundesgerichts genügt es jedoch, wenn aus der Begründung, allenfalls in Verbindung mit dem angefochtenen Entscheid, ersichtlich ist, in welchem Sinn das angefochtene Urteil abgeändert werden soll (<ref-ruling> E. 1b S. 414; Urteil 4A.123/2010 vom 30. April 2010 E. 2; je mit Hinweisen).
Aus der Beschwerde ergibt sich, dass der Beschwerdeführer die Aufhebung und Korrektur des vorinstanzlichen Urteils in den Punkten verlangt, in denen er unterlegen ist. Sinngemäss beantragt er damit, dass die von der Vorinstanz teilweise gutgeheissene Klage des Beschwerdegegners vollumfänglich abzuweisen sei. Dieser Antrag ist zulässig.
1.3 Der Beschwerdeführer reicht mit seiner Beschwerde neue Beweismittel ein. Es handelt sich dabei um zusätzliche Zustimmungserklärungen von Mitgliedern des Verkäuferpools zum Vorschlag des Beschwerdeführers, wie der Aktienkaufvertrag zwischen dem Verkäuferpool und dem Pool 2000 ausgestaltet werden könnte. Der Beschwerdeführer macht geltend, erst das Urteil der Vorinstanz habe Anlass zur Einreichung dieser Erklärungen gegeben. Die Vorinstanz sei im Gegensatz zum erstinstanzlichen Gericht davon ausgegangen, der Beschwerdeführer habe beim Verkauf nicht als Vertreter der einfachen Gesellschaft, bestehend aus den Mitgliedern des Verkäuferpools, in Ausführung eines vorgängigen Gesellschaftsbeschlusses gehandelt. Die neu eingereichten zusätzlichen Zustimmungserklärungen würden belegen, dass sämtliche Aktionäre des Verkäuferpools seinem Gestaltungsvorschlag zugestimmt hätten und er daher durchaus in Ausführung eines Beschlusses der einfachen Gesellschaft gehandelt habe.
1.3.1 Neue Tatsachen und Beweismittel dürfen nach <ref-law> nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3 S. 395 mit Hinweis).
1.3.2 Zwischen den Parteien war schon im erstinstanzlichen Verfahren streitig, ob der Beschwerdeführer gestützt auf einen Auftrag des Beschwerdegegners oder in Vertretung der einfachen Gesellschaft und Ausübung eines Gesellschaftsbeschlusses gehandelt hatte. Während das erstinstanzliche Gericht zum Schluss kam, die Mitglieder des Verkäuferpools hätten ihre Aktien in die einfache Gesellschaft eingebracht und der Beschwerdeführer habe die Aktien kraft einer gesellschaftsrechtlichen Geschäftsführungskompetenz verkauft, folgte die Vorinstanz der Ansicht des Beschwerdegegners, wonach die Titel nicht zu Eigentum in die einfache Gesellschaft eingebracht worden waren und der Beschwerdeführer nicht in Ausführung eines vorgängigen Gesellschaftsbeschlusses gehandelt habe, sondern im Auftrag des Beschwerdegegners. Unter diesen Umständen hatte der Beschwerdeführer bereits im erstinstanzlichen Verfahren, spätestens aber als Reaktion auf die Appellation des Beschwerdegegners Anlass, seinen Standpunkt durch die erst heute nachgereichten Dokumente zu untermauern. Es war damit nicht erst das vorinstanzliche Urteil, welches Anlass zu deren Einreichung gegeben hätte. Die neuen Beweismittel haben im vorliegenden Verfahren folglich unbeachtet zu bleiben.
1.4 Der Beschwerdeführer rügt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt, indem diese seinen Einwand der fehlenden Sachlegitimation in keiner Weise berücksichtigt und in der Urteilsbegründung keine Stellung dazu genommen habe. Er habe im vorinstanzlichen Verfahren geltend gemacht, Streitgegenstand bilde ein Aktienhandel, bei dem einfache Gesellschaften beteiligt gewesen seien, womit sämtliche Gesellschafter in das Verfahren hätten einbezogen werden müssen. An diesem rechtlichen Standpunkt halte er zwar nicht mehr fest. Dennoch liege eine Verletzung seines Anspruchs auf rechtliches Gehör vor.
Im Verfahren vorgebrachte Rügen sind nur zu beurteilen, wenn sie auf einem hinreichenden Rechtsschutzinteresse gründen. Nachdem der Beschwerdeführer an seinem rechtlichen Standpunkt nicht mehr festhält, hat er kein schutzwürdiges Interesse an der Beurteilung seiner Rüge, welche auf Aufhebung des vorinstanzlichen Urteils in diesem Punkt abzielt. Ist eine Partei an einer Abänderung gar nicht interessiert, so ist auf ihr Vorbringen nicht einzutreten, denn zur Beantwortung bloss theoretischer Fragen ist die Beschwerde nicht gegeben (<ref-ruling> E. 7.2 mit Hinweisen; vgl. auch <ref-ruling> E. 2a). Auf diese Rüge ist somit nicht einzutreten.
2. Der Beschwerdeführer rügt, die Vorinstanz habe in mehrfacher Hinsicht den Sachverhalt offensichtlich unrichtig festgestellt, indem sie offenkundige Fakten nicht oder nicht ausreichend berücksichtigt habe und indem sie Fakten unzutreffend gewürdigt habe.
2.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.2.2). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3, 393 E. 7.1, 462 E. 2.4). Soweit die beschwerdeführende Partei den Sachverhalt ergänzen will, hat sie zudem mit Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (Urteile 4A_214/2008 vom 9. Juli 2008 E. 1.2, nicht publ. in: <ref-ruling>; 4A_526/2008 vom 21. Januar 2009 E. 3.2).
Wird Willkür in der Ermittlung des Sachverhalts geltend gemacht, ist zu beachten, dass dem Sachrichter in der Beweiswürdigung ein breiter Ermessensspielraum zusteht; die beschwerdeführende Partei hat daher darzulegen, inwiefern das kantonale Gericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder willkürlich ausser Acht gelassen habe (vgl. <ref-ruling> E. 2.1; <ref-ruling> E. 2.1; <ref-ruling> E. 4b S. 40; <ref-ruling> E. 1b S. 30). Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, namentlich auf bloss appellatorische Vorbringen, ist nicht einzutreten (<ref-ruling> E. 1.4.3, 396 E. 3.1 S. 399).
2.2 Diese Grundsätze verkennt der Beschwerdeführer in mehrerer Hinsicht:
2.2.1 Der Beschwerdeführer stellt seinen Rügen zunächst einen Sachverhalt aus seiner Sicht voran. Soweit dieser von den vorinstanzlichen Feststellungen abweicht, ohne dass diesbezüglich eine rechtsgenügliche Sachverhaltsrüge erhoben wird, ist er damit nicht zu hören.
2.2.2 Der Beschwerdeführer rügt, die Vorinstanz habe die allgemeinen Umstände des im Nachhinein strittigen Aktienhandels verkannt. Es habe sich um ein Geschäft unter Laien gehandelt und vom Beschwerdeführer sei ein pragmatisches Vorgehen gefordert worden. Zudem habe er unter zeitlichem und strategischem Druck gestanden. Die Vorinstanz habe die wirklichen Umstände des Aktienhandels nicht berücksichtigt und den Sachverhalt massiv verkürzt und daher offensichtlich unrichtig festgestellt.
Mit diesen Ausführungen bringt der Beschwerdeführer lediglich eine allgemein gehaltene Kritik vor und versäumt es, klar aufzuzeigen, welche Feststellungen der Vorinstanz willkürlich seien bzw. welche Feststellungen willkürlich unterlassen worden seien. Solch unsubstanziierte Rügen genügen den Begründungsanforderungen nicht.
2.2.3 Der Beschwerdeführer rügt weiter, die Vorinstanz habe die Notwendigkeit der asymmetrischen Gestaltung des Aktienhandels im Innen- und im Aussenverhältnis verkannt. Das Kaufangebot des Pool 2000 habe vorgesehen, dass entweder alle Mitglieder des Verkäuferpools sämtliche Titel zum fünffachen Nennwert verkaufen würden oder aber lediglich zwischen 3'000 und 5'000 Namenaktien zum zehnfachen Nennwert. Eine Mischvariante, wonach der Beschwerdegegner alle seine Titel zum fünffachen Nennwert und die restlichen Mitglieder einen Teil ihrer Namenaktien zum zehnfachen Nennwert verkauft hätten, sei ausgeschlossen gewesen. Obwohl der Beschwerdegegner intern gewünscht habe, alle seine Titel seien zum fünffachen Nennwert zu verkaufen, sei dem Beschwerdeführer damit nichts anderes übrig geblieben, als extern eine beschränkte Anzahl Namenaktien zum zehnfachen Nennwert zu verkaufen und intern sodann für einen Ausgleich zu sorgen. Die dadurch entstandene Asymmetrie habe der Beschwerdegegner zu verantworten und könne dem Beschwerdeführer nicht vorgeworfen werden.
Auch hier unterlässt es der Beschwerdeführer, auf die vorinstanzlichen Ausführungen einzugehen und klar aufzuzeigen, welche Feststellungen willkürlich sein sollen. Ohnehin trifft nicht zu, dass die Vorinstanz dem Beschwerdeführer vorwarf, er habe extern einen anderen Kaufvertrag abgeschlossen, als intern mit dem Beschwerdegegner vorgängig vereinbart worden war. Vielmehr behaftete sie den Beschwerdeführer im Ergebnis lediglich darauf und verurteilte ihn dazu, den Kaufvertrag konsequenterweise auch intern nachzuvollziehen und dem Beschwerdegegner dementsprechend seinen Erlös sowie die nicht verkauften Wertpapiere herauszugeben. Die Rüge erweist sich damit als unbegründet, soweit überhaupt darauf einzutreten ist.
2.2.4 Der Beschwerdeführer rügt, entgegen den vorinstanzlichen Feststellungen hätten sämtliche Mitglieder des Verkäuferpools dem Vorschlag des Beschwerdeführers vom 13. Mai 2002 zur Gestaltung des Aktienkaufvertrags zugestimmt. Die Vorinstanz habe das Schreiben von B.E._ vom 23. Mai 2002 unzutreffend gewürdigt. Dieser hätte zwar geschrieben, die Mitglieder der Familie E._ würden eine Bevorzugung einzelner Mitglieder des Verkäuferpools ablehnen. Danach habe er aber weiter Folgendes geschrieben: "Wenn ihr in der Familie X._ eine andere Lösung treffen wollt, haben wir nichts dagegen. Allfällig dadurch entstehender Mehraufwand sollte, soweit er nicht durch den Pool 2000 übernommen wird, [...] durch die Familie X._ übernommen werden." Darin sei eine Blanko-Zustimmung zu jedwelcher Vorgehensweise zu erblicken.
Die Vorinstanz hat ausgeführt, dass zumindest der Familienstamm E._ gegen den Vorschlag des Beschwerdeführers opponiert habe. Dieser Familienstamm habe für sich beansprucht, am Verkauf der Namenaktien nach Massgabe ihres Anteils an Namenaktien teilzunehmen und nicht nach Massgabe ihres Anteils am Nennkapital, wie dies der Beschwerdeführer vorgeschlagen hatte. Dieser sei der Forderung beim Abschluss des Kaufvertrags nachgekommen.
Mit diesen Ausführungen hat die Vorinstanz die angeführte Passage im Schreiben von B.E._ nicht willkürlich übersehen. Die Hinweise auf eine mögliche abweichende Lösung innerhalb der Familie X._ selbst sind entgegen der Ansicht des Beschwerdeführers nicht zwingend als Blanko-Zustimmung zu werten, zumal die Familie E._ nach den verbindlichen Feststellungen der Vorinstanz auf einem Verkauf nach Massgabe des Anteils am Namenaktienkapital beharrt hat und der Beschwerdeführer dieser Forderung in Abweichung zu seinem Gestaltungsvorschlag auch nachgekommen ist. Dagegen bringt der Beschwerdeführer nichts vor. Die Rüge ist unbegründet. Da damit verbindlich feststeht, dass vor Abschluss des Kaufvertrags kein Gesellschaftsbeschluss im Sinne des Gestaltungsvorschlags des Beschwerdeführers gefällt, geschweige denn der Gesellschaftsvertrag modifiziert worden wäre, erübrigen sich weitere Ausführungen zu den übrigen Rügen des Beschwerdeführers, welche auf der gegenteiligen Behauptung aufbauen.
2.2.5 Der Beschwerdeführer rügt weiter, die Vorinstanz habe sein Verhalten unzutreffend als eigenmächtige Vorteilsverschaffung gewürdigt. Nach dem Aktienverkauf hätten bei der A._ Holding AG zwei Kapitalerhöhungen stattgefunden. Als Folge davon sei der vom Beschwerdeführer aus dem Aktienhandel gelöste Kaufpreis um mehr als 50 % geschrumpft.
Diese Ausführungen gehen an der Sache vorbei und sind nicht geeignet, die Feststellungen der Vorinstanz als willkürlich erscheinen zu lassen. Für die Frage, ob sich der Beschwerdeführer im Zusammenhang mit der Abwicklung des Aktienkaufs einen Vorteil verschafft hat, spielt keine Rolle, ob ein solcher Vorteil später allenfalls durch weitere Vorkommnisse kompensiert wird. Die Rüge ist unbegründet.
2.2.6 Der Beschwerdeführer wirft der Vorinstanz weiter vor, sie sei unzutreffend davon ausgegangen, es sei jedenfalls nicht von vornherein unglaubwürdig, dass der Beschwerdegegner sich bei der Abgabe seiner Zustimmung zum Gestaltungsvorschlag des Beschwerdeführers in einem Irrtum befunden habe. Solches treffe nachweislich nicht zu.
Der Beschwerdeführer übersieht, dass die Vorinstanz lediglich festgehalten hat, die Argumentation des Beschwerdegegners sei nicht von vornherein völlig unglaubwürdig. Eine weitergehende Würdigung hat die Vorinstanz nicht vorgenommen und hat in ihren Erwägungen auch nicht auf diese Ausführungen abgestellt. Die Behebung des angeblichen Mangels wäre damit für den Ausgang des Verfahrens nicht entscheidend. Auf die Rüge ist nicht einzutreten.
2.2.7 Schliesslich wirft der Beschwerdeführer der Vorinstanz eine willkürliche Beweiswürdigung im Zusammenhang mit der Frage vor, ob die Titel in die einfache Gesellschaft eingebracht worden seien.
Die Vorinstanz hat diese Frage verneint. Erstens habe der Zweck der einfachen Gesellschaft ein Einbringen der Titel zu Eigentum nicht erfordert. Zweitens spreche gegen ein Einbringen folgender Passus im Hinterlegungsvertrag mit B.E._: "Falls einer oder mehrere AktionärInnen den Vertrag brechen und ihre Titel verkaufen oder dem Pool 2000 der Mehrheitsaktionäre beitreten (...)". Drittens werde für den Rechtsübergang von Ordrepapieren wie Namenaktien ein Indossament benötigt. Die Namenaktien des Verkäuferpools seien aber nicht indossiert worden und damit im Eigentum der einzelnen Aktionäre verblieben. Wenn die Namenaktien nicht in die einfache Gesellschaft eingebracht worden seien, so gelte dies zumindest vermutungsweise auch für die Inhaberaktien und Partizipationsscheine. Viertens habe die Zeugenbefragung keinen Hinweis darauf ergeben, dass es die Meinung aller bzw. auch nur einzelner Mitglieder des Verkäuferpools gewesen wäre, die Titel der einfachen Gesellschaft zu Eigentum zu übertragen. Eine entsprechende Frage wurde etwa von einem Mitglied der Familie E._ ausdrücklich verneint. Fünftens hätte der Kaufvertrag im Falle einer Einbringung der Titel zu Eigentum durch die einfache Gesellschaft bzw. durch alle ihre Gesellschafter abgeschlossen werden müssen. Im Kaufvertrag seien aber weder die Gesellschaft als solche noch alle ihre Gesellschafter genannt, da vier Mitglieder des Verkäuferpools fehlten (F.X._, G.X._, H.X._ und I.X._).
Der Beschwerdeführer rügt, die Vorinstanz habe verkannt, dass es im vorliegenden Verfahren um Inhaberaktien und Partizipationsscheine gehe und somit gerade nicht um Ordrepapiere, welche nur durch Indossament gültig übertragen werden könnten. Das Argument, wonach die Namenaktien mangels Indossament nicht auf die einfache Gesellschaft übertragen worden seien, womit dies vermutungsweise auch für die Inhaberaktien und Partizipationsscheine gelten müsse, sei in keiner Weise nachvollziehbar. G.X._, I.X._ und H.X._ hätten auch Aktien verkauft, seien aber nicht namentlich aufgetreten, weil ihre wenigen Titel mit denjenigen des Beschwerdeführers bzw. denjenigen von K.X._ konsolidiert betrachtet und behandelt worden seien. Schliesslich sei es inopportun, rückwirkend darauf abzustellen, ob der Gesellschaftszweck ein Einbringen erfordert habe. Der Beschwerdeführer verweist auf einen Abschnitt in seinem Schreiben vom 13. Mai 2002 zur Gestaltung des Kaufvertrags.
Entgegen der Ansicht des Beschwerdeführers sind auch die Namenaktien von Belang, wenn es um die Frage der Einbringung der Titel geht. Mangels Indossament steht fest, dass die Namenaktien im Eigentum der jeweiligen Mitglieder des Verkäuferpools verblieben sind. Es ist keineswegs willkürlich, davon ausgehend darauf zu schliessen, dass auch die Inhaberaktien und Partizipationsscheine im Eigentum der jeweiligen Mitglieder verblieben sind, da kein Grund ersichtlich ist, die Titel unterschiedlich zu behandeln. Was die im Kaufvertrag nicht aufgeführten Mitglieder des Verkäuferpools angeht, so bringt der Beschwerdeführer lediglich bezüglich drei fehlender Mitglieder Erklärungen vor, nicht jedoch bezüglich F.X._. Warum im Kaufvertrag nicht die einfache Gesellschaft als solche aufgeführt wurde, wenn doch neu diese die Eigentümerin der Titel gewesen sein soll, erklärt der Beschwerdeführer nicht. Das Vorbringen des Beschwerdeführers zum Abschnitt in seinem Schreiben vom 13. Mai 2002 findet keine Stütze im vorinstanzlich festgestellten Sachverhalt. Mangels diesbezüglicher Sachverhaltsrüge ist der Beschwerdeführer damit nicht zu hören. Schliesslich bringt der Beschwerdeführer auch nichts vor gegen die Ausführungen der Vorinstanz zum Wortlaut des Hinterlegungsvertrags und zur Würdigung der Zeugenaussagen. Insgesamt ist die Vorinstanz damit nicht in Willkür verfallen, wenn sie zum Schluss kam, die von den Mitgliedern des Verkäuferpools gehaltenen Titel seien nicht in die einfache Gesellschaft eingebracht worden, sondern bis zum Verkauf an den Pool 2000 in deren Eigentum verblieben. Die Rüge ist unbegründet.
3. Der Beschwerdeführer rügt weiter, die Vorinstanz habe Bundesrecht verletzt, indem sie von einem Auftragsverhältnis zwischen den Parteien ausgegangen sei. Die Parteien seien sich nicht in einem bilateralen Vertragsverhältnis gegenüber gestanden, sondern eingebettet in ein multilaterales gesellschaftsrechtliches Verhältnis. Ohne die einfache Gesellschaft wäre es nicht zum Aktienkaufvertrag gekommen. Der Pool 2000 habe seine Offerte an den Verkäuferpool als Kollektiv gerichtet und nicht an die einzelnen Mitglieder des Pools.
3.1 Die Vorinstanz hat ausgeführt, der Beschwerdegegner habe dem Beschwerdeführer einen Auftrag auf Verkauf seiner Titel erteilt. Der Beschwerdeführer habe den Kaufpreis für die Aktien sodann nicht für die einfache Gesellschaft eingenommen, sondern als direkter Stellvertreter der jeweiligen Mitglieder des Verkäuferpools. Er habe den einzelnen Verkäufern direkt deren Anteil am Gesamtkaufpreis weiterleiten müssen.
3.2 Diese Ausführungen sind nicht zu beanstanden. Nachdem der Beschwerdeführer mit diversen Sachverhaltsrügen nicht durchgedrungen ist, steht verbindlich fest, dass die Titel im jeweiligen Eigentum der Mitglieder des Verkäuferpools verblieben sind (E. 2.2.7) und dass der Beschwerdeführer den Verkauf nicht gestützt auf einen Beschluss der einfachen Gesellschaft abwickelte (E. 2.2.4). Indem er im Namen der jeweiligen Mitglieder des Verkäuferpools einen Vertrag schloss, handelte er als direkter Stellvertreter dieser Personen (<ref-law>). Mit der Qualifikation des dabei zwischen den Parteien bestehenden Verhältnisses als Auftrag hat die Vorinstanz kein Bundesrecht verletzt. Es spielt entgegen der Auffassung des Beschwerdeführers keine Rolle, ob es ohne die einfache Gesellschaft nicht zum Aktienkaufvertrag gekommen wäre bzw. ob eine solche einfache Gesellschaft daneben bestand. Entscheidend ist, dass die verkauften Titel im Eigentum des Beschwerdegegners standen und dieser den Beschwerdeführer damit beauftragt hat, die Titel zu verkaufen. Damit standen die Parteien in einem Auftragsverhältnis. Die Rüge erweist sich als unbegründet.
4. Der Beschwerdeführer rügt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, indem sie auf seine Vorbringen bezüglich teilweise fehlender Passivlegitimation in keiner Weise Bezug genommen habe.
4.1 Der Anspruch auf rechtliches Gehör (<ref-law>) verlangt, dass die Gerichte die rechtserheblichen Vorbringen der Parteien anhören und bei der Entscheidfindung berücksichtigen (<ref-ruling> E. 2 S. 242). Aus <ref-law> wird zudem die Pflicht der Behörden abgeleitet, ihre Entscheide zu begründen. Die Begründung muss kurz die Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt. Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 4.1 S. 88; <ref-ruling> E. 3.3 S. 445; je mit Hinweisen). Es genügt, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (<ref-ruling> E. 2.2.1 S. 188; <ref-ruling> E. 3.3 S. 445; <ref-ruling> E. 3.2 S. 236).
4.2 Diesen Anforderungen genügt der vorinstanzliche Entscheid. Aus der Begründung geht hervor, dass die Vorinstanz den Beschwerdeführer hinsichtlich des Geldbetrages aufgrund dessen Stellung als Beauftragter als passivlegitimiert für den ganzen Betrag betrachtete. Hinsichtlich der Inhaberaktien und Partizipationsscheine leitete die Vorinstanz die Passivlegitimation aus der Stellung des Beschwerdeführers als mittelbarer Besitzer dieser Titel ab (vgl. unten E. 5.1). Damit hat die Vorinstanz zum Ausdruck gebracht, dass sie den Beschwerdeführer sowohl hinsichtlich des gesamten Geldbetrags als auch hinsichtlich sämtlicher Titel als passivlegitimiert betrachte. Damit ist der Begründungspflicht Genüge getan. Die Rüge der Verletzung des rechtlichen Gehörs ist unbegründet.
5. Der Beschwerdeführer rügt, die Vorinstanz habe verkannt, dass er gar nicht im vollen Umfang der Klage passivlegitimiert sei, da die Hälfte des eingeklagten Betrags bzw. die Hälfte der Titel, welche herausverlangt würden, unbestrittenermassen an den gemeinsamen Bruder der Parteien geflossen seien. Selbst wenn er zur Zahlung des vollen Geldbetrags verurteilt werden könnte, gelte dies aber sicherlich nicht für die Herausgabe der Titel, welche gestützt auf <ref-law> nur vom aktuellen Besitzer verlangt werden könne.
5.1 Die Vorinstanz hat ausgeführt, der Beschwerdeführer habe als direkter Stellvertreter des Beschwerdegegners (lediglich) dessen 1'833 Namenaktien zum zehnfachen Nennwert verkauft, obwohl der Auftrag des Beschwerdegegners auf Verkauf der Namenaktien, der Inhaberaktien sowie der Partizipationsscheine zum fünffachen Nennwert gelautet hatte. Ein ohne Ermächtigung geschlossener Vertrag könne aber vom Vertretenen genehmigt werden (<ref-law>), wobei eine solche Genehmigung als stillschweigend erteilt gelten könne, wenn wie im vorliegenden Fall der Stellvertreter für den Vertretenen ein günstigeres Ergebnis erzielt habe. Damit habe der Beschwerdegegner gegenüber dem Beschwerdeführer grundsätzlich einen Anspruch auf Bezahlung des eingeklagten Betrages von Fr. 562'072.50 und auf Herausgabe der nicht verkauften 40 Inhaberaktien und 1'075 Partizipationsscheine, deren Eigentümer er geblieben sei.
Was die Herausgabe der Inhaberaktien und der Partizipationsscheine angehe, sei zu beachten, dass diese zentral bei der SIX SIS AG (vormals SEGA) sammelverwahrt würden. Die Titel seien nach wie vor im Depot der Bank Y._ eingebucht. Bei dieser Sachlage richte sich das Vindikationsbegehren des Beschwerdegegners zwar in erster Linie gegen die Bank Y._. Ein dinglicher Herausgabeanspruch könne sich aber auch gegen einen mittelbaren Besitzer richten. Als solcher sei der Beschwerdeführer zu betrachten, nachdem dieser die Verwaltung des Depots von B.E._ übernommen habe. Damit habe der Beschwerdeführer die 40 Inhaberaktien und 1'075 Partizipationsscheine herauszugeben.
5.2 Die Vorinstanz qualifizierte den Beschwerdeführer als mittelbaren Besitzer der Titel und demzufolge bezüglich sämtlicher Titel als passivlegitimiert. Die Argumentation der Vorinstanz setzt voraus, dass der Beschwerdegegner einen dinglichen Herausgabeanspruch gegen den Beschwerdeführer hat.
5.2.1 Das vorinstanzliche Urteil erging am 23. Dezember 2010. Am 1. Januar 2010 ist das Bundesgesetz über Bucheffekten (BEG; SR 957.1) in Kraft getreten. Bucheffekten sind vertretbare Forderungs- oder Mitgliedschaftsrechte gegenüber dem Emittenten, die einem Effektenkonto gutgeschrieben sind und über welche der Kontoinhaber nach den Vorschriften des BEG verfügen kann (Art. 3 Abs. 1 BEG). Sie sind Vermögensobjekte sui generis (Botschaft vom 15. November 2006 zum Bucheffektengesetz sowie zum Haager Wertpapierübereinkommen [Botschaft BEG], BBl 2006 9339 Ziff. 2.1.1.1; MARTIN HESS/KATJA STÖCKLI, Das Bucheffektengesetz: Grundzüge und Missverständnisse, Anwaltsrevue 3/2010, S. 115). Das an ihnen bestehende Eigentum ist nicht im engen sachenrechtlichen Sinn zu verstehen (Botschaft BEG, a.a.O., 9342 Ziff. 2.1.2 Art. 1 Abs. 2; vgl. zur rechtssystematischen Einordnung HANS KUHN, Schweizerisches Kreditsicherungsrecht, 2011, § 26 N. 20 mit Hinweisen; WIEGAND, Die Bucheffekte - Ein neues Vermögensrecht?, in: Festschrift für Helmut Koziol zum 70. Geburtstag, 2010, S. 1127, 1136 f.). Die sachenrechtliche Beziehung des Hinterlegers zu den Urkunden wird indessen nicht aufgehoben, sondern lediglich sistiert (HESS/STÖCKLI, a.a.O., S. 115). Sie lebt wieder auf, wenn die Wertpapiere von der Verwahrungsstelle herausgegeben werden (vgl. Art. 8 BEG).
Diesen Grundsätzen entsprechend ist eine Vindikation von Bucheffekten und die Restituierung nach den Regeln des Besitzesschutzes ausgeschlossen (Botschaft BEG, a.a.O., 9378 Ziff. 2.1.6.3 Art. 29 Abs. 2; VON DER CRONE/BILEK, Aktienrechtliche Querbezüge zum geplanten Bucheffektengesetz, SZW 2/2008 S. 206; KUHN, a.a.O., § 26 N. 25). Eine Rückabwicklung hat vielmehr nach schuldrechtlichen Grundsätzen zu erfolgen, wobei sich ein entsprechender Anspruch etwa auch aus einem Vertragsverhältnis ergeben kann (Botschaft BEG, a.a.O., 9378 Ziff. 2.1.6.3 Art. 29 Abs. 2; VON DER CRONE/BILEK, a.a.O., S. 206).
5.2.2 Das BEG ist während des Rechtsmittelverfahrens in Kraft getreten. Neue Gesetzesbestimmungen sind grundsätzlich auch in Rechtsmittelverfahren zu berücksichtigen, wenn sie nach den intertemporalrechtlichen Regeln in der Sache anwendbar sind (vgl. MEYER/DORMANN, in: Basler Kommentar, BGG, 2. Aufl. 2011, N. 30 zu <ref-law>; VON WERDT, in: Seiler/von Werdt/Güngerich [Hrsg.], Bundesgerichtsgesetz [BGG], 2007, N. 9 zu <ref-law>; SPÜHLER/DOLGE/VOCK, Kurzkommentar zum Bundesgerichtsgesetz, 2006, N. 5 zu <ref-law>). Das intertemporale Recht findet sich vorliegend in den Übergangsbestimmungen nach Art. 35 BEG und subsidiär im Schlusstitel zum ZGB (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35).
Das BEG befasst sich in Artikel 35 Absatz 1 mit Wertrechten, auf welche das Gesetz nur anwendbar ist, wenn sie im Hauptregister einer Verwahrungsstelle eingetragen sind (vgl. Art. 6 Abs. 1 lit. c BEG). Übergangsrechtlich ist daher vorgesehen, dass Emittenten von Wertrechten, die einem durch eine Verwahrungsstelle geführten Effektenkonto gutgeschrieben sind, innerhalb von sechs Monaten nach Inkrafttreten des BEG bei einer Verwahrungsstelle das Hauptregister einzurichten und die Wertrechte darin eintragen zu lassen haben (Art. 35 Abs. 1 BEG). Erst dann werden die Wertrechte in Bucheffekten umgewandelt und vom Geltungsbereich des BEG erfasst (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35 Abs. 1). Anders verhält es sich hingegen bei den sammelverwahrten Wertpapieren, die einem Effektenkonto bei einer Verwahrungsstelle wie einer Bank gutgeschrieben sind. Diese werden mit Inkrafttreten des BEG automatisch zu Bucheffekten (Botschaft BEG, a.a.O., 9385 Ziff. 2.1.9 Art. 35 Abs. 1; LUCA DALLA TORRE/MARTIN GERMANN, 12 Antworten zum neuen Bucheffektengesetz, GesKR 4/2009, S. 575; MARTIN LANZ, Aktientransfers unter dem neuen Bucheffektengesetz, in: Thomas U. Reutter/Thomas Werlen [Hrsg.], Kapitalmarkttransaktionen IV, 2009, S. 200; HARALD BÄRTSCHI, Die rechtliche Umsetzung des Bucheffektengesetzes, AJP 2009, S. 1085). Dies hat zur Folge, dass eine Vindikation von sammelverwahrten Wertpapieren, die einem Effektenkonto bei einer Bank gutgeschrieben waren, ab dem Inkrafttreten des BEG am 1. Januar 2010 nicht mehr möglich ist. Ein Wertpapier ist eine Urkunde, mit der ein Recht derart verknüpft ist, dass es ohne die Urkunde weder geltend gemacht noch auf andere übertragen werden kann (<ref-law>). Dazu gehören sowohl Inhaberaktien als auch Partizipationsscheine (FURTER, in: Basler Kommentar, Obligationenrecht, 3. Aufl. 2008, N. 15 zu <ref-law>; MEIER-HAYOZ/VON DER CRONE, Wertpapierrecht, 2. Aufl. 2000, § 1 N. 17, § 2 N. 134, § 19 N. 64). Die streitgegenständlichen sammelverwahrten Inhaberaktien und Partizipationsscheine, welche auf dem Bankdepot eingebucht sind, wurden somit am 1. Januar 2010 zu Bucheffekten, mit der Konsequenz, dass eine Vindikation vorliegend nicht mehr möglich ist. Der Beschwerdegegner ist damit auf vertragliche Ansprüche verwiesen.
5.3 Die Parteien standen im Zusammenhang mit dem Verkauf der Titel in einem Auftragsverhältnis. Zu prüfen ist daher, ob der Beschwerdegegner aus diesem Auftragsverhältnis einen vertraglichen Anspruch auf Herausgabe von als Bucheffekten ausgestalteten 40 Inhaberaktien und 1'075 Partizipationsscheinen hat. Zu prüfen ist zudem der vom Beschwerdeführer erhobene Einwand der teils fehlenden Passivlegitimation in Bezug auf diese Titel und den Geldbetrag von Fr. 562'072.50.
5.3.1 Durch die Annahme eines Auftrages verpflichtet sich der Beauftragte, die ihm übertragenen Geschäfte oder Dienste vertragsgemäss zu besorgen (<ref-law>). Er hat alles, was ihm infolge seiner Geschäftsführung aus irgendeinem Grunde zugekommen ist, zu erstatten (<ref-law>). Die Herausgabepflicht betrifft neben den Vermögenswerten, die der Beauftragte direkt vom Auftraggeber zur Erfüllung des Auftrags erhält, auch indirekte Vorteile, die der Beauftragte infolge der Auftragsausführung erlangt (<ref-ruling> E. 2.1; <ref-ruling> E. 4.1 S. 464). Der Beauftragte soll durch den Auftrag - abgesehen von einem allfälligen Honorar - weder gewinnen noch verlieren. Er muss daher alle Vermögenswerte herausgeben, welche in einem inneren Zusammenhang zur Auftragsausführung stehen. Wird ein Vermögenswert etwa teurer verkauft, als der Auftraggeber vorgegeben hat, steht der Vorteil diesem zu (VITO ROBERTO, Die auftragsrechtliche Herausgabepflicht des "Erlangten", ZSR 128/2009 I S. 35). Behalten darf der Beauftragte nur, was er lediglich bei Gelegenheit der Auftragsausführung, ohne inneren Zusammenhang mit dem ihm erteilten Auftrag, von Dritten erhält (BGE <ref-ruling> E. 4.1 S. 464 mit Hinweisen). Gegenstand der Herausgabepflicht können etwa Wertpapiere, Geld oder auch obligatorische Rechte sein (FELLMANN, Berner Kommentar, 1992, N. 129 zu <ref-law>).
5.3.2 Die Vorinstanz hat festgestellt, dass der Beschwerdegegner den Beschwerdeführer ursprünglich damit beauftragt hatte, seine Namenaktien, Inhaberaktien sowie Partizipationsscheine zum fünffachen Nennwert zu verkaufen. Stattdessen hat der Beschwerdeführer lediglich die 1'833 Namenaktien des Beschwerdegegners verkauft, diese hingegen zum zehnfachen Nennwert. Diese Variante war für den Beschwerdegegner unbestrittenermassen günstiger, da daraus ein Erlös von Fr. 1'833'000.-- resultierte und zudem die Inhaberaktien und Partizipationsscheine in seinem Eigentum verblieben, wogegen nach der von ihm gewünschten Variante sämtliche Titel zu einem Erlös von lediglich Fr. 1'265'250.-- verkauft worden wären. Die Vorinstanz hat ausgeführt, dass der Beschwerdegegner den Abschluss des Kaufvertrags in dieser Form genehmigt hat. In Kenntnis des Kaufvertrags forderte der Beschwerdegegner von B.E._ die Herausgabe seiner nicht verkauften hinterlegten Titel, worauf dieser mitteilte, die erwähnten Titel seien auf Anweisung des Beschwerdeführers diesem ausgehändigt worden. Festgestellt ist schliesslich, dass der Beschwerdeführer die Verwaltung des Bankdepots von B.E._ übernommen hat und dass sich sämtliche Titel noch in diesem Depot befinden.
5.3.3 Sowohl der Differenzbetrag aus dem Erlös als auch die als Bucheffekten ausgestalteten Titel stellen Vermögenswerte dar und können Gegenstand der Herausgabepflicht sein. Den Erlös hat der Beschwerdeführer als Stellvertreter der Verkäufer und in Ausführung des Auftrags, die Wertpapiere zu verkaufen, entgegengenommen. Die Inhaberpapiere und Partizipationsscheine hat er vom damaligen Verwalter des Bankdepots, B.E._, durch seine Stellung als Beauftragter zur internen Abrechnung des Aktienverkaufs erlangt, nachdem B.E._ im Glauben war, der Beschwerdegegner hätte alle Titel verkauft. Sowohl den Erlös als auch die Titel des Beschwerdegegners hat der Beschwerdeführer damit infolge der Auftragsausführung erlangt. Die Vermögenswerte stehen zudem in einem inneren Zusammenhang mit der Ausführung des Auftrags, der gerade im Verkauf der Titel des Beschwerdegegners bestand.
Der Beschwerdeführer ist der Auffassung, der von ihm nach Abschluss des Kaufvertrags vorgenommene Ausgleich durch Aufteilung der Erlösdifferenz und der Inhaberaktien und Partizipationsscheine auf sich und seinen Bruder sei ihm nicht vorzuwerfen, da der Beschwerdegegner schliesslich genau das erhalten habe, was er gefordert hatte. Er übersieht dabei, dass der Beschwerdegegner den von ihm geschlossenen Kaufvertrag wie von der Vorinstanz ausgeführt genehmigt hat, was auch konkludent möglich ist (<ref-ruling> E. 6b/bb S. 230). Dies wird vom Beschwerdeführer nicht bestritten. Nachdem der Vertrag aber vom Beschwerdegegner genehmigt wurde, kann der Beschwerdeführer den gestützt auf diesen Vertrag erzielten Erlös und die übrig gebliebenen Titel dem Beschwerdegegner nicht mit dem blossen Hinweis auf die ursprünglich beabsichtigte Lösung vorenthalten. Denn dies würde dem Grundsatz widersprechen, dass der Beauftragte durch den Auftrag keinen Vermögensvorteil erlangen soll. Der Beschwerdegegner verlangt lediglich die Herausgabe der nicht verkauften Titel und des Differenzbetrags zwischen dem erhaltenen und dem höheren Erlös, den der Beschwerdeführer durch den Verkauf der Namenaktien zum zehnfachen Nennwert erzielt hat. Dieser Vorteil steht dem Beschwerdegegner zu. Eine Herausgabepflicht ist damit zu bejahen. Der Beschwerdeführer hat dem Beschwerdegegner sowohl den Differenzbetrag von Fr. 562'072.50 aus dem Erlös als auch (nunmehr als Bucheffekten ausgestaltete) 40 Inhaberaktien und 1'075 Partizipationsscheine nach den Bestimmungen des BEG zu übertragen bzw. herauszugeben.
5.3.4 Daran ändert entgegen der Ansicht des Beschwerdeführers nichts, dass ein Teil dieses Geldbetrags sowie der Inhaberaktien und Partizipationsscheine an den gemeinsamen Bruder der Parteien geflossen ist. Der Anspruch des Beschwerdegegners auf Herausgabe des gesamten Erlöses und sämtlicher Titel stützt sich auf einen obligatorischen Anspruch, der einzig gegen den Beschwerdeführer kraft seiner Stellung als Beauftragter gerichtet ist. Ob der Beschwerdeführer einen Teil des Erlöses und der Titel auf einen Dritten übertragen hat, ist daher vorliegend für die Passivlegitimation nicht relevant. Die Rüge ist unbegründet.
6. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 15'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 17'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 10. Januar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier