Sachverhalt: A. A.a C.X._ (Beschwerdeführer) und D.X._ (Beschwerdegegner) sind Brüder. Ihr Grossvater, A._, war der Gründer der Firma A._ AG. Nach einem Übernahmeversuch durch ein anderes Unternehmen, das 36 % der Aktien der Firma A._ AG erworben hatte, brachten die Familienaktionäre 1984 als Abwehrmassnahme die restlichen Aktien, ausmachend 64 %, in die A._ Holding AG ein. Ab dem Jahr 2000 standen sich die Familienaktionäre in zwei Pools gegenüber. Die Familienaktionäre des so genannten Pool 2000 bildeten die Mehrheit. Der zweite Pool wurde Verkäuferpool genannt, da dessen Mitglieder den Verkauf aller ihrer Titel (Namen- und Inhaberaktien sowie Partizipationsscheine) anstrebten. Zu diesem Verkäuferpool gehörten auch die Parteien des vorliegenden Verfahrens. A.b Die Mitglieder des Verkäuferpools legten in der Folge alle ihre Titel in ein gemeinsames Depot bei der Bank Y._. In einem am 10. September 2000 unterzeichneten entsprechenden Hinterlegungsvertrag beauftragte der Beschwerdegegner B.E._, seine Titel unwiderruflich für die Dauer von zwei Jahren zu verwalten. Anfang Mai 2002 befanden sich im Bankdepot 1'833 Namenaktien, 40 Inhaberaktien und 1'075 Partizipationsscheine des Beschwerdegegners. A.c Im Mai 2002 unterbreitete der Pool 2000 dem Verkäuferpool zwei Entflechtungsofferten. Der Pool 2000 bot entweder den Kauf aller von den Mitgliedern des Verkäuferpools gehaltenen Titeln aller Kategorien (Namenaktien, Inhaberaktien und Partizipationsscheine) zum fünffachen Nennwert an oder den Kauf von mindestens 3'000 und höchstens 5'000 Namenaktien zum zehnfachen Nennwert. Innerhalb des Verkäuferpools wurde in der Folge eine Mischvariante diskutiert, wonach der Beschwerdegegner alle seine Titel zum fünffachen Nennwert und die restlichen Mitglieder einen Teil ihrer Namenaktien zum zehnfachen Nennwert verkaufen würden. A.d Mit Kaufvertrag vom 11./12. Juli 2002 verkauften 12 Mitglieder des Verkäuferpools, vertreten durch den Beschwerdeführer, insgesamt 5'000 Namenaktien, darunter auch die 1'833 vom Beschwerdegegner gehaltenen Namenaktien. Am 22. August 2002 stellte der Beschwerdeführer dem Beschwerdegegner die Verkaufsabrechnung zu, wonach 1'833 Namenaktien, 40 Inhaberaktien und 1'075 Partizipationsscheine zum fünffachen Nennwert, ausmachend netto Fr. 1'252'560.--, verkauft worden seien. A.e Mit Schreiben vom 30. Oktober 2002 verlangte der Beschwerdegegner von B.E._ die Herausgabe seiner hinterlegten Inhaberaktien und Partizipationsscheine. Der Beschwerdegegner stützte sich auf den Kaufvertrag, wonach nur seine Namenaktien verkauft worden seien. Mit Schreiben vom 7. Juni 2003 teilte B.E._ dem Beschwerdegegner mit, dieser habe im Sommer 2002 all seine Titel verkauft, worauf die erwähnten Titel auf Anweisung des Beschwerdeführers diesem ausgehändigt worden seien. B. B.a Mit Klage vom 17. November 2003 beantragte der Beschwerdegegner dem Bezirksgericht Rheinfelden im Wesentlichen, es sei der Beschwerdeführer zur Zahlung von Fr. 562'072.50 und zur Herausgabe von 40 Inhaberaktien und 1'075 Partizipationsscheinen zu verurteilen. Zur Begründung führte er aus, mit Kaufvertrag vom 11./12. Juli 2002 seien nur seine Namenaktien verkauft worden. Die Verkaufsabrechnung des Beschwerdeführers sei insofern nicht korrekt. Die eingeklagte Forderung von Fr. 562'072.50 bestehe in der Differenz zwischen der erfolgten Auszahlung und dem Betrag, welcher ihm bei korrekter Abrechnung zum zehnfachen Nennwert zustehen würde. Mit Urteil vom 26. November 2008 wies das Bezirksgericht Rheinfelden die Klage ab. B.b Gegen dieses Urteil erhob der Beschwerdegegner am 21. September 2009 beim Obergericht des Kantons Aargau Appellation und wiederholte im Wesentlichen die mit seiner Klage gestellten Begehren. Mit Urteil vom 23. Dezember 2010 hob das Obergericht des Kantons Aargau das Urteil des Bezirksgerichts Rheinfelden auf und verurteilte den Beschwerdeführer zur Zahlung von Fr. 562'072.50 und zur Herausgabe von 40 Inhaberaktien und 1'075 Partizipationsscheinen an den Beschwerdegegner. Im Übrigen wies es die Appellation ab. C. Mit Beschwerde in Zivilsachen vom 2. März 2011 beantragt der Beschwerdeführer dem Bundesgericht, es sei das Urteil des Obergerichts des Kantons Aargau aufzuheben, soweit er zur Zahlung von Fr. 562'072.50 und zur Herausgabe der 40 Inhaberaktien und 1'075 Partizipationsscheine an den Beschwerdegegner sowie zur Zahlung von Verfahrens- und Parteikosten verurteilt worden sei. Im Übrigen sei das vorinstanzliche Urteil zu bestätigen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdegegner beantragt sinngemäss, es sei auf die Beschwerde nicht einzutreten, eventualiter sei sie abzuweisen. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.