Sachverhalt: A. Y._ (Beschwerdegegner) übertrug im Dezember 2005 157'500 Aktien A._ NV, 43'000 Aktien B._ NV, 40'000 Namenaktien C._ AG sowie Fr. 18'000.-- auf ein Depot bzw. Konto seines Sohnes, X._ (Beschwerdeführer), bei der Bank N._, damit dieser die ihm von seinem Vater anvertrauten Wertpapiere und das Geld in eigenem Namen, aber auf Rechnung und Gefahr des Vaters sicher bei der Bank N._ verwahre. Der Beschwerdeführer erteilte dem Beschwerdegegner Vollmacht über das Depot und Konto, wovon Letzterer regen Gebrauch machte. Der Depotbestand und Kontostand waren deshalb laufend Veränderungen unterworfen und entsprachen nicht mehr dem Stand zur Zeit der Hinterlegung, als der Beschwerdegegner seinen Restitutionsanspruch gegenüber dem Beschwerdeführer geltend machte, nachdem dieser ihm im Oktober 2009 die Vollmacht entzogen hatte. B. Am 7. Dezember 2010 erhob der Beschwerdegegner Klage beim Bezirksgericht Brugg. In der Replik beantragte er mit modifiziertem Rechtsbegehren, der Beschwerdeführer sei zu verpflichten, ihm den Betrag von Fr. 341'562.-- zu bezahlen, zuzüglich Verzugszins in der Höhe von 5 % (1.) seit dem 15. April 2010 für den Betrag von Fr. 2'275.07 sowie (2.) seit dem 24. August 2010 für den Betrag von Fr. 7'097.93 und Fr. 332'189.--. Der Beschwerdeführer beantragte Abweisung der Klage. Am 24. April 2012 hiess das Bezirksgericht die Klage gut und verpflichtete den Beschwerdeführer, dem Beschwerdegegner den Betrag von Fr. 341'521.93 zu bezahlen, zuzüglich Zins von 5 % auf Fr. 2'235.-- für die Zeit vom 15. April 2010 bis 23. August 2010 und auf Fr. 341'521.93 seit dem 24. August 2010. Das Bezirksgericht hielt es namentlich nicht für erwiesen, dass der Beschwerdegegner dem Beschwerdeführer die Werte geschenkt hatte, wie dieser behauptete. Es stützte deshalb die klägerische Darstellung, dass die Parteien einen Hinterlegungsvertrag geschlossen haben und der Rückforderungsanspruch des Beschwerdegegners insgesamt Fr. 341'562.-- betrage. Dagegen legte der Beschwerdeführer Berufung beim Obergericht des Kantons Aargau ein und beantragte die Abweisung der Klage. Ferner erhob er neu eine Verrechnungseinrede und stellte in diesem Zusammenhang den Verfahrensantrag, es seien eine Berufungsverhandlung durchzuführen und die von ihm beantragten Beweise abzunehmen. Mit Entscheid vom 3. Juli 2013 wies das Obergericht die Berufung ab. Es lehnte auch den Verfahrensantrag ab und beurteilte die Verrechnungseinrede wegen verspäteter Geltendmachung als unbeachtlich. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, den Entscheid des Obergerichts des Kantons Aargau vom 3. Juli 2013 aufzuheben und die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Eventualiter beantragt er die Aufhebung des Entscheids des Obergerichts und die Reformation desselben in dem Sinn, dass die Klage abgewiesen und die obergerichtliche Entscheidgebühr von Fr. 14'000.-- dem Beschwerdegegner auferlegt und dieser verpflichtet wird, dem Beschwerdeführer die Parteikosten für das obergerichtliche Verfahren von Fr. 16'474.50 zu bezahlen. Der Beschwerdegegner beantragt, die Anträge des Beschwerdeführers abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.