Sachverhalt:
A.
Y._ (Beschwerdegegner) übertrug im Dezember 2005 157'500 Aktien A._ NV, 43'000 Aktien B._ NV, 40'000 Namenaktien C._ AG sowie Fr. 18'000.-- auf ein Depot bzw. Konto seines Sohnes, X._ (Beschwerdeführer), bei der Bank N._, damit dieser die ihm von seinem Vater anvertrauten Wertpapiere und das Geld in eigenem Namen, aber auf Rechnung und Gefahr des Vaters sicher bei der Bank N._ verwahre. Der Beschwerdeführer erteilte dem Beschwerdegegner Vollmacht über das Depot und Konto, wovon Letzterer regen Gebrauch machte. Der Depotbestand und Kontostand waren deshalb laufend Veränderungen unterworfen und entsprachen nicht mehr dem Stand zur Zeit der Hinterlegung, als der Beschwerdegegner seinen Restitutionsanspruch gegenüber dem Beschwerdeführer geltend machte, nachdem dieser ihm im Oktober 2009 die Vollmacht entzogen hatte.
B.
Am 7. Dezember 2010 erhob der Beschwerdegegner Klage beim Bezirksgericht Brugg. In der Replik beantragte er mit modifiziertem Rechtsbegehren, der Beschwerdeführer sei zu verpflichten, ihm den Betrag von Fr. 341'562.-- zu bezahlen, zuzüglich Verzugszins in der Höhe von 5 % (1.) seit dem 15. April 2010 für den Betrag von Fr. 2'275.07 sowie (2.) seit dem 24. August 2010 für den Betrag von Fr. 7'097.93 und Fr. 332'189.--. Der Beschwerdeführer beantragte Abweisung der Klage.
Am 24. April 2012 hiess das Bezirksgericht die Klage gut und verpflichtete den Beschwerdeführer, dem Beschwerdegegner den Betrag von Fr. 341'521.93 zu bezahlen, zuzüglich Zins von 5 % auf Fr. 2'235.-- für die Zeit vom 15. April 2010 bis 23. August 2010 und auf Fr. 341'521.93 seit dem 24. August 2010. Das Bezirksgericht hielt es namentlich nicht für erwiesen, dass der Beschwerdegegner dem Beschwerdeführer die Werte geschenkt hatte, wie dieser behauptete. Es stützte deshalb die klägerische Darstellung, dass die Parteien einen Hinterlegungsvertrag geschlossen haben und der Rückforderungsanspruch des Beschwerdegegners insgesamt Fr. 341'562.-- betrage.
Dagegen legte der Beschwerdeführer Berufung beim Obergericht des Kantons Aargau ein und beantragte die Abweisung der Klage. Ferner erhob er neu eine Verrechnungseinrede und stellte in diesem Zusammenhang den Verfahrensantrag, es seien eine Berufungsverhandlung durchzuführen und die von ihm beantragten Beweise abzunehmen. Mit Entscheid vom 3. Juli 2013 wies das Obergericht die Berufung ab. Es lehnte auch den Verfahrensantrag ab und beurteilte die Verrechnungseinrede wegen verspäteter Geltendmachung als unbeachtlich.
C.
Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, den Entscheid des Obergerichts des Kantons Aargau vom 3. Juli 2013 aufzuheben und die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Eventualiter beantragt er die Aufhebung des Entscheids des Obergerichts und die Reformation desselben in dem Sinn, dass die Klage abgewiesen und die obergerichtliche Entscheidgebühr von Fr. 14'000.-- dem Beschwerdegegner auferlegt und dieser verpflichtet wird, dem Beschwerdeführer die Parteikosten für das obergerichtliche Verfahren von Fr. 16'474.50 zu bezahlen.
Der Beschwerdegegner beantragt, die Anträge des Beschwerdeführers abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung.

Erwägungen:
1.
Der Beschwerdeführer beantragt im Hauptantrag die Rückweisung. Dieser Antrag genügt, weil das Bundesgericht, sollte es die Rechtsauffassung des Beschwerdeführers, die von ihm erhobene Verrechnungseinrede sei zu prüfen, für begründet erachten, kein Sachurteil fällen könnte. Es müsste die Streitsache diesfalls zur weiteren Abklärung der tatsächlichen Grundlagen der geltend gemachten Verrechnungsforderung an die Vorinstanz zurückweisen (<ref-ruling> E. 1.2; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1).
Das angefochtene Urteil des Obergerichts ist ein verfahrensabschliessender Endentscheid (<ref-law>) einer letzten kantonalen Instanz im Sinne von <ref-law>. Sodann übersteigt der Streitwert die Grenze nach <ref-law>. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
Der Beschwerdeführer beanstandet vor Bundesgericht einzig, dass die Vorinstanz die von ihm im Berufungsverfahren erhobene Verrechnungseinrede nicht geprüft sowie die diesbezüglichen Beweisanträge nicht abgenommen hat.
Er bringt vor, er habe die Verrechnungseinrede vor Bezirksgericht am 24. April 2012 mangels Fälligkeit der Verrechnungsforderung noch nicht erheben können. Das Darlehen sei erst am 12. Juni 2012 per 31. Juli 2012 gekündigt worden. Die Fälligkeit der Verrechnungsforderung sei daher nicht vor dem 31. Juli 2012 eingetreten. Die Verrechnung sei erst am 6. August 2012, mithin drei Tage vor Einreichung der Berufungsschrift, erklärt worden. Die diesbezüglichen Beweisunterlagen datierten aus dem Zeitraum zwischen dem 12. Juni 2012 und dem 6. August 2012. Sie hätten daher vor Bezirksgericht noch nicht eingereicht werden können. Sie seien aber unverzüglich dem Obergericht mit der Berufung vorgelegt worden. Damit seien sämtliche Voraussetzungen von <ref-law> erfüllt.
2.1. Die Vorinstanz hielt dem entgegen, dass der Beschwerdeführer das behauptete Darlehen bereits im erstinstanzlichen Verfahren hätte fällig stellen und darauf die Einrede der Verrechnung rechtzeitig erheben können. Bei dieser Einrede handle es sich deshalb nicht um ein echtes Novum. Denn das Darlehen und die Möglichkeit der Fälligstellung seien dem Beschwerdeführer bereits im erstinstanzlichen Verfahren bekannt und der Eintritt der Fälligkeit sei nur vom Beschwerdeführer abhängig gewesen, so dass ihm die Einführung der Verrechnungseinrede im erstinstanzlichen Verfahren nicht objektiv unmöglich gewesen sei. Folglich sei er damit vor Obergericht ausgeschlossen, da er sie mit der ihm zumutbaren Sorgfalt schon vor der ersten Instanz hätte vorbringen können. Der Gläubiger dürfe in einem Prozess mit der jederzeit möglichen Fälligstellung eines behaupteten Darlehens nicht bis zum Abschluss des erstinstanzlichen Verfahrens zuwarten und die Einrede der Verrechnung dann im Rechtsmittelverfahren als Novum vorbringen, weil dies gegen die Eventualmaxime verstosse, welche als Grundsatz der Konzentration der Parteivorbringen verlange, dass die Parteien ihre Tatsachenbehauptungen und Beweismittel so früh als möglich in den Prozess einbringen, um Verzögerungen des Prozesses und Weiterungen im Rechtsmittelverfahren zu vermeiden. Im Übrigen hätte ohnehin das Verrechnungsverbot von <ref-law> gegolten, da der Beschwerdeführer eine abweichende Vereinbarung der Parteien weder behauptet noch bewiesen habe.
2.2. Eine materiell-rechtliche Einrede wie die Verrechnungseinrede kann nur berücksichtigt werden, wenn die Tatsachenbehauptungen und Beweisanträge, mit denen sie begründet wird, novenrechtlich zulässig sind. Alle einredebegründenden Tatsachen und diesbezügliche Beweismittel fallen unter das Novenrecht (Naegeli/Mayhall, in: Oberhammer [Hrsg.], Kurzkommentar zur ZPO, 2. Aufl. 2014, N. 11 zu <ref-law>; Eric Pahud, in: Brunner und andere [Hrsg.], Schweizerische Zivilprozessordnung [ZPO], Kommentar, 2011, N. 5 zu <ref-law>; Laurent Killias, Berner Kommentar zur ZPO, Bern 2012, N. 7 zu <ref-law>; Martin H. Sterchi, Berner Kommentar zur ZPO, Bern 2012, N. 3 zu <ref-law>; Karl Spühler, Basler Kommentar, Schweizerische Zivilprozessordnung, 2. Aufl. 2013, N. 13 zu <ref-law>; Reetz/Hilber, in: Sutter-Somm und andere [Hrsg.], Kommentar zur Schweizerischen Zivilprozessordnung, 2. Aufl. 2013, N. 31 und 67 zu <ref-law>; vgl. auch Meyer/Dormann, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 34 zu <ref-law>). Insofern kann die Verrechnungseinrede im Berufungsverfahren nicht uneingeschränkt, sondern nur nach Massgabe des Novenrechts vorgebracht werden (zur Verjährungseinrede Urteil 4A_305/2012 vom 6. Februar 2013 E. 3.3).
Nach <ref-law> werden neue Tatsachen und Beweismittel im Berufungsverfahren nur noch berücksichtigt, wenn sie ohne Verzug vorgebracht werden (lit. a) und trotz zumutbarer Sorgfalt nicht schon vor erster Instanz vorgebracht werden konnten (lit. b).
2.3. Vorliegend hat sich ein Teil des Tatsachenfundaments der Verrechnungseinrede erst nach dem erstinstanzlichen Urteil zugetragen, namentlich die Fälligstellung der Verrechnungsforderung. Insofern liegt ein echtes Novum vor, das selbstredend im erstinstanzlichen Verfahren noch nicht geltend gemacht werden konnte. Die Vorinstanz hielt dem Beschwerdeführer aber vor, dass es allein von ihm abhing, wann er die Verrechnungsforderung fällig stellte. Sie stellte für das Bundesgericht verbindlich (<ref-law>) fest, dass dem Beschwerdeführer die Umstände des angeblichen Darlehens und der Möglichkeit der Fälligstellung der Rückforderung bereits im erstinstanzlichen Verfahren bekannt gewesen seien. Auch sei der Eintritt der Fälligkeit allein vom Beschwerdeführer abhängig gewesen, so dass es ihm mit der zumutbaren Sorgfalt möglich gewesen wäre, die Einrede der Verrechnung im erstinstanzlichen Verfahren einzubringen. Indem er dies nicht getan habe, habe er gegen die Eventualmaxime verstossen.
Der Beschwerdeführer wendet ein, eine Verletzung der Eventualmaxime sei nicht erstellt. Die Rechtsauffassung der Vorinstanz würde bedeuten, dass eine beklagte Partei in einem Forderungsverfahren ihre Gegenansprüche jeweils zwingend im erstinstanzlichen Verfahren geltend machen müsse. Sie könne aber triftige Gründe haben, eine Forderung erst später zur Verrechnung zu bringen. Eine zwingende Liquidation aller gegenseitigen Ansprüche der Prozessparteien sei von der ZPO nicht vorgesehen.
Letzteres mag zutreffen. Indessen geht es nicht darum, dass die beklagte Partei gezwungen würde, eine Verrechnungsforderung in einen Prozess einzubringen. Die Frage lautet vielmehr dahin, bis zu welchem Zeitpunkt sie dies im Verfahren tun kann, wenn sie - wie vorliegend - die Verrechnungseinrede erheben will. Die beklagte Partei ist zweifelsohne befugt, auf eine Verrechnung von Gegenforderungen im Prozess zu verzichten. Wenn sie dies aber nicht tut, sondern Verrechnung geltend machen will, darf sie nicht aus bloss taktischen Gründen bis zum Rechtsmittelverfahren zuwarten und dort Weiterungen und Verzögerungen bewirken. Ein solches Verhalten widerspricht der Eventualmaxime sowie Treu und Glauben.
Genau dahingehend lautet der Vorwurf der Vorinstanz an den Beschwerdeführer im vorliegenden Fall, war es doch allein von ihm abhängig, wann er das angebliche Darlehen kündigen und die Rückforderung fällig stellen wollte. Der Beschwerdeführer vermochte sich vor der Vorinstanz nicht zu erklären, weshalb er mit der Fälligstellung bis kurz vor Einreichung der Berufung zuwartete, obwohl ihm das Darlehen und die Möglichkeit der Fälligstellung schon im erstinstanzlichen Verfahren bekannt waren. Er nennt auch vor Bundesgericht keinerlei Gründe für sein Vorgehen, sondern erschöpft sich in allgemein gehaltener Kritik, die ihm aber für den konkreten Fall nicht zu helfen vermag. Dem Bundesgericht fehlen konkrete Anhaltspunkte, gestützt auf welche es die Annahme der Vorinstanz beanstanden könnte, dass es dem Beschwerdeführer bei zumutbarer Sorgfalt möglich gewesen wäre, die Verrechnungseinrede schon im erstinstanzlichen Verfahren zu erheben. Eine Verletzung von <ref-law> ist nicht dargetan. Die Vorinstanz hat daher die Verrechnungseinrede zu Recht als verspätet betrachtet.
3.
Damit kann offen bleiben, ob ohnehin das Verrechnungsverbot von <ref-law> gegolten hätte, was der Beschwerdeführer mit der erstmals vor Bundesgericht vertretenen Meinung bestreitet, dass das Rechtsverhältnis der Parteien nicht als Hinterlegungsvertrag, sondern als Auftrag zu qualifizieren sei.
4.
Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 6'500.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 14. Januar 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer