Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) und B._ (Beklagter, Beschwerdegegner) gründeten zusammen mit C._ die D._ AG (seit 2013 E._ AG; nachfolgend: Gesellschaft), die am 7. Juli 1993 ins Handelsregister eingetragen wurde, wobei die Parteien je 40 % und C._ 20 % der Aktien hielten und alle als Verwaltungsräte der Gesellschaft fungierten. Ein von den drei Gesellschaftsgründern am 17. Juni 1993 geschlossener Aktionärbindungsvertrag (nachfolgend: ABV) sah vor, dass jeder von ihnen berechtigt sei, im Verwaltungsrat und, wenn er zur aktiven Mitarbeit gewillt sei, in der Geschäftsleitung der AG persönlich Einsitz zu nehmen. In der Folge schied C._ aus, wobei beide Parteien je die Hälfte seiner Aktien übernahmen. Im Jahre 2000 verkauften die Parteien je 10 % der Aktien der Gesellschaft an F._, der 2005 deren Verwaltungsrat wurde, aber dem ABV nicht beitrat.
Am 12. Juni 2012 kündigte die durch den Beklagten und F._ organschaftlich vertretene Gesellschaft dem Kläger das Arbeitsverhältnis per Ende September 2012. Die Parteien standen bereits vor der Kündigung vom 12. Juni 2012 miteinander in Verhandlung betreffend Ausscheiden eines von ihnen aus der Gesellschaft. In diesem Rahmen hatte der Kläger seinerseits am 13. April 2012 einen Vorschlag unterbreitet, die Aktien des Beklagten und von F._ zu übernehmen. Nach der Kündigung wurden diese Verhandlungen fortgesetzt. Mit Kaufvertrag vom 13. September 2012 verkaufte der Kläger seine vierzig Aktien an den Beklagten und F._ zu einem Preis von Fr. 500'000.--. Gleichzeitig schlossen der Kläger und die durch den Beklagten und F._ vertretene Gesellschaft eine Austrittsvereinbarung, worin sich die Gesellschaft zur Zahlung eines (Cash-) Bonus von Fr. 1'003'167.28 verpflichtete.
B.
Mit Klage vom 27. Juni 2013 beim Bezirksgericht Bremgarten beantragte der Kläger im Sinn einer Teilklage, der Beklagte sei kostenfällig zu verpflichten, ihm Fr. 337'000.-- zuzüglich 5 % Zins seit Klageeinleitung zu bezahlen. Er machte geltend, der Beklagte habe mit der Mitwirkung an der Kündigung vom 12. Juni 2012 gegen den zwischen ihnen bestehenden ABV verstossen. Daraus sei ihm ein Einkommensverlust in der Zeit von Oktober bis Dezember 2012 von mindestens Fr. 31'000.-- (3 x Fr. 16'500.-- [durchschnittliches monatliches Nettoeinkommen während der Anstellung bei der Gesellschaft]./. ausbezahlte Arbeitslosenentschädigung) und entgangene Pauschalspesen von Fr. 6'000.-- für den gleichen Zeitraum entstanden. Als weiteren Schaden machte er einen Betrag von Fr. 300'000.-- geltend, mit welchem er sich bei der G._ GmbH (recte: H._ AG) habe einkaufen müssen, um sich eine neue Einkommensmöglichkeit zu schaffen.
Das Bezirksgericht wies die Klage mit Entscheid vom 26. März 2015 kostenfällig ab. Am 8. März 2016 wies das Obergericht des Kantons Aargau die vom Kläger gegen den bezirksgerichtlichen Entscheid erhobene Berufung kostenfällig ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger dem Bundesgericht, das Urteil des Obergerichts sei aufzuheben und die Sache an dieses zurückzuweisen. Der Beschwerdegegner trägt auf Abweisung der Beschwerde an, soweit darauf einzutreten ist. Das Obergericht reichte ebenfalls eine Vernehmlassung ein, ohne einen ausdrücklichen Antrag zu stellen.
Mit Präsidialverfügung vom 27. Juni 2016 wies das Bundesgericht das Gesuch des Beschwerdeführers um Erteilung der aufschiebenen Wirkung ab.

Erwägungen:
1.
1.1. Die Beschwerdeschrift enthält keinen materiellen Antrag, wie er nach <ref-law> grundsätzlich erforderlich ist. Der blosse Rückweisungsantrag genügt indessen, weil das Bundesgericht, sollte es die Rechtsauffassung des Beschwerdeführers für begründet erachten, kein Sachurteil fällen könnte. Es müsste die Streitsache diesfalls zur weiteren Abklärung der tatsächlichen Grundlagen des geltend gemachten Schadens an die Vorinstanz zurückweisen (<ref-ruling> 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1; je mit Hinweisen).
1.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden. Unerlässlich ist im Hinblick auf Art. 42 Abs. 2 sowie <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.
Die Vorinstanz liess offen, ob überhaupt von einem Arbeitsvertrag ausgegangen werden kann, da fraglich sei, ob ein Subordinationsverhältnis des Beschwerdeführers zur Gesellschaft bestanden habe oder ob nicht vielmehr - was der gesetzlichen Auffangordnung entspreche - jeder Verwaltungsrat an der Geschäftsführung gemäss <ref-law> (gesamthaft) und damit nicht untergeordnet mitgewirkt habe. Sie erwog sodann, zwar sei in der Mitwirkung des Beschwerdegegners an der Kündigung vom 12. Juni 2012 ein Verstoss gegen den - in diesem Zeitpunkt nach wie vor geltenden - ABV zu erblicken. Jedoch habe der Beschwerdeführer mit dem Abschluss des Aktienkaufvertrages und der Austrittsvereinbarung am 13. September 2012 dem Beschwerdegegner nach Treu und Glauben zu erkennen gegeben, mit den mit der Gesellschaft verbundenen Einkommensquellen abschliessen zu wollen. Die übliche Berechnung des Substanzwertes einer Gesellschaft bzw. deren Aktien berücksichtige nämlich die künftigen Einkommensmöglichkeiten und gelte diese somit ab. Darauf sei er zu behaften und der Beschwerdegegner habe somit davon ausgehen dürfen, dass der Beschwerdeführer keine weiteren Ansprüche aus dem ABV mehr erheben würde. Dies gelte umso mehr, als die Austrittsvereinbarung ausdrücklich mit "Vereinbarung [...] betreffend Aufhebung des Arbeitsverhältnisses und Austritt" betitelt gewesen sei. Zur Stützung ihrer Begründung verwies die Vorinstanz zudem auf die erstinstanzliche Einvernahme des Beschwerdeführers, wo dieser auf die Frage, ob er beim Abschluss der Vereinbarung (gemeint die Austrittsvereinbarung) das Gefühl gehabt habe, es sei irgendetwas nicht geregelt und der ABV habe noch irgendeine Wirkung, antwortete: "Nein, das war dann alles geregelt. Ausser das [sic] die Kündigung nicht in Ordnung war. Es hat immer geheissen, die Kündigung sei nicht in Ordnung und ich könne nichts dagegen machen". Und weiter auf die Frage, ob man bei der Schlussvereinbarung den ABV aussen vor lassen wollte: "Nein, ich wollte gar nichts mehr am Schluss. Ich wollte nur noch, dass das Geld endlich bei mir ist".
Zudem erwog die Vorinstanz, in einem der beiden Verträge vom 13. September 2012 seien der Beschwerdeführer und die Gesellschaft übereingekommen, das Arbeitsverhältnis per Ende September 2012 aufzulösen. Diese Verträge seien unangefochten geblieben. Folglich beruhe die Auflösung des Arbeitsverhältnisses bzw. die Einstellung der Geschäftsleitungstätigkeit auf einer vertraglichen Übereinkunft. Der Kausalzusammenhang zwischen einer Verletzung des ABV und dem geltend gemachten Schaden (künftiger Erwerbsausfall) wäre daher unterbrochen worden.
3.
Der ABV enthielt als materielle Bestimmungen u.a. das Recht jedes Aktionärs zur Einsitznahme in den Verwaltungsrat und in die Geschäftsleitung (bei entsprechendem Willen zur Mitarbeit) sowie eine Regelung der Gewinnverteilungspolitik, bzw. - sinngemäss - die Verpflichtung der Aktionäre, ihr Stimmrecht im Sinn dieser Regelungen auszuüben. Ausserdem regelte er in materieller Hinsicht ein Konkurrenzverbot und ein Vorkaufsrecht für die Aktien. Der Beschwerdeführer macht Ansprüche aus einem nicht abgegoltenen Schaden aus einer im Juni 2012 erfolgten Verletzung des ABV geltend. Die Vorinstanz kam zum Schluss, die Mitwirkung des Beschwerdegegners an der von der Gesellschaft ausgesprochenen Kündigung am 12. Juni 2012 habe im damaligen Zeitpunkt einen Verstoss gegen den Anspruch des Beschwerdeführers auf Einsitz und Mitarbeit in der Geschäftsleitung beinhaltet. Sie prüfte daher, ob dem Beschwerdeführer aus diesem früheren Vertragsbruch trotz Auflösungsvereinbarung und Aktienkaufvertrag vom 13. September 2012 noch Ansprüche zustehen.
3.1. Die Vorinstanz erkannte, die Parteien hätten die zwischen ihnen und die zwischen der Gesellschaft und dem Beschwerdeführer bestehenden Rechte und Pflichten mit den beiden Vereinbarungen vom 13. September 2012 abschliessend und umfassend regeln wollen. Es wird aus der Begründung im angefochtenen Entscheid nicht ganz klar, ob die Vorinstanz annahm, dies habe dem übereinstimmenden tatsächlichen Willen der Parteien entsprochen - also auch jenem des Beschwerdeführers im damaligen Zeitpunkt - oder ob sie (nur) davon ausging, der Beschwerdegegner habe jedenfalls nach dem Vertrauensprinzip auf einen entsprechenden Willen des Beschwerdeführers schliessen dürfen. Für ersteres spricht der Hinweis auf die Befragung des Beschwerdeführers vor erster Instanz und seine Antwort auf die Frage, ob man den ABV aussen vor lassen wollte (vgl. E. 2 hiervor). Für das Zweite spricht, dass die Vorinstanz ausführte, der Beschwerdegegner habe nach Treu und Glauben davon ausgehen dürfen, dass der Beschwerdeführer keine weiteren Ansprüche aus dem ABV mehr erheben würde. Auch wenn aber zu Gunsten des Beschwerdeführers von einer vertrauenstheoretischen Auslegung ausgegangen wird, womit eine vom Bundesgericht frei überprüfbare Rechtsfrage - und nicht wie bei der Feststellung einer tatsächlichen Willensübereinstimmung eine Frage der Beweiswürdigung (Art. 97 Abs. 1 und <ref-law>; vgl. E. 1.3 hiervor) - vorliegt (<ref-ruling> E. 2.2.1 S. 67; <ref-ruling> E. 4 S. 28, 268 E. 2.3.2 S. 274 f., 626 E. 3.1 S. 632), ist die Würdigung der Vorinstanz nicht zu beanstanden.
Zuzustimmen ist dem Beschwerdeführer zwar insofern, als er geltend macht, dass die beiden Vereinbarungen vom 13. September 2012 mit Bezug auf mögliche Ansprüche des Beschwerdeführers gegen den Beschwerdegegner aus dem ABV keine Saldoklausel enthielten. Die Austrittsvereinbarung, mit der gemäss Präambel (E) die weiteren "Details des Austritts des Arbeitnehmers [...] abschliessend" geregelt werden sollten, wurde nur zwischen der Gesellschaft und dem Beschwerdeführer geschlossen. Sie betraf also nicht persönliche Verpflichtungen des Beschwerdegegners. Die Rüge des Beschwerdeführers, deswegen und weil die Verträge vom 13. September 2012 einen ausdrücklichen Schriftlichkeitsvorbehalt enthalten hätten, dürfe kein impliziter Verzicht auf weitere Ansprüche angenommen werden, ist trotzdem nicht stichhaltig. Die Schriftlichkeitsvorbehalte betrafen die in diesen beiden Verträgen geregelten Gegenstände. Im Aktienkaufvertrag, der allein auch zwischen den vorliegenden Parteien (und F._) geschlossen wurde, wird dies in Ziffer 11.5 ausdrücklich gesagt. Nur weitere Vereinbarungen betreffend den zwischen den Parteien abgeschlossenen Gegenstand - den Aktienkauf - hätten somit der Schriftlichkeit bedurft. Mit dem Verkauf der Aktien wurde der ABV aber nach übereinstimmenden Angaben der Parteien hinfällig. Der Beschwerdegegner weist zu Recht mit Aktenhinweis darauf hin, dass der Beschwerdeführer in seiner erstinstanzlichen Replik ebenfalls davon ausgegangen war, der ABV sei mit dem Aktienverkauf dahingefallen. Im Gegensatz zum Aktienverkauf und der Regelung aller Einzelheiten betreffend Rechte und Pflichten zufolge Ausscheiden aus der Arbeitstätigkeit, die mit der Austrittsvereinbarung abschliessend geregelt wurden und geregelt werden mussten, bestand daher keine Veranlassung, eine Vereinbarung auch zum ABV zu treffen. Dass die Parteien selber von einem Hinfall des ABV ausgingen, zeigt sich im Übrigen auch darin, dass sie im Aktienkaufvertrag (Ziff. 6.2) ein Konkurrenzverbot regelten, das im Umkreis von 50 km während zwei Jahren nach Vollzug des Aktienkaufs geltend sollte. Dieses ersetzte offensichtlich das in Ziffer 5 des ABV enthaltene Konkurrenzverbot, das ebenfalls für den Umkreis von 50 km vereinbart war und nach dem Ausscheiden eines Vertragspartners für die folgenden zwei Jahre gelten sollte. Daraus, dass die Parteien es unterliessen, eine Vereinbarung auch zum ABV zu treffen und entsprechend auch keine Saldoklausel zum ABV vorliegt, kann der Beschwerdeführer daher nichts für sich ableiten. Das war vielmehr naheliegend.
Der Beschwerdeführer meint allerdings, eine Saldoklausel betreffend ABV hätte sich aufgedrängt, weil die Parteien anwaltlich vertreten waren und er unmittelbar im Anschluss an die Kündigung auf die Verletzung des ABV aufmerksam gemacht habe, was er bereits vor Vorinstanz geltend gemacht habe. Die Vorinstanz ist zu Recht nicht darauf eingegangen. Selbst wenn er nach der Kündigung Ansprüche aus der Verletzung des ABV erhoben hätte - die Vorinstanz hat dazu keine Feststellungen getroffen -, hätte umso mehr Anlass bestanden, diese im Rahmen der abschliessenden Vereinbarungen vorzubringen. Wenn der anwaltlich vertretene Beschwerdeführer dies nicht tat, durfte der Beschwerdegegner nach Treu und Glauben davon ausgehen, mit den beiden Vereinbarungen vom 13. September 2012 seien alle Verpflichtungen dem Beschwerdeführer gegenüber erledigt. Dies umso mehr, als der Beschwerdeführer in seiner von der Vorinstanz zitierten Aussage selber ausführte, man habe den ABV nicht aussen vor lassen wollen, worauf der Beschwerdeführer mit keinem Wort eingeht. Es kann unter diesen Umständen offen bleiben, ob das weitere Argument der Vorinstanz, mit der Entschädigung des Substanzwerts der Aktien sei der künftige Ertrag und damit die künftigen Einkommensmöglichkeiten abgegolten worden, weshalb der Schutz der Forderungen des Beschwerdeführers für Erwerbsausfall zu einer doppelten Entschädigung führen würde, falsch ist, wie der Beschwerdeführer meint.
3.2. Vor diesem Hintergrund ist der angefochtene Entscheid zu bestätigen und kann offenbleiben, ob die Vorinstanz zu Recht annahm, der Kausalzusammenhang zwischen der Verletzung des ABV und dem geltend gemachten Schaden (künftiger Erwerbsausfall) sei unterbrochen worden. Auf die diesbezüglichen Rügen ist nicht einzugehen.
4.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'500.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 7'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 25. August 2016
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak