Sachverhalt:
A.
A.a. Am 10. Januar 1985 gründeten B._ (Kläger, Beschwerdegegner) und A._ (Beklagter, Beschwerdeführer) zusammen mit C._ die D._AG. Alle drei Aktionäre waren bei der Gründung im Verwaltungsrat vertreten. Am 23. Januar 1985 vereinbarten sie einen Aktionärbindungsvertrag (ABV). Dieser beinhaltete unter anderem Bestimmungen über ein Vorkaufsrecht (Ziff. 4 ABV: "Vorhandrecht"), den Anspruch der drei Gründeraktionäre auf Einsitznahme in den Verwaltungsrat (Ziff. 5 ABV) und auf Ausschüttungen der Aktiengesellschaft an sie (Ziff. 8 ABV: "Geldwerte Leistungen an die Aktionäre, bzw. Geschäftsführer"). Insbesondere wurde in Ziffer 8 lit. a/cc ABV bestimmt:
"Sobald der Lohn von A._ real um mehr als Fr. 10'000.-- ansteigt, bzw. teuerungsbereinigt Fr. 110'000.-- pro Jahr übersteigt, hat die AG Herrn B._ 64 (recte: 34) % des diesen Betrag übersteigenden Anteils auszuzahlen. Die Auszahlung erfolgt jährlich am Ende des jeweiligen Jahres".
Der Vertrag wurde "unkündbar auf unbestimmte Dauer" abgeschlossen und Änderungen waren nur mit dem schriftlichen Einverständnis aller drei Gründeraktionäre möglich (Ziff. 11 ABV). Für den Fall der Verletzung des ABV durch eine Vertragspartei wurde eine Konventionalstrafe von Fr. 40'000.-- pro Widerhandlungsfall statuiert (Ziff. 12 ABV).
A.b. Im Dezember 1986 schied der Kläger aus dem Verwaltungsrat aus. Im Jahr 1998 fanden unter den drei Aktionären Gespräche über eine Anpassung des ABV statt, die jedoch ergebnislos verliefen. Dies hatte zur Folge, dass der Beklagte am 28. April 1999 diesen Vertrag kündigte. Der Kläger widersetzte sich dieser Kündigung und hielt am ABV weiter fest. An der Generalversammlung vom 1. November 1999 beantragte er seine Wahl in den Verwaltungsrat, wurde jedoch nicht gewählt. Auch in den Folgejahren wurde er nicht in den Verwaltungsrat gewählt, zuletzt war dies an der Generalversammlung vom 12. Juni 2014 der Fall.
A.c. Per Ende 2001 schieden der Beklagte und C._ aus dem Verwaltungsrat aus. Der Beklagte beendete auch seine Tätigkeit als Geschäftsführer im Jahr 2001. Am 22. April 2002 erhielt er von der D._AG eine Abgangsentschädigung von Fr. 1,8 Mio. ausbezahlt. C._ verstarb im Januar 2004.
B.
Mit Klage vom 7. Mai 2013 beim Kantonsgericht Appenzell Ausserrhoden beantragte der Kläger, der Beklagte sei zu verpflichten, ihm Fr. 160'000.-- zuzüglich Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit dem 11. Juni 2009, Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit 30. Juni 2011, Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit 28. Juni 2012 und Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit 23. Oktober 2012 zu bezahlen (Rechtsbegehren Ziff. 1). Der Beklagte sei sodann unter Androhung von Busse oder Haft gemäss <ref-law> für den Unterlassungsfall zu verpflichten, den Kläger an der nächsten Generalversammlung der D._AG in den Verwaltungsrat zu wählen, sofern der Kläger für das Amt kandidiert, und es sei dem Beklagten unter Androhung von Busse oder Haft gemäss <ref-law> zu verbieten, den Kläger als Verwaltungsrat der D._AG abzuwählen, solange der Kläger sich für dieses Amt zur Verfügung stelle und er Aktionär der D._AG sei (Rechtsbegehren Ziff. 2). Es sei davon Vormerk zu nehmen, dass sich der Kläger ausdrücklich das Nachklagerecht vorbehält (Rechtsbegehren Ziff. 3). Alles unter Kosten- und Entschädigungsfolge zu Lasten des Beklagten.
Mit Urteil vom 28. Mai 2015 schützte das Kantonsgericht Appenzell Ausserrhoden das Rechtsbegehren Ziffer 1 (Konventionalstrafen) vollumfänglich und das Rechtsbegehren Ziffer 2 weitestgehend, indemes den Beklagten unter Androhung von Busse oder Haft gemäss <ref-law> [recte aufgrund des seit 1. Januar 2007 geltenden Gesetzestextes: Busse gemäss <ref-law>] für den Unterlassungsfall verpflichtete, den Kläger an der nächsten Generalversammlung der D._AG in den Verwaltungsrat zu wählen, solange der Kläger sich für dieses Amt zur Verfügung stellt. Die Gerichtskosten auferlegte es vollumfänglich dem Beklagten und verpflichtete diesen zu einer Parteientschädigung von Fr. 15'994.80.
Das Obergericht Appenzell Ausserrhoden wies mit Entscheid vom 22. August 2016 (Zustellung am 13. Dezember 2016) die vom Beklagten erhobene Berufung ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, das Urtei l des Obergerichts sei kostenfällig aufzuheben und die Klage sei abzuweisen, eventuell sei die Sache zur Neubeurteilung an das Obergericht zurückzuweisen. Der Beschwerdegegner trägt auf kostenfällige Abweisung der Beschwerde an, soweit darauf einzutreten ist.
Mit Präsidialverfügung vom 4. April 2017 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung gutgeheissen, soweit es sich auf die Verpflichtung des Beschwerdeführers bezieht, den Beschwerdegegner an der nächsten Generalversammlung der D._AG in den Verwaltungsrat zu wählen. Im Übrigen wurde das Gesuch abgewiesen.

Erwägungen:
1.
1.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f. mit Hinweisen). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegen soll. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
1.2. Der Beschwerdeführer reicht teilweise neue Beweismittel (namentlich act. 6 und 7) ein, ohne sich zu deren Zulässigkeit zu äussern. Es ist auch nicht ersichtlich, dass erst der Entscheid der Vorinstanz dazu Anlass gegeben hätte. Diese sind daher für das Beschwerdeverfahren unbeachtlich (<ref-law>).
2.
Die Ansprüche des Beschwerdegegners stützen sich auf den ABV. Da der Beschwerdeführer namentlich kritisiert hatte, die ursprüngliche Vereinbarung sei insbesondere hinsichtlich der dem Beschwerdegegner zu entrichtenden Entgelte gemäss Ziffer 8 lit. a/cc ABV durch den Zeitablauf völlig inadäquat geworden, prüfte die Vorinstanz vorerst, ob die Voraussetzungen für eine Vertragsanpassung gestützt auf <ref-law> gegeben seien. Sie liess offen, ob ein erhebliches Missverhältnis von Leistung (Teilhabe des Beschwerdegegners am Lohn des Beschwerdeführers) und Gegenleistung (blosse Aktionärseigenschaft) eingetreten sei, denn jedenfalls sei eine weitere Voraussetzung für eine Vertragsanpassung nicht gegeben. Die positive Entwicklung der neu gegründeten Gesellschaft und damit einhergehend die Entwicklung der Lohnbeteiligung sei nämlich nicht unvorhersehbar gewesen, während der ABV von Beginn weg kein Engagement des Beschwerdegegners im operativen Geschäft vorgesehen habe. Eine Vertragsanpassung wird im Beschwerdeverfahren nicht (mehr) geltend gemacht.
3.
Der Beschwerdeführer bestritt im kantonalen Verfahren sodann die Rechtswirksamkeit des ABV wegen der im Jahre 1999 vorgenommenen Vertragskündigung, aber auch wegen übermässiger, die Persönlichkeitsrechte nach <ref-law> verletzender Bindung.
3.1. Die Vorinstanz verwies betreffend die Frage der Rechtswirksamkeit des ABV weitgehend auf das Urteil der Erstinstanz. Diese hatte vorerst festgestellt, die vom Beschwerdeführer mit Schreiben seines damaligen Rechtsvertreters vom 28. April 1999 unter Bezugnahme auf <ref-law> ausgesprochene ordentliche Kündigung sei ungültig. Denn <ref-law> sei keine zwingende Bestimmung und die Parteien hätten daher im ABV gültig die (ordentliche) Kündigung ausgeschlossen. Eine Konvertierung der ausgesprochenen Kündigung in eine ausserordentliche Kündigung aus wichtigem Grund scheitere sodann daran, dass in einem gesellschaftsrechtlich konzipierten Aktionärbindungsvertrag eine solche auf dem Weg einer Gestaltungsklage nach <ref-law> geltend gemacht werden müsste. Die blosse Kündigung und anschliessende Verweigerung der Vertragserfüllung genüge nicht.
3.2. Die Vorinstanz erwog sodann, wiederum unter Hinweis auf das erstinstanzliche Urteil, in der Rechtsprechung des Bundesgerichts sei früher bei übermässigen Bindungen gemäss <ref-law> im Grundsatz Nichtigkeit des Vertrages nach <ref-law> angenommen worden, auf die sich freilich nur die übermässig gebundene Partei habe berufen können. Mit <ref-ruling> habe das Bundesgericht seine Rechtsprechung geändert. Danach bewirke eine übermässige Vertragsbindung nur noch eine Nichtigkeit im Sinne von <ref-law>, wenn sie den höchstpersönlichen, jeder vertraglichen Bindung entzogenen Kernbereich der Person betreffe. Wo es lediglich um den übermässigen Umfang einer an sich zulässigen Bindung gehe, liege kein Verstoss gegen die guten Sitten vor und könne die Übermässigkeit nur dann zur Unverbindlichkeit des Vertrages führen, wenn die betroffene Person den Schutz in Anspruch nehme. Da Aktionärbindungsverträge kaum je den Kernbereich der Persönlichkeit beträfen, seien sie nicht nichtig, sondern gäben der übermässig gebundenen Partei nur ein Recht auf einseitige Vertragsbeendigung. Der ABV sei daher nicht nichtig. Gemäss <ref-ruling> könne die übermässig gebundene Partei die Vertragserfüllung verweigern. Ungeklärt sei aber, ob dies der andern Partei durch einseitige Willenserklärung mitzuteilen oder ob eine unmittelbare Nichteinhaltung des Vertrages zulässig sei. Da das Bundesgericht die Unverbindlichkeit wegen übermässiger Bindung als Unterfall der Kündigung aus wichtigem Grund zu betrachten scheine, sei von der Notwendigkeit einer Willenserklärung auszugehen. Der Beschwerdeführer habe keine Einwände gegen die erstinstanzliche Qualifikation des ABV als schwergewichtig gesellschaftsrechtlichen Vertrag erhoben. Die Beendigung des gesellschaftsrechtlich ausgestalteten ABV hätte daher mit Gestaltungsklage nach <ref-law> geltend gemacht werden müssen (wie jene über die ausserordentliche Kündigung). Dies sei nicht erfolgt, weshalb der ABVweiterhin rechtswirksam sei.
4.
Der Beschwerdeführer bestreitet nicht mehr, dass eine ordentliche Kündigung des ABV gemäss <ref-law> nicht möglich war. Ebenfalls stellt er nicht in Abrede, dass der Vertrag nicht den höchstpersönlichen Kernbereich seiner Person betrifft.
Er rügt aber, die Vorinstanz habe <ref-law> in Verbindung mit Art. 19 Abs. 2 und <ref-law> verletzt, indem sie bei einem persönlichkeitsverletzenden Aktionärbindungsvertrag ausserhalb des Kernbereichs von <ref-law> eine Kündigung verlange. Damit werde die klare dogmatische Grenze zwischen Kündigung aus wichtigem Grund und Nichtigkeit verwischt. Die Auffassung der kantonalen Gerichte lasse sich auch nicht aus <ref-ruling> ableiten. Dieser Entscheid habe nur eine Präzisierung der früheren Rechtsprechung vorgenommen, die von einer "modifizierte[n] Teilnichtigkeit" ausgegangen sei. Dass es sich lediglich um eine Präzisierung und nicht um eine Änderung der bisherigen Rechtsprechung gehandelt habe, werde im Urteil 5C.72/2004 vom 26. Mai 2004 E. 4.2.1 bestätigt. Sollte das Bundesgericht aber entgegen seiner Auffassung mit <ref-ruling> tatsächlich eine Kündigung verlangt haben, wäre hierfür die gewöhnliche Übermittlung einer Kündigungserklärung als genügend zu erachten und nicht eine gesellschaftsrechtliche Auflösungsklage zu verlangen. Eine solche Kündigung sei im Jahr 1999 erfolgt.
4.1. Das erstinstanzliche Gericht und ihm folgend die Vorinstanz stützten sich auf <ref-ruling> und übernahmen vollumfänglich die Interpretation dieses Entscheids durch FORSTMOSER/KÜCHLER. Nach diesen Autoren ist der Entscheid "fragwürdig", da bereits die frühere Rechtsprechung dem Problem, dass sich nur die übermässig gebundene Vertragspartei auf die vertragliche (Teil-) Nichtigkeit solle berufen können, mit einem flexiblen Nichtigkeitsbegriff Rechnung getragen habe. Die Praxisänderung, die eine von BUCHER begründete (EUGEN BUCHER, Berner Kommentar, 1993, N. 114 ff. zu <ref-law>; zuvor bereits ders., Für mehr Aktionendenken, Archiv für die civilistische Praxis 1986 S. 24 ff.) Theorie übernommen habe, sei hierfür nicht notwendig gewesen. Sodann führe <ref-ruling> zu erheblichen Abgrenzungsschwierigkeiten gegenüber der Kündigung aus wichtigem Grund und der clausula rebus sic stantibus. Das Bundesgericht spreche in <ref-ruling> davon, " dass die übermässig gebundene Person die Vertragserfüllung verweigern kann ". Es sei aber unklar, ob die Vertragspartei, die sich darauf berufen wolle, dies der anderen Partei im Sinn einer einseitigen Willenserklärung mitzuteilen habe oder ob die Unverbindlichkeit unmittelbar zur Nichteinhaltung des Vertrages berechtige. Entscheidend für das Verständnis dieser Autoren ist dann ihr Hinweis auf <ref-ruling> E. 3c S. 431 f. Dort habe das Bundesgericht die Unverbindlichkeit aufgrund übermässiger Bindung als Unterfall der Kündigung aus wichtigem Grund betrachtet. Es sei daher davon auszugehen, dass es eine Kündigung brauche. Verweigere eine übermässig gebundene Partei die Vertragserfüllung ohne vorherige, an die Gegenpartei gerichtete Erklärung, laufe sie Gefahr, wegen Nichteinhaltung des Vertrages schadenersatzpflichtig zu werden (FORSTMOSER/ KÜCHLER, Aktionärbindungsverträge, 2015, Rz. 1948 ff., v.a. Rz. 1957 ff.). Kritisch zu <ref-ruling> und der Auffassung von BUCHER äussert sich auch PIOTET. BUCHER setze eine entsprechende Willenserklärung ( "manifestation de volonté") des übermässig Verpflichteten voraus, künftig den Vertrag nicht mehr erfüllen zu wollen. Diese qualifiziere er einmal als " Terminierungserklärung ", einmal als " Kündigungsrecht " und schliesslich als " Einrede gegen den gegneri[s]chen Anspruch ". Auch wenn BUCHER von Kündigung spreche, könne es sich nicht um ein vertragliches Kündigungsrecht handeln, denn der Vertrag vermittle keine solchen Ansprüche. Vielmehr handle es sich dabei um die Geltendmachung eines Rechts der Persönlichkeit. Es sei daher entgegen <ref-ruling> auch falsch, anzunehmen, bei der Berufung auf <ref-law> handle es sich um eine Kündigung eines Dauerschuldverhältnisses aus wichtigem Grund. Dieses von der Rechtsprechung entwickelte Recht stütze sich vielmehr auf Analogien zu im Gesetz geregelten Beendigungsmöglichkeiten von Dauerschuldverhältnissen und auf <ref-law> (DENIS PIOTET, La sanction de l'engagement excessif selon l'art. 27 al. 2 CC, in: Mélanges en l'honneur de Pierre Wessner, 2011, S. 507f. und bei Fn. 15).
LEU/VON DER CRONE stellen fest, <ref-law> bestimme die Rechtsfolge übermässiger Bindungen nicht. Diese müsse daher den spezifischen Rechtsverhältnissen Rechnung tragen. Durch einmaligen Austausch von Leistung und Gegenleistung zu erfüllende Verträge würden demnach ex tunc dahinfallen oder, soweit als möglich, analog <ref-law> modifiziert. Dauerschuldverhältnisse würden analog <ref-law> so modifiziert, dass die übermässig gebundene Partei den Vertrag innert angemessener Frist kündigen könne (LEU/VON DER CRONE, Übermässige Bindung und die guten Sitten, SZW 2003 S. 226). Zustimmung erhält <ref-ruling> schliesslich von AEBI-MÜLLER (REGINA AEBI-MÜLLER, Die privatrechtliche Rechtsprechung des Bundesgerichts in den Jahren 2002 und 2003, ZBJV 140/2004 S. 238). Grundsätzlich stimmt einer differenzierten Sanktionenordnung auch KRAMER zu. Er verweist aber auf die offenbleibenden Abgrenzungsfragen (ERNST A. KRAMER, Persönlichkeitsverletzung bei einem über Jahrzehnte immer wieder erneuerten Kaufsrecht mit einem heute wirtschaftlich obsoleten Preisansatz, recht 2004 S. 30 f. Vgl. zum Ganzen auch GUILLOD/STEFFEN, in: Commentaire romand, Code des obligations I, 2. Aufl. 2012, N. 100 zu Art. 19,20 OR; HUGUENIN/MEISE, in: Basler Kommentar, Obligationenrecht I, 6. Aufl. 2015, N. 55 a.E. zu Art. 19/20 OR; GAUCH/SCHLUEP/SCHMID, Schweizerisches Obligationenrecht, Allgemeiner Teil, Bd. I, 10. Aufl. 2014, Rz. 686 f.).
4.2. Die teilweise Kritik in der Lehre gibt keinen Anlass, auf <ref-ruling> zurückzukommen. Das Bundesgericht hat sich in <ref-ruling> nicht auf den von FORSTMOSER/KÜCHLER ergänzend erwähnten <ref-ruling> bezogen und auch sonst keinen Hinweis auf die Praxis zur Kündigung von Dauerschuldverhältnissen aus wichtigem Grund gemacht. Der zitierten Auffassung von PIOTET ist insofern beizupflichten, dass es sich bei der Berufung auf <ref-law> nicht um einen Anwendungsfall der Kündigung eines Dauerschuldverhältnisses aus wichtigem Grund handelt. Die Abgrenzung kann zwar im Einzelfall schwierig sein. Grundsätzlich besteht jedoch ein Unterschied darin, dass sich der wichtige Grund für die Kündigung eines Dauerschuldverhältnisses regelmässig aus einer Veränderung der objektiven Vertragsgrundlagen oder einer Veränderung in den persönlichen Verhältnissen einer Vertragspartei ergibt (vgl. EUGEN BUCHER, a.a.O., N. 201 zu <ref-law>), während sich die übermässige Bindung i.S.v. <ref-law> ("Knebelungsvertrag") vor allem aus der Vertragsgestaltung selber in Kombination mit der Bindungsdauer ergibt. <ref-ruling> E. 2.2 bezieht sich denn auch nicht auf die Möglichkeit der Kündigung eines Dauerschuldverhältnisses, sondern stellt einzig fest, der Zweck von <ref-law> verlange, dass die übermässig gebundene Partei "die Vertragserfüllung verweigern kann". In diesem Zusammenhang verweist das Urteil auf <ref-ruling> E. 3 S. 409 und <ref-ruling> E. 4 S. 379. Namentlich in <ref-ruling> E. 4 S. 379 wurde bereits festgestellt, eine Verletzung von <ref-law> führe nicht ohne Weiteres zu einer von Amtes wegen festzustellenden Nichtigkeit ("Cela posé, il apparaît qu'une infraction à l'art. 27 al. 2 CC ne saurait sans plus frapper un acte de nullité à constater d'office selon l'art. 20 CO "). Allerdings könne auch nicht in jedem Fall verlangt werden, dass die Partei, deren Freiheit übermässig beschränkt wurde, sich darauf berufe. Es gebe durchaus Fälle, wo die Persönlichkeitsverletzung von Amtes wegen zu beachten sei (" BUCHER [op. cit., p. 236] va trop loin quand il estime qu'il convient d'appliquer cette norme de protection [gemeint <ref-law>] uniquement si elle est invoquée par celui qui se prétend atteint dans sa liberté: il est des cas où il se justifie pleinement que le juge intervienne d'office. Mais il ne le fera que pour protéger la partie dont la liberté a été restreinte de manière inadmissible [...] "). Aus <ref-ruling> lässt sich somit nichts anderes ableiten, als dass eine gegen <ref-law> verstossende übermässige Bindung nicht von Amtes wegen festzustellen ist, ausser es sei der höchstpersönliche Kernbereich einer Person betroffen. Der zu Schützende besitzt vielmehr eine "Einrede" (im untechnischen Sinn) gegen den Erfüllungsanspruch des Kontrahenten und kann die Vertragserfüllung verweigern; eine Kündigung ist nicht notwendig. Einer Klage gemäss <ref-law> bedarf es infolgedessen erst recht nicht (insofern ebenso, obwohl bezüglich <ref-law> von einer ausserordentlichen Kündigungsmöglichkeit ausgehend, SANDRO GERMANN, Die personalistische AG und GmbH, 2015, S. 69 f. Rz. 165 f.).
4.3. Die Klage des Beschwerdegegners ist einerseits eine solche auf Realerfüllung des ABV, indem der Beschwerdeführer verpflichtet werden soll, ihn an der nächsten Generalversammlung gemäss Ziffer 5 Abs. 1 und Ziffer 9 ABV in den Verwaltungsrat zu wählen. Andererseits verlangt er für in der Vergangenheit (2009, 2011 und 2012) bereits erfolgte Nichtwahlen eine Konventionalstrafe von je Fr. 40'000.--. Eine weitere Konventionalstrafe von Fr. 40'000.-- fordert er, weil er entgegen Ziffer 8 lit. a/cc ABV nicht an der Abgangsentschädigung des Beschwerdeführers beteiligt worden sei.
Vertragsparteien des ABV waren die Streitparteien und C._. Gesellschaftsrechtliche Ansprüche haben die Gesellschafter entweder gemeinsam (gegen einen Dritten oder einen den Vertrag verletzenden Mitgesellschafter) einzuklagen (sog. Gesellschaftsklage) oder ein Gesellschafter klagt allein, aber auf Leistung an die Gesellschaft (sog. actio pro socio). Einzig für gewöhnliche schuldrechtliche Ansprüche aus einem Aktionärbindungsvertrag ist ein einzelner Aktionär (allein) klagelegitimiert (vgl. FORSTMOSER/KÜCHLER, a.a.O., Rz. 2085 ff.; STEPHAN HARTMANN, Zur actio pro socio im Recht der Personengesellschaften, ZSR 124/2005 I S. 403). Die Parteien haben sich nicht zur Legitimation des Klägers, also des Beschwerdegegners, geäussert, mittels Klage Leistung an ihn selber zu verlangen. Mangels entsprechender Rügen hat es damit sein Bewenden (vgl. E. 1.1).
Aus dem Protokoll der Generalversammlung vom 17. Juni 2005 ergibt sich aber, dass von den drei Vertragspartnern nur noch der Beschwerdeführer und der Beschwerdegegner Aktien besassen. Es ist deshalb davon auszugehen, dass der ABV spätestens nach dem Tod von C._ zu einem Zweiparteienvertrag wurde. Reduzierte sich der Gesellschaftsvertrag auf ein Zweiparteienverhältnis, steht er einem Austauschverhältnis so nahe, dass es sich bereits deshalb rechtfertigt, diesen auch bezüglich möglicher Einreden wie einen solchen zu behandeln (i.d.S. FELLMANN/MÜLLER, Berner Kommentar, 2006, N. 428 zu <ref-law>, N. 183 und N. 238 zu <ref-law>; HANDSCHIN/VONZUN, Zürcher Kommentar, 4. Aufl. 2009, N. 104 zu <ref-law> betr. Einrede des nicht erfüllten Vertrages; vgl. auch FORSTMOSER/KÜCHLER, a.a.O., Rz. 65). Im Übrigen wird auch für die actio pro socio vertreten - und Entsprechendes müsste ebensofür die Gesellschaftsklage gelten (vgl. auch WERNER VON STEIGER, Die Personengesellschaften, in: Handelsrecht, SPR Bd. VIII/1, 1976, S. 379, insb. Fn. 44 i.V.m. S. 375 ff.) -, dass dieser alle Einreden entgegenstehen, die dem beklagten Gesellschafter gegen seine Leistungspflicht zustehen (FELLMANN/MÜLLER, a.a.O., N. 643 zu <ref-law>, die als Beispiel die Einrede der Unmöglichkeit oder des Rechtsmissbrauchs erwähnen; STEPHAN HARTMANN, a.a.O., S. 414). Der Beschwerdeführer kann daher den eingeklagten Ansprüchen entgegenhalten, sie bestünden nicht, weil der sie begründende ABV im Zeitpunkt der Vertragsverletzung (betreffend Konventionalstrafen) bzw. der künftigen Durchsetzung (aktuelle Wahl in den Verwaltungsrat) übermässig im Sinn von <ref-law> sei und damit nicht (mehr) rechtswirksam war bzw. ist.
5.
Damit bleibt zu prüfen, ob sich der Beschwerdeführer zu Recht auf <ref-law> beruft. Anders als bei einer Berufung auf Nichtigkeit kommt es dabei nicht auf die Verhältnisse im Zeitpunkt des Vertragsschlusses an, sondern auf jene im Zeitpunkt der Geltendmachung der übermässigen Bindung (EUGEN BUCHER, a.a.O., N. 295 ff. zu <ref-law>; ihm folgend etwa MONIKA HINTZ-BÜHLER, Aktionärbindungsverträge, 2001, S. 152; ablehnend, entsprechend ihrer Kritik an <ref-ruling>: FORSTMOSER/KÜCHLER, a.a.O., Rz. 1950).
5.1. Die Vorinstanz erwog im Rahmen einer Eventualbegründung, eine übermässige vertragliche Bindung wäre auch inhaltlich zu verneinen. Gehe es um die Einschränkung der Freiheit in wirtschaftlicher Hinsicht, müsste diese aufgehoben oder in einem Mass eingeschränkt werden, dass die Grundlagen der wirtschaftlichen Existenz gefährdet wären. Der Beschwerdeführer mache ein frappantes Ungleichgewicht zwischen Leistung und Gegenleistung geltend. Zwar habe der Vertrag weitreichende finanzielle Auswirkungen, eine übermässige Einschränkung der wirtschaftlichen Freiheit ergebe sich aber weder aus Ziffer 3 ABV betreffend Kapitalerhöhung/Bezugsrechte noch aus der Pflicht, den Beschwerdegegner in den Verwaltungsrat zu wählen (Ziff. 5 ABV).
5.2. Der Beschwerdeführer macht vorerst geltend, die Vorinstanz habe einzig geprüft, ob der ABV den höchstpersönlichen Kernbereich seiner Person verletze. Bei deren allgemeinen Ausführungen zur übermässigen Bindung handle es sich demgegenüber um obiter dicta. Insoweit argumentiere die Vorinstanz nicht konsistent und sei die Sache an sie zur Neubeurteilung zurückzuweisen. Damit verkennt er den Aufbau des angefochtenen Entscheids. Die Vorinstanz hat weitgehend auf die Begründung der Erstinstanz verwiesen und hat darüber hinaus wegen der entsprechenden Ausführungen in der Berufung im Sinn einer Eventualbegründung zusätzlich begründet, dass keine übermässige Bindung bestanden habe.
5.3. Der Beschwerdeführer beruft sich auf das in Ziffer 4 ABV vereinbarte gegenseitige Vorhandrecht, was im vorliegenden Fall einem Verkaufsverbot gleichkomme und ihm, der über 66% der Aktien verfüge, jegliche Freiheiten in Bezug auf die betriebliche Nachfolge verunmögliche. So könne er seine Aktien nicht auf seine zwei Söhne (beide Mitglieder des Verwaltungsrates; einer führe die D._AG seit über 16 Jahren operativ) übertragen, ohne Gefahr zu laufen, das Unternehmen, das er über mehr als 30 Jahre aufgebaut habe, an den Beschwerdegegner verkaufen zu müssen. Zudem müsste er den Preis der Aktien - falls der Beschwerdegegner den von ihm offerierten Preis ablehne - durch die Revisionsstelle verbindlich festlegen lassen, was einem Vabanquespiel gleichkomme. Einschränkend sei sodann auch die Bestimmung betreffend Kapitalerhöhung (Ziff. 3 ABV). Danach könne der Beschwerdegegner eine Kapitalerhöhung verhindern, wenn er sein Bezugsrecht nicht ausübe, da in diesem Fall Kapitalerhöhungen lediglich mittels Ausgabe von stimmrechtslosen Partizipationsscheinen bzw. stimmrechtslosen Wertpapieren möglich sei. Schliesslich würde die Stimmrechtsbindung (Ziff. 9 ABV) und der Anspruch auf einen Sitz im Verwaltungsrat (Ziff. 5 ABV) sowie das Einsichtsrecht in sämtliche Geschäftsunterlagen (Ziff. 6 ABV) erheblich einschränkend wirken. Verletze er auch nur eine dieser Bestimmungen, drohe ihm für jeden Einzelfall die Zahlung einer Konventionalstrafe. Angesichts dieser qualitativen Bindungen verstosse der Vertrag nur dann nicht gegen <ref-law>, wenn er zeitlich beschränkt werde. Dies auf den 31. Dezember 2001, als das Arbeitsverhältnis mit ihm, dem Beschwerdeführer, aufgelöst worden sei und damit keiner der drei Gründeraktionäre mehr strategisch/operative Funktionen in der Gesellschaft wahrgenommen habe. Damit wäre der Vertrag nach 17 Jahren beendet worden. Jedenfalls habe der Vertrag aber im Zeitpunkt der Nichtwahl des Beschwerdegegners im Jahr 2009 (24 Jahre nach Vertragsschluss) die zulässige Höchstdauer überschritten.
5.4. Gemäss <ref-law> kann sich niemand seiner Freiheit entäussern oder sich in ihrem Gebrauch in einem das Recht oder die Sittlichkeit verletzenden Grade beschränken. Nach bundesgerichtlicher Rechtsprechung können Verträge nicht auf ewige Zeit abgeschlossen werden (<ref-ruling> E. 5b S. 77; <ref-ruling> E. 2d S. 364; <ref-ruling> E. 2a S. 161; je mit Verweisen). Sieht ein Dauervertrag keine Kündigungsmöglichkeit vor, ist nach den Umständen des Einzelfalls zu entscheiden, wann der Zeitpunkt gekommen ist, in dem das Vertragsverhältnis aufgelöst werden kann (BGE <ref-ruling> E. 2a S. 161 f.; Urteil 4A_141/2007 vom 20. August 2007 E. 4.1). Geht es um die Freiheit in der wirtschaftlichen Betätigung, ist das Bundesgericht zurückhaltend in der Annahme eines Verstosses gegen <ref-law> (vgl. bezüglich eines Aktionärbindungsvertrags bereits <ref-ruling> E. 2a S. 174). Eine vertragliche Beschränkung der wirtschaftlichen Freiheit wird nur dann als übermässig angesehen, wenn sie den Verpflichteten der Willkür eines anderen ausliefert, seine wirtschaftliche Freiheit aufhebt oder in einem Masse einschränkt, dass die Grundlagen seiner wirtschaftlichen Existenz gefährdet sind (<ref-ruling> E. 5 S. 345 f.; <ref-ruling> E. 2a S. 162; Urteil 4A_68/2008 vom 10. Juli 2008 E. 3.3.2; je mit Hinweisen). <ref-law> schützt nicht vor langer Vertragsdauer, sondern vor übermässiger Bindung (BGE <ref-ruling> E. 2b S. 163).
5.5. Der Beschwerdegegner wendet in grundsätzlicher Hinsicht ein, soweit der Beschwerdeführer zur Übermässigkeit der Bindung als solcher referiere, argumentiere er an der Sache vorbei. Nachdem hier allerhöchstens eine übermässige Bindung in zeitlicher Hinsicht und damit höchstens eine modifizierte Teilnichtigkeit zur Debatte stehe, sei einzig zu prüfen, ob die eingeklagten Ansprüche auf Einsitz in den Verwaltungsrat und auf anteilsmässige Beteiligung des Beschwerdegegners an den Bezügen des Beschwerdeführers sowie die Konventionalstrafe für Vertragsverletzungen eine allfällige Verletzung der Persönlichkeitsrechte des Beschwerdeführers darstellen. Sowohl das vereinbarte Vorhandrecht als auch die Bestimmung über die Aktienkapitalerhöhung und die Stimmrechtsbindung seien für das vorliegende Verfahren irrelevant.
Dieses Vorbringen ist insofern zutreffend, als es bei der Geltendmachung der übermässigenBindungeines Vertrages auf die tatsächliche Handhabung des Vertrages ankommt. Namentlich bei Unterlassungspflichten ist eine "überschiessende" Umschreibung durchaus geläufig und umfasst häufig auch Elemente, an denen der Verbotsberechtigte kein Interesse hat. Aber auch positive Pflichten können durch expliziten oder konkludenten Anspruchsverzicht gegenüber dem vertraglich festgelegten Umfang herabgesetzt sein. Massgeblich ist die tatsächliche Freiheitsbeschränkung bzw. inwieweit der Berechtigte diese geltend macht (EUGEN BUCHER, a.a.O., N. 299 f. und 530 zu <ref-law>). Geltendmachen bedeutet aber nicht nur: Im konkreten Fall einklagen. Werden bei einem umfassenden Vertrag wie einem Aktionärbindungsvertrag nur einzelne Ansprüche daraus eingeklagt, beharrt der Berechtigte aber auf der Gültigkeit des ganzen Vertrages und hält der Beklagte den eingeklagten Ansprüchen dessen Unwirksamkeit gestützt auf <ref-law> entgegen, hängt die Beurteilung der Übermässigkeit von der Gesamtheit der durch den Vertrag geregelten Gegenstände und den den Parteien auferlegten Pflichten und deren Dauer ab (vgl. FORSTMOSER/KÜCHLER, a.a.O., Rz. 1918; MONIKA HINTZ-BÜHLER, a.a.O., S. 151 f.; allgemein EUGEN BUCHER, a.a.O., N. 290 ff. zu <ref-law>; a.A. OLIVIER BLOCH, Les conventions d'actionnaires et le droit de la société anonyme en droit suisse, 2. Aufl. 2011, S. 80, der die Pflichten isoliert zu betrachten scheint). Dass einzelne Pflichten des ABV (aus anderen Gründen als <ref-law>) dahingefallen wärenoder der Berechtigte auf deren Einhaltung verzichtet hätte, weshalb diese nicht mehr freiheitsbeschränkend wären, wird nicht vorgebracht.
5.6.
5.6.1. Der Beschwerdeführer ist auf jeden Fall nicht im Sinn der bundesgerichtlichen Formel durch den Vertrag in den Grundlagen seiner wirtschaftlichen Existenz gefährdet. Die Vorinstanz hat in diesem Zusammenhang zutreffend auf die "sehr gute Entwicklung" der D._AG seit ihrer Gründung verwiesen, welche dies ausschliesse.
5.6.2. Da es immer um die übermässige Beschränkung der Freiheit geht, ist auch eine lange Bindung zulässig, wenn die Bindung mit der Aktionärseigenschaft gekoppelt ist und diese zu fairen, nicht erheblich erschwerten Bedingungen aufgegeben werden kann (FORSTMOSER/ KÜCHLER, a.a.O., Rz. 1937; PETER BÖCKLI, Schweizer Aktienrecht, 4. Aufl. 2009, S. 1537 § 12 Rz. 577). Eine übermässige Bindung kann aber namentlich vorliegen, wenn diese im Rahmen einer Nachfolgeregelung die gesamte wirtschaftliche Betätigungsfreiheit einer Vertragspartei betrifft und damit zugleich auch in deren persönliches Betätigungsfeldeingreift (FORSTMOSER/KÜCHLER, a.a.O., Rz. 1936 und 1938; Hervorhebung beigefügt).
Der Beschwerdeführer verweist im Zusammenhang mit der angesichts seines Alters anstehenden Nachfolgeplanung auf das Vorhandrecht (Vorkaufsrecht) und namentlich auf Ziffer 4.3 lit. a letzter Absatz ABV. Danach besteht bei einem Verzicht auf die Ausübung des Vorhandrechts das Recht, "an einen beliebigen Interessenten, sei dieser bereits Aktionär oder eine Drittperson, zum offerierten bzw. festgesetzten Preis zu verkaufen". Diese Bestimmung in Kombination mit der Verpflichtung der Überbindung des ABV auf einen Nachfolger gemäss Ziffer 10 ABV verhindere eine Unternehmensnachfolge selbst dann, wenn der Beschwerdegegner sein Vorhandrecht nicht ausübe. Eine Übertragung mittels Erbvorbezug oder Schenkung sei ausgeschlossen. Das Vorhandrecht verhindere daher, dass sein Lebenswerk familienintern weitergeführt werden könne.
Es kann offenbleiben, welche Bedeutung der zitierten Ziffe r 4.3 lit. a letzter Absatz ABV zukommt. Ein Erbvorbezug oder eine Schenkung an die Söhne wird dadurch nämlich nicht ausgeschlossen. In der Einleitung zu Ziffer 4 ABV heisst es zwar, die nachfolgende Regelung gelte "[F]ür alle zur Uebertragung gelangenden Aktien sowie Bezugsrechte ". Die Regelung als solche beginnt aber mit der Formulierung "Will ein Aktionär Aktien verkaufen (...) " (Ziff. 4.1 ABV) und knüpft damit an den Verkauf an. Es ist deshalb davon auszugehen, dass das Vorkaufsrecht wie im gesetzlich geregelten Fall (<ref-law>), der zwar den Grundstückkauf betrifft und bereits daher nicht direkt anwendbar ist, zu verstehen ist. Nicht als Vorkaufsfall gilt namentlich die Zuweisung an einen Erben in der Erbteilung (<ref-law>). Allgemein ist es kein Vorkaufsfall, wenn ein Geschäft unter der speziellen Berücksichtigung der persönlichen Beziehungen abgeschlossen wird (Urteil 4A_22/2010 vom 15. April 2010 E. 3). In der Lehre werden in diesem Sinn etwa der Erbvorbezug oder die gemischte Schenkung genannt (BÉNÉDICT FOËX, in: Commentaire Romand, Code des obligations I, 2. Aufl. 2012, N. 12 zu <ref-law>; HANS GIGER, Berner Kommentar, 1997, N. 18 zu <ref-law>; URS FASEL, in: Basler Kommentar, Obligationenrecht I, 6. Aufl. 2015, N. 4 zu <ref-law>). Aus dem Vorkaufsrecht als solchem lässt sich daher - auch im Hinblick auf eine Unternehmensnachfolge -noch keine übermässige (persönliche) Bindung ableiten.<ref-law>, der für obligatorische Vorkaufsrechte an Grundstücken eine Höchstdauer von 25 Jahren vorsieht, ist hier nicht einschlägig (MAX MEYER, Der Aktionärbindungsvertrag als Instrument der juristischen Praxis, ZBJV 136/2000 S. 423). Bei der Gesamtbetrachtung ist die einschränkende Wirkung des Vorkaufsrechts aber immerhin mitzuberücksichtigen.
Zutreffend ist jedoch, wie der Beschwerdeführer geltend macht, dass er in jedem Fall gemäss Ziffer 10 ABV den Vertrag auf seine "Rechtsnachfolger " übertragen muss, also im Fall einer Unternehmensnachfolge innerhalb der Familie auf seine Söhne. Ist der neue Aktionär resp. einer der neuen Aktionäre gleichzeitig Geschäftsführer der D._AG, käme auch der Beteiligungsanspruch des Beschwerdegegners gemäss Ziffer 8 lit. a/cc ABV zum Tragen. Die Beteiligung am Lohn als solche kann keine übermässige Bindung im Sinn von <ref-law> begründen. Diese führte zwar zu einem einseitigen Leistungsverhältnis, wie der Beschwerdeführer verschiedentlich moniert. Jedoch handelt es sich dabei schlicht und einfach um eine ursprünglich inäquivalente "Preis"abrede (vgl. die entsprechende Kritik von ERNST A. KRAMER, a.a.O., S. 29, zu <ref-ruling>). Dass dieses Ungleichgewicht mit einer positiven Entwicklung des Unternehmens immer grösser werden kann, war keineswegs unvorhersehbar, wie die Vorinstanz zutreffend festhielt. Jedoch ändert sich die Situation, wenn die Aktien im Rahmen einer Nachfolgeregelung übertragen werden. War der Unternehmensgründer bereit, den nichtmitarbeitenden Minderheitsaktionär an seinen eigenen Lohnerhöhungen partizipieren zu lassen, ändert sich dies, wenn die Nachfolgegeneration allfällige Lohnerhöhungen für sich - selbst auf ein marktmässiges Niveau - nur unter dieser Bedingung vornehmen kann. Das erschwert eine Unternehmensnachfolge, wird dadurch doch eine (vielfach angestrebte) Vereinigung von Aktionärsstellung und Geschäftsführung in einer Person wesentlich unattraktiver.
Hinzu kommt folgendes: Der ABV ist ausgerichtet auf Beibehaltung der ursprünglichen Kräfteverhältnisse (z.B. Ziff. 3 betr. Beteiligungsverhältnisse, Ziff. 4 betr. Vorhandrecht, Ziff. 8 betr. finanzielle Beteiligung). So war etwa ein nicht veränderbares (Minimal) Verhältnis zwischen dem Lohn des Beschwerdeführers als Mehrheitsaktionär und Geschäftsführer und jenem des zweiten in der Gesellschaft mitarbeitenden Aktionärs von 1 zu 0.75 vorgesehen (Ziff. 8 lit. a/aa ABV). Zudem sollte eben der nicht mitarbeitende Beschwerdegegner entsprechend seinem prozentualen Aktienanteil an Lohnerhöhungen des geschäftsführenden Mehrheitsaktionärs partizipieren. Will der Beschwerdeführer seine Aktien im Rahmen der Unternehmensnachfolge auf mehrere Personen übertragen (etwa auf seine beiden Söhne), von denen eine zugleich die Geschäftsführung übernimmt, muss dies zwangsläufig dieses Gleichgewicht stören. Der Beschwerdegegner bliebe zufolge Übertragung des ABVam Lohn des geschäftsführenden Aktionärs beteiligt, während die übrigen, nicht geschäftsführendenAktionäre auf die Dividenden beschränkt wären. Die Aktien lassen sich daher kaum in ausgewogener Weise auf mehrere Personen übertragen, was eine Planung der Unternehmensnachfolge ebenfalls erschwert.
Der in Ziffer 5 ABV statuierte Anspruch des Beschwerdegegners auf Wahl in den Verwaltungsrat oder auf Teilnahme an den Verwaltungsratssitzungen, selbst wenn er nicht förmlich im Verwaltungsrat Einsitz nimmt, erschwert die Planung einer Unternehmensnachfolge ebenfalls und steht einem damit oftmals verbundenen Generationswechsel im Wege.
Insgesamt bewirkt die Ausgestaltung des Vertrages, der bei Erlass des erstinstanzlichen Urteils seit rund 30 Jahren bestand (die zulässige Höchstdauer von Aktionärbindungsverträgen generell auf "ca. 25 bis 30 Jahre" schätzend MAX MEYER, a.a.O., S. 426),eine erheblich einschneidende Einschränkung in der persönlichen Gestaltungsfreiheit des Beschwerdeführers bei der Nachfolgeregelung. Der ABV erscheint - eine Generation nach dessen Abschluss -als die Freiheiten des Beschwerdeführers nunmehr übermässig beschränkend im Sinn von <ref-law>. Dem ist Rechnung zu tragen, indem der Vertrag zeitlich begrenzt wird und mit Wirkung ex nunc dahinfällt. Demzufolge kann der Beschwerdeführer auch nicht verpflichtet werden, den Beschwerdegegner an der nächsten Generalversammlung in den Verwaltungsrat zu wählen.
6.
Für den Fall, dass das Bundesgericht die Auffassung vertreten sollte, der ABV habe im Jahr 2002 noch rechtsgültig bestanden, macht der Beschwerdeführer eine offensichtlich unrichtige Feststellung des Sachverhalts in Bezug auf den Beteiligungsanspruch des Beschwerdegegners an der Abgangsentschädigung von Fr. 1,8 Mio. geltend. Entsprechend sei die in diesem Zusammenhang zugesprochene Konventionalstrafe von Fr. 40'000.-- nicht geschuldet, da der zugrundeliegende Anspruch verjährt sei.
6.1. Die Vorinstanz verwies wiederum weitgehend auf das Urteil der Erstinstanz. Diese hatte ausgeführt, der Beschwerdeführer habe im Jahre 2002 aufgrund der Beendigung seiner Tätigkeit als Geschäftsführer der D._AG eine Abgangsentschädigung von Fr. 1,8 Mio. erhalten. Diese sei ihm im April 2002 ausbezahlt worden; verbucht worden sei sie jedoch im Jahr 2001. In der Erfolgsrechnung 2001 sei sie als "Abfindung A._" bei den passiven Rechnungsabgrenzungen aufgeführt worden. Die Abfindung sei arbeitsrechtlich als Gratifikation im Sinn von <ref-law> und nicht als Lohn zu qualifizieren. Trotz dieser rechtlichen Einordnung sei davon auszugehen, dass der Beschwerdegegner einen Beteiligungsanspruch daran gemäss Ziffer 8 ABV habe, denn nach dem Zweck dieser Bestimmung sollte der Beschwerdegegner an allen Bezügen des Beschwerdeführers in dessen Funktion als Geschäftsführer partizipieren können. Der Beschwerdeführer sei auch verantwortlich dafür, dass die Auszahlung unterblieben sei und schulde die Erfüllung dieses Beteiligungsanspruchs aufgrund eines im ABV enthaltenen Garantieversprechens (<ref-law>).
Die Vorinstanz stellte sodann fest, der Anspruch auf Gratifikation werde in der Regel zum Zeitpunkt des Anlasses ihrer Ausrichtung fällig, könne aber durch Vereinbarung oder Übung auf einen späteren Zeitpunkt verschoben werden; so etwa die Jahresabschlussgratifikation, die in der Regel erst nach Vorliegen der Abschlussrechnung und deren Genehmigung fällig werde (unter Hinweis auf REHBINDER/STÖCKLI, Berner Kommentar, 2010, N. 10 zu <ref-law>). Entsprechend spiele es auch vorliegend keine Rolle, dass die Abgangsentschädigung noch im Rechnungsjahr 2001 verbucht worden sei. Vielmehr sei der Schluss der Erstinstanz, aus Ziffer 8 lit. a/cc ABV ergebe sich, dass die Beteiligungsforderung jeweils Ende jenes Jahres zur Zahlung fällig werde, in dem die entsprechenden Lohnzahlungen des Beschwerdeführers erfolgten, nicht zu beanstanden. Das wiederum bedeute, dass der Beteiligungsanspruch des Beschwerdegegners auf der Abgangsentschädigung am 31. Dezember 2002 zur Auszahlung fällig geworden sei. Die Forderung auf Konventionalstrafe gehöre zu den sichernden Nebenrechten. Die Beteiligungsforderung habe also frühestens Ende 2012 verjähren können und das Gleiche gelte für den damit verbundenen Anspruch auf Konventionalstrafe. Mit dem Schlichtungsbegehren vom 21. Dezember 2012 sei die Verjährung unterbrochen worden.
6.2. Der Ausdruck " am Ende des jeweiligen Jahres " in Ziffer 8 lit. a/cc ABV bezieht sich offensichtlich auf das Jahr, in dem die Arbeitsleistung erbracht und parallel dazu der Lohn am Ende jeden Monats geschuldet und fällig ist (<ref-law>). Entscheidend ist somit, wann die Abfindung fällig wurde, wenn man sie - wie den Lohn - auch unter Ziffer 8 ABV subsumiert. Entgegen dem, was der Beschwerdeführer selber anzunehmen scheint, hat die Vorinstanz keinen tatsächlichen übereinstimmenden Willen angenommen, wonach die Fälligkeit erst mit Auszahlung der Abfindung eintreten solle. Da es um eine arbeitsrechtliche Forderung geht, müsste im Übrigen ein entsprechender Wille der Arbeitgeberin und des Arbeitnehmers festgestellt sein, nicht ein solcher der Vertragsparteien des ABV. Vielmehr hat die Vorinstanz mit ihrem Hinweis auf die Übung und eine entsprechende Literaturmeinung normativ argumentiert. Es geht somit nicht darum, eine willkürliche Tatsachenfeststellung zu korrigieren.
Die fragliche Abgangsentschädigung ist eine Leistung bei Beendigung des Arbeitsverhältnisses und nicht eine Gratifikation bei laufendem Arbeitsverhältnis. Grundsätzlich werden mit der Beendigung des Arbeitsverhältnisses alle Forderungen aus dem Arbeitsverhältnis fällig (<ref-law>). Diese Bestimmung ist absolut zwingend (<ref-law>). Ein Vorbehalt besteht für Ansprüche auf Anteil am Geschäftsergebnis, die fällig werden, sobald das Geschäftsergebnis feststeht, spätestens jedoch sechs Monate nach Ablauf des Geschäftsjahres (Art. 339 Abs. 3 i.V.m. <ref-law>). In der Lehre wird zum Teil die Auffassung vertreten, diese Regelung sei auch auf Gratifikationen anwendbar, deren Höhe vom Geschäftsergebnis abhängt (STREIFF/VON KAENEL/RUDOLPH, Arbeitsvertrag, 7. Aufl. 2012, N. 7 zu <ref-law>; ADRIAN STAEHELIN, Zürcher Kommentar, 2014, N. 7 zu <ref-law>; WYLER/HEINZER, Droit du travail, 3. Aufl. 2014, S. 699). Das macht Sinn, denn auch solche Gratifikationen können nicht bestimmt werden, bevor das Geschäftsergebnis bekannt ist. Gerade bei der von der Vorinstanz unter Hinweis auf REHBINDER/STÖCKLI erwähnten Jahresabschlussgratifikation handelt es sich offensichtlich um eine solche ergebnisabhängige Leistung. Umgekehrt bedeutet dies, dass die Fälligkeit mit Beendigung des Arbeitsverhältnisses für jene Leistungen eintritt, die nicht vom Geschäftsergebnis abhängen. Hier wurde nach den verbindlichen Feststellungen der Vorinstanz in Verbindung mit jenen der Erstinstanz die Abfindung im Rechnungsjahr 2001, dem letzten Arbeitsjahr des Beschwerdeführers, als transitorisches Passivum verbucht und es gibt keine Anhaltspunkte, dass der so bestimmte Betrag von Fr. 1,8 Mio. in irgendeiner Form vom Geschäftsergebnis des Jahres 2001 abhängig gewesen wäre. Entsprechend gibt es auch keinen Grund, davon auszugehen, dass die Abfindung nicht mit der Beendigung des Arbeitsverhältnisses per Ende 2001 hätte fällig sein sollen. War die Abfindung des Beschwerdeführers aber per Ende 2001 fällig, war es auch die Beteiligungsforderung des Beschwerdegegners gemäss Ziffer 8 lit. a/cc ABV ( "[D]ie Auszahlung erfolgt jährlich am Ende des jeweiligen Jahres") resp. das diesbezügliche Garantieversprechen (Urteil 4A_220/2013 vom 30. September 2013 E. 5.2). Damit begann die Verjährung (<ref-law>). Als das Schlichtungsbegehren als erste verjährungsunterbrechende Handlung im Dezember 2012 gestellt wurde, waren diese Forderungen daher bereits verjährt.
6.3. Der Beschwerdegegner ist freilich der Auffassung, selbst wenn der Beteiligungsanspruch und - so ist zu ergänzen - das Garantieversprechen verjährt sein sollte, habe der Beschwerdeführer trotzdem die Konventionalstrafe zu leisten. Die Verjährung bewirke nicht den Untergang der Forderung; diese wandle sich vielmehr zu einer Naturalobligation. Deshalb habe der Beschwerdeführer auf jeden Fall gegen den ABV verstossen, wenn er eine Auszahlung der Beteiligungsforderung an den Beschwerdegegner verhindert habe. Dem ist nicht zu folgen. Zwar kann mit einer Konventionalstrafe auch die Erfüllung einer Naturalobligation gesichert werden (EUGEN BUCHER, Schweizerisches Obligationenrecht Allgemeiner Teil [nachfolgend OR AT], 2. Aufl. 1988, S. 522 und S. 523 bei Fn. 11). Dies bedarf jedoch einer entsprechenden Vereinbarung, da eine Konventionalstrafegrundsätzlich auch betreffend Durchsetzbarkeit von der Hauptschuld abhängig ist. Mit der Verjährung der gesicherten Forderung verjährt daher vorbehältlich einer im Rahmen der Rechtsordnung zulässigen, abweichenden Abrede auch die Konventionalstrafe (INGEBORG SCHWENZER, Schweizerisches Obligationenrecht, Allgemeiner Teil, 5. Aufl. 2009, S. 491 Rz. 71.06; EUGEN BUCHER, OR AT, a.a.O., S. 523 bei Fn. 11; GAUCH/ SCHLUEP/EMMENEGGER, Schweizerisches Obligationenrecht, Allgemeiner Teil, Bd. II., 10. Aufl. 2014, Rz. 3841; KARL SPIRO, Die Begrenzung privater Rechte durch Verjährungs-, Verwirkungs- und Fatalfristen, Band I, 1975, S. 115 f.; EHRAT/WIDMER, in: Basler Kommentar, Obligationenrecht I, 6. Aufl. 2015, N. 4 zu <ref-law>. A.A. ROLAND BENTELE, Die Konventionalstrafe nach Art. 160-163 OR, 1994, S. 106 f.). Eine entsprechende Abrede ist weder behauptet noch ersichtlich. Eine allfällige Konventionalstrafe in Bezug auf die Nichtleistung des Beteiligungsanspruchs resp. des diesbezüglichen Garantieversprechens ist daher ebenfalls verjährt.
6.4. Zu den drei Konventionalstrafen, die aufgrund der Nichtwahl des Beschwerdegegners in den Verwaltungsrat verfallen sind, äussert sich der Beschwerdeführer nicht. Da der ABV während dem insofern relevanten Zeitraum noch gültig war (vgl. E. 5.6.2 in fine), bleibt es diesbezüglich beim angefochtenen Urteil.
7.
Der Beschwerdeführer dringt mit seiner Beschwerde teilweise durch. Die Klage ist abzuweisen, soweit es um die Verpflichtung zur (künftigen) Wahl des Beschwerdegegners in den Verwaltungsrat der D._AG geht sowie hinsichtlich der Zahlung von Fr. 40'000.-- nebst Zins zu 5 % seit 23. Oktober 2012. Im Übrigen, d.h. hinsichtlich der Zahlung von Fr. 120'000.-- nebst Zins zu 5 % ab drei unterschiedlichen Zeitpunkten ist das vorinstanzliche Urteil hingegen zu bestätigen.
Bei diesem Ausgang des Prozesses rechtfertigt es sich für das bundesgerichtliche Verfahren, die Kosten von Fr. 8'000.-- den Parteien je hälftig aufzuerlegen und keine Parteientschädigungen zuzusprechen. Die Sache ist zur Neuverlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückzuweisen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der angefochtene Entscheid wird aufgehoben. Der Beschwerdeführer wird verpflichtet, dem Beschwerdegegner Fr. 120'000.-- zuzüglich Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit 11. Juni 2009, Zins von 5 % auf einem Betrag von Fr. 40'000.-- seit 30. Juni 2011 und Zins zu 5 % auf einem Betrag von Fr. 40'000.-- seit 28. Juni 2012 zu bezahlen. Im Übrigen wird die Klage abgewiesen.
2.
Die Gerichtskosten von Fr. 8'000.-- werden den Parteien je zur Hälfte auferlegt.
3.
Es werden für das bundesgerichtliche Verfahren keine Parteientschädigungen zugesprochen.
4.
Zur Neufestsetzung der Kosten des kantonalen Verfahrens wird die Sache an das Obergericht Appenzell Ausserrhoden zurückgewiesen.
5.
Dieses Urteil wird den Parteien und dem Obergericht Appenzell Ausserrhoden, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 27. Juni 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi