Sachverhalt:
A.
A.a. Mit Kaufvertrag vom 16. Mai 1986 verkaufte C.A._ (Verkäufer) seinen Söhnen B.A._ (Kläger, Beschwerdegegner) und A.A._ (Beklagter, Beschwerdeführer) das Grundstück xxx (nachfolgend: das Grundstück). Die Söhne übernahmen das Grundstück mit dem darauf befindlichen Hotel- und Restaurationsbetrieb zu Gesamteigentum. Für den Kaufpreis von Fr. 800'000.-- gewährte der Verkäufer den Söhnen ein Darlehen. Hinsichtlich der Regelung der Rechtsbeziehungen unter den Käufern verweist der Kaufvertrag auf eine gesondert zu schliessende Vereinbarung.
Am gleichen Tag schlossen die beiden Söhne eine Vereinbarung ab, worin sie den Erwerb des Grundstücks zu Gesamteigentum mit einem internen Anteil von 1/2 bestätigten. Weiter hielten sie unter Ziffer 2 u.a. fest:
"Herr A.A._ betreibt auf dem Grundstück xxx gegenwärtig allein einen Hotel- und Restaurationsbetrieb.
Herr B.A._ ist gegenwärtig an der Unternehmung noch nicht beteiligt.
Herr B.A._ räumt seinem Bruder Herrn A.A._ eine obligatorische Nutzniessung an seinem internen Anteil von 1⁄2 am Grundstück xxx ein.
Diese Nutzniessung ist beschränkt bis Herr B.A._ sich zu 50 % am diesbezüglichen Hotel- und Restaurationsbetrieb beteiligt".
Weiter verpflichtete sich A.A._, einstweilig sämtliche anfallenden Kosten, insbesondere Zinsen und Amortisationen, betreffend das Grundstück sowie das Darlehen von Fr. 800'000.-- zu bezahlen (Ziff. 2 Abs. 5). B.A._ verpflichtete sich, innerhalb von 24 Monaten seit Eintritt in die Unternehmung 50 % der durch A.A._ geleisteten Amortisationen (Ziff. 2 Abs. 6) und 50 % der " Kosten betr. wertvermehrenden [sic] Erneuerungskosten" an A.A._ zurückzuvergüten, wobei diese Regelung für alle Investitionen gelten sollte, die A.A._ seit 1984 getätigt habe (Ziff. 3 Abs. 1). Sollten sich die beiden Parteien über den Preis nicht einigen können, so werde dieser durch eine fachkundige Treuhandstelle definitiv festgestellt (Ziff. 3 Abs. 2).
Amortisationen im Sinn der Vereinbarung sind durch A.A._ keine geleistet worden.
A.b. Mit Erbteilungsvertrag vom 31. August 2006 vereinbarte die Erbengemeinschaft C.A._, dass A.A._ an die Mutter, D.A._, eine jährliche Abgeltung von 3 % auf Fr. 800'000.--, ausmachend Fr. 24'000.--, leistet, wobei A.A._ intern die Abgeltungslast von B.A._ für den Betrag von Fr. 400'000.-- übernimmt, solange dieser ihm die Nutzung des Hotels A._ überlässt (lit. F). Weiter erliess D.A._ ihren Söhnen die bestehende Darlehensschuld von Fr. 800'000.-- unter Vorbehalt der Ertragsnutzung nach lit. F.
A.c. Mit Schreiben vom 7. Januar 2007 erklärte B.A._ seinem Bruder:
"Nach Vereinbarung vom 16 May [sic] 1986 erkläre ich hiermit auf den 1.1.2007 meine Beteiligung von 50 % des diesbezüglichen Hotel und Restaurations Betrieb [..]) Da ich zurzeit nicht in der Schweiz lebe und der Verwaltung des Projektes nicht beitragen kann, wäre ich bereit einen marktgerechten Vertrag abzuschliessen. [..]"
Spätestens ab dem 1. Januar 2007 führte A.A._ auf dem Grundstück keinen Hotel- und Restaurationsbetrieb mehr, sondern vermietete den Hoteltrakt und das Restaurant separat an Dritte.
B.
B.a. Am 19. März 2012 klagte B.A._ beim Handelsgericht des Kantons Bern. Dieses beschränkte das Verfahren mit Verfügung vom 28. März 2012 auf die Frage der sachlichen Zuständigkeit. Mit Entscheid vom 27. März 2013 trat es auf die Klage nicht ein. Die vom Kläger dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 4A_234/2013 vom 20. Januar 2014 gut und wies die Sache zur weiteren Behandlung an das Handelsgericht zurück.
Mit im Laufe des Verfahrens (zulässigerweise) leicht abgeändertem Rechtsbegehren verlangte der Kläger:
"1. Es sei festzustellen, dass der Kläger seit dem 1. Januar 2007 (eventuell ab einem späteren, gerichtlich festzulegenden Datum) hälftig am Reingewinn der Liegenschaft xxx beteiligt ist.
2. Der Beklagte sei unter Androhung der Strafe gemäss <ref-law> zu verurteilen, dem Kläger Einblick in alle Angelegenheiten (unter Einschluss insbesondere von Verträgen, Abrechnungen, Belegen) zu gewähren, welche sich auf die Liegenschaft xxx beziehen.
3. Dem Beklagten sei es unter Androhung der Straffolgen gemäss <ref-law> zu untersagen, ohne die Zustimmung des Klägers Verträge abzuschliessen oder Realakte vorzunehmen, welche sich auf die Liegenschaft xxx beziehen.
4. Der Beklagte sei zu verurteilen, dem Kläger den hälftigen Anteil aller seit dem 1. Januar 2007 angefallenen Liegenschaftserträge (bestehend aus Mietzinseinnahmen unter Einschluss einer M arktmiete der vom Beklagten selbst genutzten Räumlichkeiten abzüglich nachgewiesene notwendige, liegenschaftsbezogene Kosten) nebst Zins zu 5 % ab 9. Mai 2011 (Datum Schlichtungsgesuch) oder ab späterem Fälligkeitstermin zu bezahlen.
5. Mehrforderungen bleiben vorbehalten."
Nach Durchführung des Beweisverfahrens bezifferte der Kläger sein Rechtsbegehren 2 auf total Fr. 517'924.60 nebst Zins zu 5 % (mit unterschiedlichen Fälligkeiten).
B.b. Am 29. Juni 2018 entschied das Handelsgericht, es werde festgestellt, dass der Kläger seit dem 1. Januar 2015 hälftig am Reingewinn der Liegenschaft xxx beteiligt ist; soweit weitergehend werde auf das Rechtsbegehren 1 nicht eingetreten (Disp.Ziff. 1 und 2). Der Beklagte wurde verurteilt, dem Kläger als hälftigen Anteil der ab dem 1. Januar 2007 bis zum 31. Dezember 2014 angefallenen Liegenschaftserträge total Fr. 375'765.85 nebst Zins zu 5 % mit unterschiedlichen Fälligkeiten zu bezahlen (Disp.Ziff. 3). Es schützte sodann das Einsichtsbegehren des Klägers gemäss Ziffer 3 seiner Rechtsbegehren (Disp.Ziff. 4) und im Wesentlichen auch das Unterlassungsbegehren gemäss Ziffer 4 seiner Rechtsbegehren (Disp.Ziff. 4 und 5). Auf das Rechtsbegehren 5 trat es nicht ein. Es regelte sodann die Kosten- und Entschädigungsfolgen (Disp.Ziff. 8 und 9).
C.
Mit Beschwerde in Zivilsachen vom 3. September 2018 beantragt der Beklagte dem Bundesgericht, die Ziffern 1 (Feststellung der Beteiligung), 3 (Verurteilung zur Zahlung), 4 (Verurteilung zum Einblickgeben, unter Strafandrohung), 5 (Verbot Vertragsabschlüsse, unter Strafandrohung) sowie 8 und 9 (Kosten) des Entscheids des Handelsgerichts seien kostenfällig aufzuheben und die Klage vollumfänglich abzuweisen, soweit das Handelsgericht darauf eingetreten sei. Eventualiter sei die Sache zur Neubeurteilung an das Handelsgericht zurückzuweisen.
Der Beschwerdegegner trägt auf kostenfällige Abweisung der Beschwerde an, soweit darauf eingetreten werden kann. Die Vorinstanz verzichtete auf Vernehmlassung.
Mit Präsidialverfügung vom 5. Oktober 2018 wurde dem Antrag auf Gewährung der aufschiebenden Wirkung stattgegeben.

Erwägungen:
1.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft aber unter Berücksichtigung der allgemeinen Begründungsanforderungen (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f., 115 E. 2 S. 116). D ie Beschwerde ist dabei hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>).
2.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Die Vorinstanz erwog, es sei nicht davon auszugehen, dass die Parteien bereits mit der Vereinbarung vom 16. Mai 1986 eine Gesellschaft mit dem Zweck gegründet hätten, einen Hotel- und Restaurationsbetrieb zu betreiben. Dies ergebe sich primär aus den Formulierungen, dass der Beschwerdegegner "gegenwärtig an der Unternehmung noch nicht beteiligt " sei und der Beschwerdeführer "gegenwärtig allein einen Hotel- und Restaurationsbetrieb " betreibe. Weiter lasse sich auch aus den tatsächlich gelebten Verhältnissen nach Vertragsschluss ableiten, dass die Parteien keinen "animus societatis" gehabt hätten. So habe der Beschwerdegegner bis ins Jahr 2007 (Eintrittserklärung) und damit während 21 Jahren keine Mitsprache- oder Kontrollrechte geltend gemacht und sei auch nicht an Gewinn oder Verlust des Unternehmens beteiligt gewesen. Allerdings hätten die Parteien in der Vereinbarung vom 16. Mai 1986 die Möglichkeit vorgesehen, dass der Beschwerdegegner in das Unternehmen eintreten und sich am Hotel- und Restaurationsbetrieb beteiligen könne. Mit diesem Eintritt in den Hotel- und Restaurationsbetrieb wäre ipso iure eine Kollektivgesellschaft entstanden, da es sich dabei um ein kaufmännisches Unternehmen handle (unter Hinweis auf <ref-ruling> E. II.2a S. 364 f.; 73 I 311 E. 2 S. 314 f.; zit. Urteil 4A_234/2013 E. 3.4 im vorliegenden Fall). Nachdem der Beschwerdeführer aber im Zeitpunkt, als der Beschwerdegegner seine Beteiligung erklärte (7. Januar 2007) unstrittig keinen Hotel- und Restaurationsbetrieb mehr geführt habe, sondern die Hotelzimmer und das Restaurant an Dritte vermietet hatte, sei mit der Beitrittserklärung des Beschwerdegegners keine Kollektivgesellschaft entstanden. Das Verhältnis der Parteien habe sich auf das Grundverhältnis aus Gesamteigentum am Grundstück reduziert. Gemäss Vertrag vom 16. Mai 1986 sei die "obligatorische Nutzniessung" bis zur Beteiligung am Hotel- und Restaurationsbetrieb befristet gewesen. Da dieser Eintritt im Zeitpunkt des Vertragsschlusses ungewiss gewesen sei, habe es sich um eine Bedingung gehandelt. Nachdem der Beschwerdeführer den Eintritt der Bedingung durch Aufgabe des Betriebs verunmöglicht habe, sei die Bedingung der Beteiligung zum Zeitpunkt der Eintrittserklärung gemäss <ref-law> als erfüllt zu betrachten. Es sei zwar durchaus denkbar, dass eine Einstellung des Hotel- und Restaurationsbetriebs aus ökonomischen Gründen Sinn gemacht habe, aber bei der vorliegenden Ausgangslage erscheine es treuwidrig, wenn der Beschwerdeführer eine solche vornehme, ohne sich darüber mit dem Beschwerdegegner als Gesamteigentümer der Liegenschaft und künftigem Kollektivgesellschafter zu verständigen. Daher sei auch unerheblich, ob die Parteien ursprünglich eine aktive Beteiligung des Beschwerdegegners als Voraussetzung für den Eintritt in das Unternehmen vereinbart hatten, wie der Beschwerdeführer geltend mache, oder ob hierfür eine entsprechende Willensäusserung des Beschwerdegegners genügt hätte.
Das Grundstück sei der einfachen Gesellschaft, bestehend aus den Parteien mit einem internen Anteil von je 1⁄2 verkauft worden. Damit sei von einer einfachen Gesellschaft mit dem Zweck, Eigentum zu erwerben und zu bewirtschaften als massgeblichem Gesamthandverhältnis auszugehen. Bezüglich der Liegenschaftsverwaltung, welche der Beschwerdeführer ohne Zustimmung des Beschwerdegegners aufgenommen habe, hätten die Parteien keinen Gesellschaftsvertrag abgeschlossen. Gemäss Art. 532 und 533 OR habe der Beschwerdegegner somit hälftigen Anteil am Gewinn, der aus der Verwaltung der im Gesamteigentum stehenden Liegenschaft resultiert.
Daran ändere entgegen dem Beschwerdeführer auch nichts, dass das Pub seit Oktober 2016 vom Beschwerdeführer wieder selber geführt werde und per 31. Mai 2017 die Dauervermietung weggefallen sei. Denn er könne vertragliche Abmachungen nicht einseitig ändern. Nachdem die Vereinbarung vom 16. Mai 1986 durch die einseitige Umnutzung der Liegenschaft von einem Hotel- und Restaurationsbetrieb in ein vermietetes Gebäude ihren Gegenstand verloren habe, könne der Beschwerdeführer diese Vereinbarung nicht durch erneuten eigenmächtigen Entscheid über die Nutzung der gemeinschaftlichen Liegenschaft wieder aufleben lassen.
Zusammenfassend schloss die Vorinstanz, die alleinige Nutzniessung durch den Beschwerdeführer habe am 1. Januar 2007 gestützt auf Ziffer 2 Abs. 4 der Vereinbarung vom 16. Mai 1986 geendet und der Beschwerdegegner habe ab diesem Zeitpunkt Anspruch auf die Hälfte des Gewinns am Grundstück.
3.1. Der Beschwerdeführer rügt, die (rechtserhebliche) Annahme der Vorinstanz, er habe den Hotel- und Restaurationsbetrieb aufgegeben, sei aktenwidrig und damit willkürlich (<ref-law>). Er habe in seiner Parteibefragung ausgesagt, er habe den Restaurationsbetrieb immer weitergeführt. Dieser sei auf ihn weitergelaufen, denn er habe auf dem verpachteten Betrieb das Patent und die Überzeitbewilligung innegehabt.
Eine willkürliche Sachverhaltsfeststellung (vgl. E. 2 hiervor) liegt offensichtlich nicht vor. Die Vorinstanz hat als Nicht-Weiterführen den Sachverhalt der Weitervermietung und Verpachtung beschrieben. Dass dem in tatsächlicher Hinsicht so war, bestreitet auch der Beschwerdeführer nicht. Eine andere Frage ist die rechtliche Würdigung dieses Sachverhalts (vgl. nachfolgend).
3.2. Hinsichtlich der Auslegung der Vereinbarung vom 16. Mai 1986 durch die Vorinstanz rügt der Beschwerdeführer eine Verletzung des Verhandlungsgrundsatzes (<ref-law>) und des Willkürverbots (<ref-law>). Es gebe keine Anhaltspunkte in den Akten, wonach gemäss der Vereinbarung vom 16. Mai 1986 der Betrieb des "Hotel A._" nur in der Form eines Hotels und einer Restauration gemeint gewesen sei, wie die Vorinstanz annehme. Der Beschwerdegegner selber habe das nie so vorgebracht. Ferner rügt der Beschwerdeführer, die Vorinstanz habe in Verletzung von <ref-law>, Art. 2 und 3 Abs. 1 ZGB, <ref-law> sowie <ref-law> angenommen, die mit der Vereinbarung vom 16. Mai 1986 eingeräumte Nutzniessung sei mit der Erklärung des Beschwerdegegners im Jahr 2007 beendet worden, weil der Beschwerdeführer mit der "Einstellung des Hotel- und Restaurationsbetriebs" treuwidrig im Sinn von <ref-law> den Eintritt der in der Vereinbarung vorgesehenen Bedingung verhindert habe. Vielmehr, so der Beschwerdeführer, habe er sich auf die vertragliche Vereinbarung verlassen und im Rahmen seiner vertraglichen Befugnisse gehandelt lange vor der Erklärung des Beschwerdegegners vom 7. Januar 2007. Er sei deshalb auch ohne weiteres befugt gewesen, den Betrieb in der ökonomisch sinnvolleren Form der Vermietung des Hotels und Verpachtung des Restaurationsbetriebs weiterzuführen. Nach richtiger Auslegung des Vertrages habe der Beschwerdegegner keinen Anspruch auf Eintritt in den Betrieb, wenn er nicht auch selber tätig werde. Die Vorinstanz entziehe sich der eigenständigen Prüfung der Frage, ob eine aktive Beteiligung des Beschwerdegegners eine Voraussetzung für dessen Eintritt in das Unternehmen gewesen sei und nach wie vor sei. Dasselbe gelte für die fehlende Voraussetzung des Abschlusses eines Ehevertrages mit Gütertrennung (Ziff. 6 der Vereinbarung vom 16. Mai 1986). Die Begründung der Vorinstanz laufe darauf hinaus, dem Beschwerdeführer anzulasten, die Liegenschaftsverwaltung des Hotels ohne Zustimmung des Beschwerdegegners aufgenommen zu haben. Dafür fehle aber jede entsprechende Tatsachenfeststellung im angefochtenen Entscheid. Der Beschwerdegegner habe keine Einwände gehabt. Die vorinstanzliche Sachverhaltsfeststellung sei als offensichtlich unrichtig im Sinne von <ref-law> zu qualifizieren und zu korrigieren.
3.2.1. Eine Bedingung gilt als erfüllt, wenn ihr Eintritt von dem einen Teil wider Treu und Glauben verhindert worden ist (<ref-law>). <ref-law> ist eine Konkretisierung von <ref-law> (Urteile 4A_293/2007 und 4A_295/2007 vom 15. Januar 2008 E. 7.1; 4C.278/2004 vom 29. Dezember 2004 E. 3.1). Nur treuwidriges Verhalten im Sinn von <ref-law> fällt unter den Regelungsbereich der Norm, nicht jedes Vereiteln bzw. Herbeiführen des Bedingungseintritts (zit. Urteil 4C.278/2004 E. 3.2; FELIX R. EHRAT/MARKUS WIDMER, in: Basler Kommentar Obligationenrecht I, 6. Aufl. 2015, N. 5 zu <ref-law>; PASCAL PICHONNAZ, in: Commentaire Romand, Code des obligations I, 2. Aufl. 2012, N. 1 zu <ref-law>). Die Parteien haben keine Pflicht, den Eintritt der Bedingung zu fördern; die Pflicht zu einem Verhalten nach Treu und Glauben erfordert nicht, dass die Parteien ihre eigenen Interessen dafür opfern (<ref-ruling> E. 3.3.3 S. 535; Urteile 4A_90/2018 vom 31. August 2018 E. 5.2; 4A_449/2013 vom 19. Februar 2014 E. 5.3; 4C.281/2005 vom 15. Dezember 2005 E. 3.5; je mit Hinweisen).
3.2.2. Indem die Vorinstanz annimmt, der Beschwerdeführer habe den Eintritt der Bedingung für eine Beteiligung des Beschwerdegegners verhindert, argumentiert sie an den tatsächlichen Gegebenheiten vorbei. Sie erkennt selbst, es sei durchaus denkbar, dass eine Einstellung des Hotel- und Restaurationsbetriebs aus ökonomischen Gründen Sinn gemacht habe. Sie bemängelt aber, dass der Beschwerdeführer eine solche vorgenommen habe, ohne sich darüber mit dem Beschwerdegegner als Gesamteigentümer der Liegenschaft und künftigem Kollektivgesellschafter zu verständigen. Den tatsächlichen Feststellungen im angefochtenen Entscheid ist aber nicht zu entnehmen, dass der Beschwerdegegner je behauptet hätte, er sei mit der Einstellung des Hotelbetriebes nicht einverstanden. Der Beschwerdegegner hat mit seinem Schreiben vom 7. Januar 2007 gestützt auf die getroffenen Vereinbarung den "Eintritt" in den Betrieb angemeldet und schliesslich gegen den Beschwerdeführer Klage eingereicht. Aus der Klagebegründung ergibt sich, dass er sich bei Klageeinreichung bewusst war, dass sich der Betrieb im damaligen Zeitpunkt auf eine Liegenschaftsverwaltung hinsichtlich eines Hotel- und Restaurationsbetriebs beschränkte. Der Beschwerdegegner will mithin genau besehen gar nicht in einem Hotelbetrieb tätig werden, sondern fordert die hälftige Beteiligung am Ertrag der gemeinsamen Liegenschaft, wie er selber ausführt. Die Aufnahme einer Tätigkeit im Hotelbetrieb wäre dem Beschwerdegegner gemäss seiner Erklärung vom 7. Januar 2007 in diesem Zeitpunkt mit Blick auf seinen Wohnsitz ohnehin nicht möglich gewesen. Die Verhinderung eines Bedingungseintritts wider Treu und Glauben im Sinn von <ref-law> ist somit zu verneinen. Es kann daher offenbleiben, ob der Beschwerdegegner Kenntnis von der Umstellung des Geschäftsmodells und nichts dagegen einzuwenden hatte, wie der Beschwerdeführer geltend macht bzw. ob eine Orientierung unterblieb, wie der Beschwerdegegner darlegt. Entscheidend ist, dass er in der Klage trotz Kenntnis des veränderten Geschäftsmodells dieses nicht beanstandet, sondern die hälftige Beteiligung am Ertrag der gemeinsamen Liegenschaft verlangt hat. Dies zeigt, dass er mit der Änderung des Geschäftsmodells einverstanden ist. Zu prüfen bleibt, ob (trotz des veränderten Geschäftsmodells) eine aktive Beteiligung des Beschwerdegegners eine Voraussetzung für dessen Eintritt in das Unternehmen und Beteiligung am Gewinn bildet.
3.3. Bei Abschluss der Vereinbarung war der Beschwerdegegner 25 Jahre und der Beschwerdeführer 29 Jahre alt. Die Formulierungen in Ziffer 2 Abs. 2 und 4 des Vertrages vom 16. Mai 1986, wonach der Beschwerdegegner " gegenwärtig an der Unternehmung noch nicht beteiligt" ist bzw. die Nutzniessung beschränkt ist " bis Herr B.A._ sich zu 50 % am diesbezüglichen Hotel- und Restaurationsbetrieb beteiligt " [Herv. beigefügt] zeigen, dass die Parteien davon ausgingen, der Beschwerdegegner werde sich in Zukunft beteiligen und dass - wenn er diesen Schritt tut - der Hotel- und Restaurationsbetrieb noch besteht. Der Zweck der Vereinbarung war klar, in einer ersten Zeitspanne dem Beschwerdeführer die alleinige Führung und nach dem Beitritt des Beschwerdegegners beiden Brüdern eine gemeinsame Weiterführung des Hotel-/ Restaurationsbetriebs zu ermöglichen. Der Beschwerdegegner gab in seiner Einvernahme an, er sei damals noch jung gewesen und habe die Welt sehen wollen. Zu jenem Zeitpunkt habe er das Hotel sicher nicht führen wollen. Der Beschwerdeführer seinerseits führte aus, es seien der Vater und der Notar gewesen, die diese Regelung (gemeint die Vereinbarung vom 16. Mai 1986) getroffen hätten. "Wir konnten uns damals nicht mehr als die nächsten 5 bis 10 Jahr[e] vorstellen". "Aber die Idee war schon, dass B.A._ eintreten, im Sinne von Arbeiten, konnte. Er hat ja damals schon die Küche gemacht". Und zur aktuellen bzw. veränderten Situation erklärte der Beschwerdeführer, als Zukunft der Liegenschaft sehe er den Verkauf. Er wolle dort kein Hotel mehr aufmachen. Die Löhne seien zu hoch und die Preise zu tief, um ein kleines Hotel rentabel zu führen. Auch der Betrieb des Pubs sei nur eine Übergangslösung.
3.3.1. Daraus ergibt sich, dass die Parteien die längerfristige Entwicklung nicht bedachten, als sie die Vereinbarung vom 16. Mai 1986 unterzeichneten. Die ursprünglich vorgesehene Mitarbeit des Beschwerdegegners im Betrieb wurde nach den Vorbringen des Beschwerdeführers selber vor dem Hintergrund vereinbart, dass der Beschwerdegegner damals die Küche gemacht hat, mithin zur entsprechenden Mitarbeit im Betrieb besonders geeignet war. Wurde das Geschäftsmodell gewechselt, kann der Beschwerdegegner diese Eignung nicht mehr zum Tragen bringen. Der Vertrag weist eine Lücke auf, indem die Parteien nicht geregelt haben, in welcher Form sich der Beschwerdegegner nach einer Änderung des Geschäftsmodells zu beteiligen hat. Beide Parteien gehen übereinstimmend von der Gültigkeit des Vertrages aus. Daher hat das Bundesgericht den Vertrag zu ergänzen unabhängig davon, ob der zu ergänzende (objektiv nicht wesentliche) Punkt bei Vertragsschluss für eine Partei subjektiv wesentlich war (Urteil 4C.240/2003 vom 3. Dezember 2003; <ref-ruling>; ERNST A. KRAMER, in: Berner Kommentar, 1986, N. 250 zu <ref-law>; CHRISTOPH MÜLLER, in: Berner Kommentar, 2018, N. 520 zu <ref-law>; STEPHAN HARTMANN, in: Zürcher Kommentar, Obligationenrecht, 4. Aufl. 2014, N. 618 zu <ref-law>; vgl. auch Urteil C 58/80 vom 16. Mai 1980 E. 3, publ. in: SJ 1981 S. 17 ff., wobei KRAMER, a.a.O., N. 326 f. zu <ref-law> S. IV/135 diesen Fall als Sonderfall der richterlichen Vertragsergänzung im Rahmen der dogmatischen Begründung der richterlichen Vertrags anpassung behandelt).
3.3.2. Ist ein lückenhafter Vertrag zu ergänzen, so hat der Richter - falls dispositive Gesetzesbestimmungen fehlen - zu ermitteln, was die Parteien nach dem Grundsatz von Treu und Glauben vereinbart hätten, wenn sie den nicht geregelten Punkt in Betracht gezogen hätten. Bei der Feststellung dieses hypothetischen Parteiwillens hat er sich am Denken und Handeln vernünftiger und redlicher Vertragspartner sowie an Wesen und Zweck des Vertrages zu orientieren (<ref-ruling> E. 4.1 S. 427; <ref-ruling> E. 6a S. 307; <ref-ruling> E. 4b S. 488; je mit Hinweisen).
3.3.3. Es ist davon auszugehen, dass die Parteien auf den Zeitpunkt, da der Hotel-/Restaurationsbetrieb aufgegeben wurde, nicht an einer persönlichen Mitarbeit des Beschwerdegegners festgehalten hätten. Zum einen hätte dieser seine Fähigkeiten als Koch entgegen der Ausgangslage bei Vertragsabschluss so nicht mehr zum Tragen bringen können. Zum anderen ist der nach der Änderung des Geschäftsmodells erzielte Gewinn weniger als bei der Führung eines Hotelbetriebs vom täglichen persönlichen Einsatz der den Betrieb Führenden abhängig als vom objektiven Wert der Liegenschaft für einen allfälligen Mieter oder Pächter. Es ist daher davon auszugehen, dass die Parteien nach Treu und Glauben auch eine Beteiligung am Betrieb in Form einer finanziellen Abgeltung der vom Beschwerdeführer tatsächlich erbrachten Verwaltungsleistungen zugelassen hätten ohne weitere Voraussetzungen. Mit einer anteilsmässigen Anrechnung dieser Kosten hat sich der Beschwerdegegner in seiner Beitrittserklärung einverstanden erklärt. Mit dieser entfiel mit Wirkung ab 1. Januar 2007 die alleinige Nutzniessung durch den Beschwerdeführer und war der Beschwerdegegner nach Abzug seiner Beteiligung an den Verwaltungskosten zu 50 % an der Nutzung des Grundstückes zu beteiligen. Im Ergebnis ist daher nicht zu beanstanden, dass die Vorinstanz die Ansprüche des Beschwerdegegners auf dieser Basis berechnet hat.
4.
Der Beschwerdeführer ist allerdings der Auffassung, jegliche Ansprüche des Beschwerdegegners wären gegen die mit dessen Erklärung vom 7. Januar 2007 ipso iure entstandene Kollektivgesellschaft zu richten gewesen. Er sei nicht passivlegitimiert.
4.1. Die Vorinstanz erwog, entgegen dem Beschwerdeführer sei nicht durch die Erklärung des Beklagten vom 7. Januar 2007 eine Kollektivgesellschaft entstanden, da der in der Vereinbarung vom 16. Mai 1986 vorgesehene Betrieb (bereits) aufgegeben worden sei. Die Eintrittserklärung allein genüge hierfür nicht. Nach der Rechtsprechung des Bundesgerichts (<ref-ruling> E. 2 mit Hinweisen) gelte die Verwaltung gemeinsamen Vermögens auch dann nicht als kaufmännisches Gewerbe (im Sinn von <ref-law>), wenn das Vermögen beträchtlich sei und die Geschäftsführung über den Rahmen einer gewöhnlichen Vermögensverwaltung hinausgehe. Sei somit keine Kollektivgesellschaft entstanden, sei auch die Passivlegitimation des Beschwerdeführers zu bejahen.
4.2. Mit seinen Rügen vermag der Beschwerdeführer die Begründung der Vorinstanz nicht als rechtsfehlerhaft auszuweisen.
4.2.1. Unbehelflich ist sein Einwand, das Bundesgericht habe im Verfahren 4A_234/2013 das Bestehen einer Kollektivgesellschaft bejaht. In diesem Verfahren war die sachliche Zuständigkeit des Handelsgerichts strittig. Aus deren Bejahung kann für die Beurteilung in der Sache nichts abgeleitet werden. Im Übrigen ging das Bundesgericht im zit. Urteil 4A_234/2013 E. 3.4 a.E. aufgrund der damaligen Vorbringen davon aus, der Beschwerdeführer leite tatsächlich ein Hotel bzw. Restaurant und damit ein nach kaufmännischer Art geführtes Gewerbe.
4.2.2. Als Verletzung von <ref-law> rügt der Beschwerdeführer, dass der Beschwerdegegner selber mit seinem Schreiben vom 7. Januar 2007 "seinen Eintritt ins Unternehmen" erklärt hatte. Darauf hätte die Vorinstanz den Beschwerdegegner behaften müssen. Damit sei ipso iure eine Kollektivgesellschaft entstanden. Die Vorinstanz hat indessen dargelegt, dass aufgrund eines blossen Schreibens, ohne dass die tatsächlichen Voraussetzungen gegeben sind, keine Kollektivgesellschaft entsteht. Der Beschwerdeführer setzt sich damit nicht auseinander; auf die bloss appellatorische Kritik ist nicht einzutreten. Im Übrigen ist die Begründung der Vorinstanz offensichtlich zutreffend und erklärte der Beschwerdegegner im Schreiben vom 7. Januar 2007 auch nicht seinen "Eintritt ins Unternehmen", sondern seine "Beteiligung".
4.3. Der Beschwerdeführer rügt eine Verletzung von <ref-law> (die weitere Erwähnung von <ref-law> ist wohl ein Versehen). Auch die unstrittige Vermietung des Hotels und Verpachtung des Pubs sei rechtlich als Unternehmen, als kaufmännische Tätigkeit zu qualifizieren. Der Betrieb erfülle die gesetzlichen Kriterien als selbstständige, auf dauernden Erwerb gerichtete wirtschaftliche Tätigkeit. So seien auch die Miet- und Pachteinnahmen aus der Liegenschaft in die unternehmerischen Geschäftsabschlüsse des Beschwerdeführers geflossen. Er sei sodann unstreitig im Handelsregister eingetragen gewesen. Schliesslich habe er trotz der Vermietung des Hotels umfangreiche Arbeiten zur Bewirtschaftung der Liegenschaft ausführen müssen, was auch von der Vorinstanz ausdrücklich festgehalten werde.
Mit der Beitrittserklärung des Beschwerdegegners wäre ipso iure eine Kollektivgesellschaft entstanden, wenn der Beschwerdeführer weiterhin den Hotel-/Restaurantbetrieb als kaufmännisches Gewerbe geführt und der Beschwerdegegner sich somit durch den Beitritt an der Führung dieses Unternehmens beteiligt hätte. Der Beschwerdeführer hat den Beitritt des Beschwerdegegners aber nicht akzeptiert. Selbst wenn mit der Erklärung des Beschwerdegegners eine Kollektivgesellschaft entstanden wäre, wäre tatsächlich nicht sie es gewesen, welche die Liegenschaft verwaltet hat, sondern weiterhin der Beschwerdeführer allein als Einzelfirma in Missachtung der geschlossenen Vereinbarung. Schon aus diesem Grund kann nur er passivlegitimiert sein. Dass andererseits - wie von der Vorinstanz dargelegt - die blosse Vermietung einer Liegenschaft, auch wenn über deren Einnahmen und Ausgaben Buch geführt wird, kein kaufmännisches Gewerbe darstellt, kann der Beschwerdeführer nicht ernsthaft bestreiten. Das Bundesgericht hat dies im Übrigen ausdrücklich bejaht im Hinblick auf das Innehaben eines Hotels im gemeinsamen Eigentum und gleichzeitiger Betriebsverpachtung an einen Gesellschafter (BGE 59 III 103 E. 2 S. 108). Auch im soeben zitierten Fall war im Übrigen der den Betrieb führende Gesellschafter als Einzelfirma im Handelsregister eingetragen. Daraus, dass er als Inhaber der Einzelfirma "A.A._" mit dem Zweck des Betriebes eines Hotels, Restaurants und einer Bar im Handelsregister eingetragen war (zit. Urteil 4A_234/2013 E. 3.1), kann der Beschwerdeführer nichts zugunsten des Bestehens einer Kollektivgesellschaft ableiten - im Gegenteil.
Der Beschwerdegegner hat nicht seinen Gewinnanteil aus einer Kollektivgesellschaft eingeklagt, sondern seinen hälftigen Anteil am Liegenschaftsertrag. Dafür ist der Beschwerdeführer passivlegitimiert.
5.
Der Beschwerdeführer rügt hinsichtlich des Begehrens um Herausgabe des Gewinns, die Vorinstanz habe wertvermehrende Investitionen im Betrag von Fr. 931'496.81 nicht berücksichtigt, welche gemäss Ziffer 3 Abs. 1 der Vereinbarung vom 16. Mai 1986 vom Beschwerdegegner zurückzuvergüten seien. Für den Fall, dass sich die Parteien über deren Höhe nicht einigen könnten, sei der Preis gemäss Ziffer 3 Abs. 2 von einer fachkundigen Treuhandstelle feststellen zu lassen. Die Vereinbarung eines solchen Schiedsgutachtens sei für das Gericht gemäss <ref-law> verbindlich.
5.1. Die Vorinstanz stellte fest, der Beschwerdeführer sei in Bezug auf diese Gegenforderung seiner Substanziierungslast nicht nachgekommen. Mangels Substanziierung müssten die angebotenen Beweise nicht abgenommen werden und sei auch nicht zu prüfen, ob die wertvermehrenden Erneuerungskosten durch eine fachkundige Treuhandstelle festgestellt werden müssten.
5.2. Entgegen dem Beschwerdegegner kann nicht ohne weiteres davon ausgegangen werden, der Beschwerdeführer habe im kantonalen Verfahren keinen Antrag auf Feststellung der wertvermehrenden Investitionen durch eine fachkundige Treuhandstelle gestellt und sich lediglich auf ein gerichtliches Gutachten berufen. Die Vorinstanz setzte sich nämlich in ihrer Beweisverfügung vom 3. November 2015 mit diesem Antrag auseinander und verstand diesen als Berufung auf einen ("untauglich gewordenen") "Streitbeilegungsmechanismus" (S. 213 unten).
5.3. Der Beschwerdeführer bestreitet nicht, dass keine genügend substanziierten Behauptungen aufgestellt wurden. Er scheint vielmehr davon auszugehen, im Hinblick auf ein Schiedsgutachten im Sinn von <ref-law> bedürfe es keiner entsprechenden Behauptungen.
Dass es sich bei der in Ziffer 3 Abs. 2 der Vereinbarung vom 16. Mai 1986 vorgesehenen Preisfestlegung durch eine fachkundige Treuhandstelle um ein Schiedsgutachten handeln würde, wird zu Recht nicht bestritten (für einen vergleichbaren Fall: <ref-ruling> E. 2.1 S. 276). Die Botschaft bezeichnet das Schiedsgutachten als "eigenständiges prozessuales Institut". Es bezwecke die verbindliche Feststellung rechtserheblicher Tatsachen durch eine (fachkundige) Drittperson. Eine Beweisführung über diese Tatsachen durch das urteilende Gericht habe in der Folge zu unterbleiben (Botschaft zur Schweizerischen Zivilprozessordnung [ZPO], BBl 2006 7221, 7325). Systematisch ist das Schiedsgutachten bei den Beweismitteln geregelt und zwar im 5. Abschnitt des Kapitels (Art. 183-189) zusammen mit dem Beweismittel des gerichtlichen Gutachtens. Zutreffend wird deshalb in der Lehre festgestellt, mit dem Schiedsgutachten werde einerseits auf die Abnahme der im Gesetz vorgesehenen Beweismittel (<ref-law>) verzichtet; und andererseits werde ein Teil des Zivilprozesses, nämlich das Beweisverfahren, gleichsam "privatisiert" und so aus dem Verfahren herausgebrochen. Es trete an die Stelle der Gesamtheit der vom Gesetz für alle Fälle ohne Schiedsgutachtenvereinbarung vorgesehenen Beweismittel (HEINRICH ANDREAS MÜLLER, in: Schweizerische Zivilprozessordnung, Alexander Brunner und andere [Hrsg.], Bd. I, 2. Aufl. 2016, N. 13 zu <ref-law>; vgl. auch THOMAS WEIBEL, in: Kommentar zur Schweizerischen Zivilprozessordnung, Thomas Sutter-Somm und andere [Hrsg.], 3. Aufl. 2016, N. 4 zu <ref-law>, der von einem Outsourcing des Sachverhaltsfeststellung und Würdigung spricht). Entsprechend bestimmt <ref-law>, dass das Schiedsgutachten "streitige Tatsachen" verbindlich feststellen soll.
Ob eine Tatsache streitig ist, lässt sich aber nur aufgrund der entsprechenden Behauptungen und Bestreitungen der Parteien erkennen. Ebenso wie bei Fehlen einer Schiedsgutachtenvereinbarung über strittige Tatsachen die beantragten Beweismittel abgenommen werden, wird nun also zu strittigen Tatsachen das Schiedsgutachten eingeholt. Der Beschwerdeführer konnte daher nicht auf substanziierte Tatsachenbehauptungen verzichten und sich einfach auf ein Schiedsgutachten berufen. Aus dem angefochtenen Entscheid ergibt sich nicht und es wird in der Beschwerde auch nicht rechtsgenüglich mit Aktenhinweis aufgezeigt, dass der Beschwerdeführer seine Tatsachenbehauptungen in einer den Gewohnheiten des Lebens entsprechenden Weise in ihren wesentlichen Zügen oder Umrissen so konkret formuliert hätte, dass dem Beschwerdegegner ein substanziiertes Bestreiten möglich gewesen wäre (vgl. <ref-ruling> E. 3.4.2 S. 328 mit Hinweis). Damit ist nicht zu beanstanden, dass die Vorinstanz die Vorbringen des Beschwerdeführers als nicht hinreichend substanziiert erachtete, um ihn zum Beweis der behaupteten Tatsachen zuzulassen, zumal die Treuhandstelle nur bei Uneinigkeit der Parteien zum Zuge kommen soll, was voraussetzt, dass die Forderung so substanziiert behauptet wird, dass der Beschwerdegegner dazu Stellung nehmen kann.
6.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer wird kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 18'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 20'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Bern schriftlich mitgeteilt.
Lausanne, 13. Juni 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak