Sachverhalt:
A.
A._ (Kläger, Beschwerdeführer) liess 2008 ein Panoramarestaurant errichten, dessen Eröffnung auf den 22. Dezember 2008 geplant war. Nach seinen Angaben belief sich der Kostenvoranschlag auf rund Fr. 9.5 Mio. Gestützt auf einen Werkvertrag mit ihm erstellte die C._ AG (Beklagte 2, Beschwerdegegnerin 2) Dichtungsbeläge dafür. B._ (Beklagter 1, Beschwerdegegner 1), Vorarbeiter der Beklagten 2, verursachte dabei am 20. November 2008 einen Brand, bei dem das kurz vor dem Endausbau stehende Restaurant weitgehend ausbrannte; stehen blieben die Tragstrukturen. Im Juni 2009 wurde er mittels Strafbescheid der Staatsanwaltschaft des Kantons St. Gallen der fahrlässigen Verursachung einer Feuersbrunst schuldig gesprochen und zu einer bedingten Geldstrafe verurteilt. Die Zivilforderungen der Gebäudeversicherung von rund Fr. 3.7 Mio. und des Klägers von Fr. 261'197.39 hiess die Staatsanwaltschaft dem Grundsatze nach gut, verwies die Geschädigten bezüglich der Höhe aber auf den Zivilprozess. Zwar sei im Grundsatze nicht bestritten, dass der Beklagte 1 gemäss <ref-law> für den von ihm fahrlässig verursachten Schaden aufzukommen habe. Die Zivilklagen seien jedoch "nicht spruchreif", da sie "teilweise nicht vollständig ausgewiesen" und "nicht ausreichend substanziiert und belegt" seien.
Die Kosten des Wiederaufbaus beliefen sich gemäss Kläger auf etwas mehr als Fr. 3.6 Mio. Im Herbst 2009 veräusserte er die Liegenschaft an die D._ AG, indem er sie als Sacheinlage zum Wert von Fr. 2.4 Mio. einbrachte. Die D._ AG hatte er bereits im Dezember 2008 zu diesem Zweck gegründet; aufgrund des Brandes unterblieb die Sacheinlage jedoch vorerst. Am 22. Dezember 2009 wurde das wiederaufgebaute Panoramarestaurant alsdann eröffnet.
B.
B.a. Mit Klage vom 11. Juli 2013 beim Kreisgericht Werdenberg-Sarganserland verlangte der Kläger, die Beklagten seien solidarisch zu verpflichten, ihm Fr. 1'409'994.50 nebst Zins zu bezahlen. Diesen Betrag begründete er zum einen mit Ersatzforderungen für nicht durch Versicherungsleistungen gedeckten Mehraufwand von total Fr. 464'602.20 und zum anderen mit einem merkantilen Minderwert des Gebäudes von Fr. 945'392.30. Zudem brachte er einen Nachklagevorbehalt an. Die Beklagten anerkannten in der Klageantwort Mehraufwand von Fr. 35'897.45, beantragten aber aufgrund der Fr. 200'000.--, welche die E._ Versicherungs AG bereits akonto bezahlt hatte, die Klage sei vollumfänglich abzuweisen. Der Kläger nahm in der Replik eine Klageänderung vor und verlangte zusätzliche Fr. 253'280.35 nebst Zins für den einjährigen Nutzungsausfall, der ihm auf dem bis zum 21. November 2008 investierten Baukapital entstanden sei. Mit Entscheid vom 21. August 2015, begründet versandt am 20. November 2015, erkannte das Kreisgericht, die Beklagten würden "unter solidarischer Haftbarkeit verpflichtet, dem Kläger CHF 65'530.50 nebst Zins von 5% seit dem 3. Oktober 2009 zu bezahlen, unter Anrechnung der bereits geleisteten Akontozahlung der E._ Versicherungs AG von CHF 200'000.00"; im "weiteren Umfang" werde die Klage abgewiesen. Die Kosten auferlegte es vollumfänglich dem Kläger.
B.b. Die vom Kläger dagegen erhobene Berufung wies das Kantonsgericht St. Gallen, III. Zivilkammer, mit Entscheid vom 24. Januar 2017 ab. Unter den Titeln merkantiler Minderwert und einjähriger Nutzungsausfall erkannte es ihm keine Beträge zu. Vom geltend gemachten Mehraufwand erachtete es Fr. 89'620.-- als berechtigt, Fr. 305'277.35 nicht. Die restlichen Fr. 69'704.85, von denen die Beklagten Fr. 20'997.45 anerkannt haben, liess es unbeurteilt. Denn selbst wenn dieser Betrag vollumfänglich zuzusprechen sein sollte und auch die Zinsen berücksichtigt würden, ergäbe sich daraus eine Forderung von höchstens Fr. 189'825.--. Der bereits akonto geleistete Betrag von Fr. 200'000.-- könne also nicht überschritten werden, weshalb die Klage abzuweisen sei.
C.
Mit Beschwerde in Zivilsachen beantragt der Kläger, der angefochtene Entscheid sei kostenfällig aufzuheben und die Beschwerdegegner seien unter solidarischer Haftbarkeit zur Zahlung von Fr. 1'409'994.50 nebst 5 % Zins seit 3. Oktober 2009 und Fr. 253'280.35 nebst 5 % Zins ab Urteilsdatum zu verpflichten; eventualiter sei die Streitsache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Sodann sei von seinem Nachklagevorbehalt Vormerk zu nehmen. In prozessualer Hinsicht beantragt er, es sei eine mündliche Parteiverhandlung durchzuführen.
Während die Vorinstanz auf eine Stellungnahme verzichtet hat, beantragen die Beschwerdegegner, die Beschwerde sei abzuweisen. Die Parteien haben unaufgefordert repliziert bzw. dupliziert.

Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 S. 397 mit Hinweisen). Beim angefochtenen Urteil handelt es sich um einen Endentscheid im Sinne von <ref-law> einer letzten kantonalen Instanz (<ref-law>) in einer Zivilsache (<ref-law>). Das Streitwerterfordernis für eine Beschwerde in Zivilsachen (<ref-law>) ist ebenfalls erfüllt, weshalb nicht auf die Ausführungen des Beschwerdeführers eingegangen zu werden braucht, wonach sich zudem drei Rechtsfragen von grundsätzlicher Bedeutung stellen würden. Auf die Beschwerde in Zivilsachen ist - unter Vorbehalt des Nachfolgenden sowie einer genügenden Begründung (<ref-law>) - einzutreten.
1.2. Der Beschwerdeführer beantragt mit Rechtsbegehren Ziffer 3, es sei von seinem Nachklagevorbehalt Vormerk zu nehmen. Ob eine Teilklage erhoben wurde bzw. wie weit die Rechtskraft eines über eine Klage ergangenen Urteils reicht, hängt von den gestellten Rechtsbegehren ab sowie vom Lebenssachverhalt, auf den diese gestützt werden. Nicht ausschlaggebend ist insofern, ob das Vorliegen einer Teilklage im Erstprozess gerichtlich "anerkannt" oder vom Gericht auch nur zur Kenntnis genommen wurde. Zur Klarstellung - insbesondere auch, dass hinsichtlich des nicht eingeklagten Teils kein impliziter Verzicht vorliegt - kann es für die klagende Partei zwar durchaus ratsam sein, in ihren Rechtsschriften etwa mittels eines Nachklagevorbehalts auf das Vorliegen einer Teilklage hinzuweisen. Nimmt das Gericht von einem solchen Nachklagevorbehalt nicht förmlich Vormerk, entsteht der klagenden Partei dadurch aber weder in diesem noch in einem allfälligen späteren Prozess ein Nachteil. Entsprechend fehlt es ihr an einem schutzwürdigen Interesse, die Vormerknahme mittels Rechtsbegehrens vom Gericht zu verlangen (<ref-law>) oder eine verweigerte Vormerknahme mit einem Rechtsmittel anfechten zu können (<ref-law>; Urteil 4A_401/2011 vom 18. Januar 2012 E. 4; vgl. auch Urteil 4A_495/2016 vom 5. Januar 2017 E. 3.2). Auf Rechtsbegehren Ziffer 3 ist daher nicht einzutreten.
1.3. Seinen prozessualen Antrag auf eine mündliche Parteiverhandlung begründet der Beschwerdeführer nicht, weshalb nicht darauf einzutreten ist. Abgesehen davon sind keine Gründe ersichtlich, die eine mündliche Parteiverhandlung als angezeigt erscheinen lassen würden.
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Mit Blick auf die allgemeinen Begründungsanforderungen an eine Beschwerde (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2 S. 88 f. mit Hinweisen). Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegen soll. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Erfüllt eine Beschwerde diese Anforderungen nicht, ist darauf nicht einzutreten.
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei willkürlich (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90 mit Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Diese Voraussetzungen für eine Kritik an den vorinstanzlichen Sachverhaltsfeststellungen und deren Ergänzung werden vom Beschwerdeführer nicht ausreichend beachtet. Die entsprechenden Ausführungen sind nicht zu berücksichtigen. Das gilt etwa für das gesamte Kapitel "Sachverhalt" in der Beschwerde, aber auch für nahezu alle Sachverhaltsangaben, die sich unter dem Titel "Rechtliche Ausführungen" finden und zu deren Stützung der Beschwerdeführer zahlreiche Beweismittel anruft. Zuweilen trägt er zwar vor, diese oder jene Angabe bereits im kantonalen Verfahren gemacht und auch die Beweismittel schon dort angerufen zu haben - (präzise) Aktenhinweise dafür gibt er jedoch nicht an, womit die Anforderungen nicht erfüllt sind. Die Beschwerdegegner beachten bei einigen ihrer Sachverhaltsausführungen in der Beschwerdeantwort die Voraussetzungen ebenfalls bloss unzureichend, indem teilweise die notwendigen Aktenhinweise unterbleiben.
2.3. Macht eine Partei geltend, das Willkürverbot sei verletzt, genügt es nicht, wenn sie bloss ihre eigene Darstellung derjenigen der Vorinstanz gegenüberstellt und behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352 mit Hinweisen). Sie hat vielmehr im Einzelnen anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern dieser an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.3 S. 60; <ref-ruling> E. 1.2 S. 234; je mit Hinweisen). Es gilt auch diesbezüglich das strenge Rügeprinzip nach <ref-law>. Willkür liegt dabei nicht schon vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Der angefochtene Entscheid ist dabei nur aufzuheben, wenn er auch im Ergebnis und nicht nur in der Begründung verfassungswidrig ist (<ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 3.2.5 S. 339; je mit Hinweisen).
Die Beweiswürdigung erweist sich als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen hat oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 4.2 S. 234 mit Hinweisen). Allein dass die vom Gericht gezogenen Schlüsse nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmen, belegt noch keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Entsprechend genügt es nicht, lediglich einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem eine freie Sachverhaltsprüfung zukäme (vgl. nur etwa Urteil 4A_606/2015 vom 19. April 2016 E. 2.1).
3.
Bereits im vorinstanzlichen Verfahren war unbestritten, dass die Beschwerdegegner für den durch den Brand adäquat kausal verursachten Schaden in vollem Umfange haften. Umstritten ist, ob und in welcher Höhe bei den vom Beschwerdeführer geltend gemachten Positionen ein Schaden besteht.
4.
Als grösste Position macht der Beschwerdeführer einen "merkantilen Minderwert" der Liegenschaft von Fr. 945'392.30 geltend, was 10 % der in Rechnung gestellten Baukosten entspreche.
4.1. Die Vorinstanz hielt fest, ein merkantiler Minderwert liege vor, wenn der Markt eine nach einer Beschädigung reparierte Sache unter dem Wert bewerte, den sie in unbeschädigtem Zustand hätte. Ob ein Bauwerk einen solchen Minderwert haben könne, sei noch nicht höchstrichterlich entschieden worden, könne aber offenbleiben.
Nachdem der Beschwerdeführer die Liegenschaft nämlich im Herbst 2009 an die D._ AG veräussert habe, sei er insoweit, als er den merkantilen Minderwert mit einem potenziellen Minderpreis bei einem allfälligen künftigen Weiterverkauf der Liegenschaft begründe, nicht aktivlegitimiert.
Eine andere Frage sei, ob er im Hinblick darauf aber als Aktionär der D._ AG geschädigt sei, da der Substanzwert der von ihm gehaltenen Aktien aufgrund des merkantilen Minderwertes der eingebrachten Liegenschaft geringer sei. Darauf brauche jedoch nicht eingegangen zu werden. Denn der Beschwerdeführer behaupte dies so nicht und es fehle hierfür an den notwendigen Behauptungen und Berechnungsgrundlagen.
Soweit sich ein allfälliger merkantiler Minderwert bei der Veräusserung der Liegenschaft an die D._ AG ausgewirkt haben sollte, sei der Beschwerdeführer zwar aktivlegitimiert. Die Realisierung eines solchen Minderwerts hätte er aber substanziiert behaupten und auch belegen müssen. Das habe er nicht getan. Dass ein merkantiler Minderwert bei der Veräusserung der Liegenschaft tatsächlich eine Rolle gespielt habe, habe er erst nach Aktenschluss an der Hauptverhandlung sowie in der Berufungsschrift geltend gemacht, was verspätet sei. Abgesehen davon enthielten auch diese verspäteten Ausführungen keine substanziierten Angaben und es mangle an Beweismitteln dazu. So behaupte der Beschwerdeführer zwar, die Sacheinlage sei aufgrund mehrerer Schätzungen mit Fr. 2,4 Mio. bewertet worden, biete aber keine dieser angeblichen Schätzungen als Beweismittel an.
Gestützt hierauf wies die Vorinstanz den geltend gemachten Ersatzanspruch für einen merkantilen Minderwert ab.
4.2. Der Beschwerdeführer bringt dagegen zunächst vor, die Vorinstanz habe zu Unrecht seine Aktivlegitimation verneint. Im Zeitpunkt des Brandes sei unstreitig er Eigentümer der Liegenschaft gewesen. Der Schaden entstehe der Person, die im Moment der Schädigung Eigentümerin der Sache sei. Der merkantile Minderwert vermindere die Aktiven des Eigentümers, und zwar unabhängig davon, ob die Sache tatsächlich repariert werde und unabhängig davon, ob und wann sie verkauft werde. Ein späterer Verkauf manifestiere lediglich den Minderwert. Aktivlegitimiert zur Geltendmachung des merkantilen Minderwerts sei daher der Eigentümer der Sache zum Zeitpunkt des schädigenden Ereignisses. Dies unabhängig davon, ob er die Sache später verkaufe oder nicht. Von der Frage der Aktivlegitimation zu unterscheiden sei die Frage, auf welche Weise ein merkantiler Minderwert nach einem Verkauf der Sache berechnet werden könne oder solle.
Der merkantile Minderwert ergebe sich aus der Differenz zwischen dem Wert, für welchen der Eigentümer die Sache kurz vor Schadenseintritt hätte verkaufen können im Verhältnis zum Wert, für welchen der Eigentümer die Sache nach der Reparatur und im gleichen Zustand, wie sie sich unmittelbar vor dem Schadensereignis befunden habe, verkaufen könnte. Der effektive Verkaufspreis eines Gebäudes lasse für diese Berechnung nur in einem einzigen Fall direkte Rückschlüsse auf die Grösse des merkantilen Minderwertes zu. Dies sei dann der Fall, wenn erstens das Gebäude vor dem Schadensereignis noch keiner Altersentwertung unterworfen gewesen sei, zweitens der Verkauf genau im selben Baustadium erfolge, wie das Gebäude sich unmittelbar vor dem Brand befunden habe, und drittens zum Marktpreis an einen Dritten verkauft werde. Sei einer dieser Punkte nicht gegeben, sei der erzielte Verkaufspreis für die Bemessung des merkantilen Minderwerts hingegen nicht oder nur noch sehr bedingt von Relevanz. Deshalb sei der merkantile Minderwert aufgrund einer abstrakten Berechnung festzustellen, namentlich anhand eines gerichtlichen Gutachtens, das auf den Zeitpunkt des Schadensereignisses bezogen sei.
In vorliegendem Fall lasse sich der merkantile Minderwert nicht anhand des Übernahmepreises durch die D._ AG bestimmen. Die Liegenschaft habe sich damals nicht im selben Zustand befunden, sondern sei noch in der Wiederaufbauphase gewesen. Zudem habe der Übernahmepreis nicht dem Marktwert entsprochen. Weil er zusammen mit seiner Ehefrau die einzigen Aktionäre der D._ AG seien, seien für die Bemessung des Übernahmepreises nicht wirtschaftliche Kriterien ausschlaggebend gewesen. Die D._ AG habe die Liegenschaft in Kenntnis des Schadens übernommen. Der merkantile Minderwert habe sich bei diesem Verkauf zwar ausgewirkt, sich aber nicht wie üblich im Übernahmepreis manifestiert, weil dieser aufgrund der gegebenen Konstellation nicht überwiegend nach wirtschaftlichen Kriterien festgesetzt worden sei.
Die Vorinstanz gehe implizit davon aus, er könnte als Aktionär der D._ AG geschädigt sein, prüfe dies aber mangels entsprechender Behauptungen und Belege nicht weiter. Es sei jedoch nicht plausibel, inwiefern eine Veränderung des Substanzwertes der Aktien durch die Sacheinlage oder durch einen künftigen Verkauf der Liegenschaft in einem adäquat kausalen Zusammenhang mit dem schädigenden Verhalten des Beschwerdegegners 1 stehen soll. Der merkantile Minderwert, der sich bei einem Weiterverkauf der Liegenschaft durch die D._ AG manifestieren werde, führe bei dieser nicht zu einem Schaden und daher auch nicht zu einer Minderung des Substanzwerts der Aktien. Ein Schaden wäre der D._ AG nur entstanden, wenn ihr Verwaltungsrat beim Kauf der Liegenschaft einen zu hohen Übernahmepreis bezahlt hätte, wofür aber nicht die Beschwerdegegner verantwortlich wären.
Die Vorinstanz habe somit den Rechtsbegriff des Schadens verkannt, "gegen den Rechtsgrundsatz der Schadensberechnung verstossen" und zu Unrecht angenommen, der Schadenersatzanspruch sei nicht hinreichend substanziiert. Indem sie überhaupt keine Beweise abgenommen habe, habe sie sein Recht verletzt, zum ihm obliegenden Beweis zugelassen zu werden. Der Entscheid der Vorinstanz sei daher aufzuheben und seine Forderung über Fr. 945'392.30 sei vollumfänglich zu schützen; eventualiter sei die Streitsache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
4.3. Der Beschwerdeführer beansprucht damit Schadenersatz für den merkantilen Minderwert, den die Liegenschaft aufgrund des Brandes und trotz erfolgter Reparatur erlitten haben soll. Dieser Schaden sei ihm als Eigentümer der Liegenschaft im Zeitpunkt des Brandes in Form einer Verminderung des Werts seiner Aktiven entstanden. Auf die spätere Entwicklung, insbesondere die Einbringung der Liegenschaft als Sacheinlage bei der D._ AG, soll es seines Erachtens nicht ankommen.
4.3.1. Mit dem merkantilen Minderwert (als Teil des Schadens) wird der Tatsache Rechnung getragen, dass erheblich beschädigte Sachen, selbst wenn sie einwandfrei repariert wurden, eine gewisse Schadenanfälligkeit aufweisen können bzw. der "Markt" annimmt, dass dem so sei und deshalb das Gut tiefer bewertet. Von merkantilem Minderwert spricht man namentlich bei Motorfahrzeugen, bei denen diese Werteinbusse angesichts der Grösse und Transparenz des Marktes auch leichter feststellbar ist. Ein merkantiler Minderwert kann aber prinzipiell bei allen Sachen eintreten, für die aufgrund ihrer Eigenart die Möglichkeit erhöhter Schadenanfälligkeit typisch ist, bei denen also die Befürchtung verborgener Schäden oder Mängel für den weiteren Gebrauch der Sache von Bedeutung ist. Ob dies hier zu bejahen wäre, kann aus den nachfolgenden Gründen offengelassen werden.
4.3.2. Zu ersetzen ist der erlittene Schaden, wobei der Schädiger grundsätzlich vollen Ersatz zu leisten hat, der Schaden somit in seinem gesamten Ausmass zu berücksichtigen ist (<ref-ruling> E. 5c/cc S. 78 f.). Andererseits schliesst es das im Haftpflichtrecht als allgemeines Prinzip anerkannte Bereicherungsverbot aus, dem Geschädigten eine Entschädigung zuzugestehen, die den durch das schädigende Ereignis erlittenen Schaden übersteigt (<ref-ruling> E. 2.2.1 S. 323; <ref-ruling> E. 7.1 S. 16; je mit Hinweisen).
Schaden ist nach ständiger Rechtsprechung des Bundesgerichts die ungewollte Verminderung des Reinvermögens. Er entspricht der Differenz zwischen dem gegenwärtigen - mit dem schädigenden Ereignis festgestellten - Vermögensstand und dem (hypothetischen) Stand, den das Vermögen ohne das schädigende Ereignis hätte. Er kann in einer Vermehrung der Passiven, einer Verminderung der Aktiven oder in entgangenem Gewinn bestehen (<ref-ruling> E. 4.1 S. 27; <ref-ruling> E. 4 S. 366, 564 E. 6.2 S. 575 f.; je mit Hinweisen).
4.3.3. Bei Sachschäden ist nicht die Beschädigung oder der Verlust der Sache selbst der Schaden, sondern dessen Ursache. Aus dieser Beeinträchtigung resultiert der ersatzfähige Schaden (VITO ROBERTO, Schweizerisches Haftpflichtrecht, 2002, S. 195 Rz. 671; OFTINGER/STARK, Schweizerisches Haftpflichtrecht, Bd. 1, 5. Aufl. 1995, S. 363 Rz. 354; FELLMANN/KOTTMANN, Schweizerisches Haftpflichtrecht, Bd. 1, 2012, S. 87 Rz. 231 und S. 96 Rz. 260), sofern sie sich vermögensmässig auswirkt (z.B. Wertverlust, Reparaturkosten, Folgekosten, entgangener Gewinn).
Der Umfang des Sachschadens kann, soweit hier interessierend, entweder nach dem Minderwert des betroffenen Aktivums oder nach der Vergrösserung der Passiven infolge zusätzlicher Beseitigungs- oder Reparaturkosten bestimmt werden (<ref-ruling> E. 4a S. 76 mit Hinweisen u.a. bezüglich weiterer möglicher Schadenfolgen bei Sachschäden). Diese Zweiteilung ist wie folgt zu präzisieren:
4.3.3.1. Wird eine Sache beschädigt, sinkt dadurch regelmässig ihr Verkehrswert. Dieser Wertverlust rührt primär aus der technischen Beeinträchtigung der Sache her. Zudem kann eine darüber hinausgehende Differenz bestehen zwischen dem Verkehrswert, den die Sache mit dem schädigenden Ereignis hat, und demjenigen ohne. Weshalb der Markt mit einem solch nicht technisch begründeten Preisabschlag auf die Tatsache der Beschädigung reagiert, insbesondere ob dies aus berechtigten Gründen erfolgt, ist schadenersatzrechtlich nicht erheblich; entscheidend ist einzig, dass der Verkehrswert entsprechend sinkt. Ein merkantiler Minderwert kann also auch eintreten, wenn eine Sache nicht repariert wird.
Der soeben beschriebene Minderwert (inkl. des nicht technisch begründeten Anteils) tritt sogleich mit der Rechtsgutsverletzung - der Beschädigung der Sache - ein (so generell für merkantile Minderwerte MIHAI VUIA, Der merkantile Minderwert als Teil des Vermögensschadens, Neue Juristische Wochenschrift [NJW] 2012 S. 3057). Denn der Verkehrswert der Sache sinkt in diesem Moment, wodurch sich die Aktiven vermindern und ein Schaden im Sinne der Differenztheorie entsteht. Dieser Schaden entsteht also nicht erst, wenn die geschädigte Person die Sache verkauft und dabei aufgrund des geringeren Entgelts eine entsprechende Einbusse erleidet (so bereits BGE 64 II 137 E. 3c S. 138). Da der gesamte Minderwert - die Differenz des Verkehrswerts der Sache mit schädigendem Ereignis und demjenigen ohne - Schaden i.S.d. Differenztheorie darstellt, ist eine Differenzierung zwischen den möglichen Ursachen dieses Minderwerts - technisch bzw. merkantil - entbehrlich. Dementsprechend spricht man in diesem Zusammenhang weniger vom merkantilen Minderwert.
4.3.3.2. Nicht zu verwechseln oder gleichzusetzen mit diesem durch die Beschädigung eingetretenen Minderwert (oder auch nur dem technisch bedingten Teil davon) sind die Kosten, die für eine Reparatur der beschädigten Sache anfallen (zu wenig differenzierend ROLAND BREHM, Berner Kommentar, 4. Aufl. 2013, N. 77e und 101b zu <ref-law>). Diese zwei Posten brauchen in ihrer Höhe nicht übereinzustimmen. Vielmehr können sie - abhängig vom konkreten Fall - erheblich auseinanderfallen, wobei die Kosten der Reparatur oftmals höher liegen (ROBERTO, a.a.O., S. 196 Rz. 674). Unterschiedlich ist auch ihr Entstehungszeitpunkt, denn Kosten für eine Reparatur entstehen mit der Durchführung selbiger. Das Vermögen der geschädigten Person wird durch sie also nicht bereits im Moment der Rechtsgutsverletzung, der Beschädigung der Sache, vermindert, sondern erst bei deren späterem Anfallen. Ob die (mutmasslichen) Reparaturkosten auch dann als zu ersetzender Schaden geltend gemacht werden können, wenn die Reparatur nicht ausgeführt wird, kann hier offenbleiben (siehe dazu, allerdings nur unter Willkürgesichtspunkten, Urteil 4D_103/2010 vom 14. März 2011 E. 5).
Selbst wenn nun eine Sache bestmöglich repariert wird und sie danach keine (funktionellen) Beeinträchtigungen mehr aufweist, kann der Markt mit einem Preisabschlag darauf reagieren, dass es sich dabei nunmehr um eine reparierte Sache handelt (so bezüglich eines Autos bereits <ref-ruling> E. 2 S. 163). Ist vom merkantilen Minderwert die Rede, ist damit regelmässig diese Differenz zwischen dem Verkehrswert der Sache, den sie ohne schädigendes Ereignis hätte, und ihrem Verkehrswert, den sie nach Beschädigung und durchgeführter Reparatur hat, gemeint. Dieser schmälert den Wert des entsprechenden Aktivums, weshalb in seinem Umfang nebst den Reparaturkosten ein Schaden im Sinne der Differenztheorie besteht.
Dieser merkantile Minderwert hängt massgeblich von der durchgeführten Reparatur ab. Sein Bestand und seine Höhe werden vom Ver- resp. Misstrauen geprägt, das die Marktgegenseite der Reparatur entgegenbringt und welches u.a. von der Qualität, dem Umfang und auch der Dokumentation der Reparatur sowie der damit betrauten Personen resp. Gesellschaften abhängig ist (siehe auch OFTINGER/STARK, a.a.O., S. 370 Fn. 565). Ebenso wenig wie die Kosten der Reparatur bereits im Moment der Rechtsgutsverletzung entstehen, tritt dieser von ihr abhängige merkantile Minderwert bereits da ein. Er entsteht vielmehr erst, wenn überhaupt, nach der durchgeführten Reparatur.
Bei Geltendmachung der Reparaturkosten bilden diese zusammen mit einem allfälligen trotz Reparatur bestehenden merkantilen Minderwert der Sache - soweit an dieser Stelle interessierend - den Schaden (Urteil 4A_61/2015 vom 25. Juni 2015 E. 3.1). Insofern ist eine Kumulation von Reparaturkosten und (merkantilem) Minderwert also möglich.
4.3.3.3. Wie bereits einleitend festgehalten, sind diese beiden Varianten alternativ: Entweder wird als Sachschaden der gesamte Minderwert der beschädigten, unreparierten Sache geltend gemacht; dieser tritt im Moment der Rechtsgutsverletzung ein. Oder es werden die Reparaturkosten zuzüglich eines allfälligen trotzdem bestehenden merkantilen Minderwerts beansprucht; diese Schäden treten erst in einem späteren Zeitpunkt ein.
4.4. Der Beschwerdeführer beanspruchte Ersatz für die Reparaturkosten, die ihm für den Wiederaufbau des abgebrannten Gebäudes entstanden sind, und macht auch vorliegend diesbezügliche Forderungen geltend (vgl. E. 6). Bei dem von ihm zusätzlich geltend gemachten merkantilen Minderwert kann es sich deshalb nur um denjenigen handeln, der trotz Reparatur besteht (hiervor E. 4.3.2.2). Dem Beschwerdeführer kann daher nicht gefolgt werden, wenn er für dessen Bestimmung ausschliesslich auf den Zeitpunkt des schädigenden Ereignisses abstellen und die spätere Entwicklung ausblenden will. Denn in diesem Zeitpunkt war die Reparatur noch nicht erfolgt und somit ein allfälliger trotz Reparatur bestehender merkantiler Minderwert noch gar nicht eingetreten. Abzustellen ist vielmehr auf die Situation, wie sie sich im Zeitpunkt des Abschlusses der Reparatur präsentierte.
4.4.1. Gemäss seinen eigenen Angaben (vgl. E. 4.2) brachte der Beschwerdeführer die Liegenschaft während den Wiederaufbauarbeiten, also noch vor Abschluss der Reparatur, als Sacheinlage bei der D._ AG ein. Ob in Abweichung von den vorangehenden Ausführungen ein merkantiler Minderwert trotz Reparatur ausnahmsweise als schon vor Beendigung der Reparatur eingetreten erachtet werden könnte, wenn die beschädigte Sache noch während laufender Reparatur veräussert wird, kann hier offenbleiben. Ob und inwiefern bei der erfolgten Sacheinlage ein allfälliger Minderwert berücksichtigt worden sein soll, bleibt nämlich selbst nach der Darstellung des Beschwerdeführers unklar. Die Vorinstanz stellte zu Recht fest, ein solcher Minderwert sei jedenfalls nicht hinreichend substanziiert worden. Dass bei dieser Übertragung ein Minderwert realisiert worden wäre und der Beschwerdeführer einen entsprechenden Schaden erlitten hätte, ist daher nicht erwiesen.
4.4.2. Dass mit einer (zu) tiefen Bewertung der Sacheinlage nicht die Beschwerdegegner begünstigt werden sollten, liegt allerdings auf der Hand. Deshalb warf die Vorinstanz auch die Frage auf, ob in einem womöglich geringeren Substanzwert der Aktien der D._ AG ein Schaden des Beschwerdeführers liegen könnte, was der Beschwerdeführer in seiner Beschwerde jedoch selber verneint. Dabei dürfte er allerdings die Überlegung der Vorinstanz missverstehen, denn es geht hierbei nicht um einen "Schaden", den die D._ AG bei einem allfälligen künftigen Verkauf der Liegenschaft erleiden könnte. Vielmehr geht es darum, dass wenn der Verkehrswert der eingebrachten Liegenschaft trotz Reparatur aufgrund eines mit deren Abschluss eintretenden merkantilen Minderwerts sank und daher in diesem massgeblichen Zeitpunkt geringer war als er es ohne schädigendes Ereignis gewesen wäre, auch der Substanzwert der Aktien der D._ AG, die der Beschwerdeführer hält bzw. bei Abschluss der Reparatur hielt, mit dem schädigenden Ereignis entsprechend geringer war als ohne. Ob in einer allfälligen Differenz des Substanzwerts der Aktien mit oder ohne schädigendes Ereignis ein Schaden des Beschwerdeführers gesehen werden könnte, vertiefte die Vorinstanz mangels entsprechender Behauptungen und Beweismittel nicht. Dies rügt der Beschwerdeführer nicht, sondern bestätigt mit seinen Ausführungen, dass er einen solchen Schaden nicht geltend gemacht hat. Entsprechend bleibt es bei dieser vorinstanzlichen Beurteilung.
4.4.3. Dass trotz Reparatur nach deren Abschluss ein (merkantiler) Minderwert eingetreten wäre, der sich nachteilig im Vermögen des Beschwerdeführers ausgewirkt hätte, ist nach dem Gesagten nicht erstellt. Ein konkreter Schadensnachweis ist somit nicht gelungen. Der Beschwerdeführer beruft sich aber darauf, es habe eine abstrakte Schadensbestimmung Platz zu greifen.
Im Geltungsbereich der Differenztheorie ist nach schweizerischem Recht grundsätzlich ein konkreter Schadensnachweis erforderlich; Ausnahmen davon müssen im Gesetz vorgesehen werden (so bereits <ref-ruling> E. 5b S. 219; ferner etwa Urteil 4C.184/2005 vom 4. Mai 2006 E. 4.3.1). Bei der vorliegenden Ausgangslage besteht für eine abstrakte Schadensbestimmung weder eine gesetzliche Grundlage noch eine Lücke, die durch richterliche Rechtsfortbildung zu schliessen wäre (siehe dazu auch <ref-ruling> E. 3.3.2 S. 384). Soweit sich der Beschwerdeführer hierfür auf <ref-law> beruft, verkennt er den Gehalt dieser Norm. Durch diese wird unter gegebenen Umständen das Beweismass herabgesetzt und dem Gericht erlaubt, den Schaden und dessen Höhe abzuschätzen. Eine rein abstrakte Schadensbestimmung wird dadurch jedoch nicht eingeführt, was sich schon nur daran zeigt, dass auch im Rahmen dieser Norm - soweit möglich und zumutbar - alle Umstände zu behaupten sind, die im konkreten Fall Indizien für den Bestand eines Schadens darstellen und die Schätzung des Umfangs des Schadens erlauben (vgl. zu <ref-law> auch E. 6.1.3 hiernach).
4.4.4. Der Vorinstanz ist daher im Ergebnis zuzustimmen; sie wies diese Forderung des Beschwerdeführers zu Recht ab.
5.
Mit seiner Klageänderung machte der Beschwerdeführer zusätzlich einen einjährigen Nutzungsausfall in Höhe von Fr. 253'280.35 geltend. Aufgrund des Brandes sei das Panoramarestaurant ein Jahr später als geplant eröffnet worden. Auf dem bis zum Brand investierten Kapital von Fr. 5'065'607.30 habe er während diesem Jahr einen Nutzungsausfall erlitten. Dieser sei "nach ständiger und gefestigter Praxis" und unabhängig davon, ob "das Bergrestaurant in dieser Zeit einen Gewinn erzielt hätte (...) in Anlehnung an <ref-law> auf 5 % festzulegen".
5.1. Die Erstinstanz wies diese Forderung ab, da nur ein Nutzungsausfall mit nachgewiesenen finanziellen Folgen entschädigungspflichtig sei. Einen Gewinnausfall habe der Beschwerdeführer aber weder nachvollziehbar noch genügend substanziiert geltend gemacht, ein tatsächlicher finanzieller Schaden sei nicht zu erkennen.
In seiner Berufung machte der Beschwerdeführer geltend, den Schaden, der ihm aufgrund der einjährigen Verzögerung der Eröffnung des Panoramarestaurants entstanden sei, weil ein allfälliger Gewinn nicht realisiert worden sei, der in diesem Jahr erzielt worden wäre, mache er noch gar nicht geltend. Diesbezüglich habe er lediglich einen Nachklagevorbehalt angebracht. Gleichzeitig hielt er an der bereits erstinstanzlich geltend gemachten Zusprechung eines Nutzungsausfalls von 5 % auf den investierten Mitteln fest.
Die Vorinstanz führte dazu aus, nicht nachvollziehbar sei der Standpunkt des Beschwerdeführers, wonach ihm durch die verzögerte Eröffnung des Restaurants "in einem doppelten Sinne" Gewinn entgangen sei, nämlich einerseits "weil der Betrieb nicht wie geplant eröffnet werden konnte und dadurch nicht wie erwartet Umsatz generiert werden konnte und andererseits, weil das Kapital während der Phase des Wiederaufbaus nicht mehr in einer anderen gewinnbringenden Form angelegt werden konnte." Darin lägen keine kumulativen Positionen, sondern es stünden sich eine konkrete Methode einerseits und eine abstrakte/normative Methode andererseits zur Ermittlung des angeblichen Entschädigungsanspruchs aus ein- und demselben Nachteil gegenüber. Im Übrigen träfen die Ausführungen des Beschwerdeführers zu seinem Nachklagevorbehalt nicht zu.
Liege für eine beschädigte Sache kein Ersatzobjekt vor, könne der Geschädigte einen ihm durch den Nutzungsausfall entgangenen Gewinn als Schaden geltend machen. Dafür trage er die Beweislast, könne sich aber gegebenenfalls auf <ref-law> berufen. Diesen Beweis habe der Beschwerdeführer jedoch nicht einmal angetreten.
Den Ersatz eines abstrakten Nutzungsausfalls, also ohne Nachweis eines Schadens im Sinne der Differenztheorie, sondern aufgrund eines pauschalisierten/normativen Schadens, sehe in der Schweiz abgesehen vom Haushalt- und Pflegeschaden sowie vom Schadenszins weder das Gesetz noch die Rechtsprechung des Bundesgerichts vor. Soweit der Beschwerdeführer einen abstrakten Nutzungsausfall von 5 % des bis zum Brand investierten Kapitals geltend mache, fehle es hierfür an einer gesetzlichen Grundlage. Hieran ändere auch die von ihm "in Anlehnung an <ref-law>" angerufene Rechtsprechung des Bundesgerichts zu dieser Bestimmung nichts. Diese betreffe den Schadenszins und ziele darauf ab, den Geschädigten so zu stellen, wie wenn er für seine Ersatzforderungen am Tag der schädigenden Handlung befriedigt worden wäre (<ref-ruling> E. 4a S. 54). Hier stehe aber ein Nutzungsausfall auf einem vor dem Schadenfall investierten Betrag zur Debatte und dieser sei vom Geschädigten zu beweisen.
5.2. Der Beschwerdeführer bringt dagegen vor, der Gesetzgeber habe davon abgesehen, den Schadensbegriff zu definieren. Es sei durchaus angezeigt, über den klassischen Begriff gemäss Rechtsprechung hinauszugehen und nach Massgabe der wirtschaftlichen Betrachtung den Nutzungsausfall als ersatzfähigen Schaden anzuerkennen. Denn die Nichtberücksichtigung der wirtschaftlichen Realität könne zu unbilligen Ergebnissen führen. Die Rechtsprechung anerkenne in ständiger Praxis, dass auf Kapital, das wegen eines Schadens nicht genutzt werden könne, ein Nutzungsausfall entstehe. Verzugs- und Schadenszins sollen den mit der Kapitalentbehrung verbundenen Nutzungsausfall ausgleichen. Damit werde anerkannt, dass Kapital, das dem Geschädigten nicht zur Verfügung stehe, einen Nutzungsausfall und damit einen Vermögensschaden nach sich ziehe. Er habe neues Kapital für die Beseitigung der Brandfolgen aufbringen müssen. Sein bis zum Brand bereits investiertes Kapital habe er während des Wiederaufbaus nicht nutzen können und er habe während diesem Jahr einen Nutzungsausfall erlitten. Der Nutzungsausfall werde ohne Schadensnachweis mit einem fixen Schadenszins ausgeglichen. Das Bundesgericht habe in seiner Rechtsprechung den Satz des Schadenszinses in der Regel ohne nähere Begründung in Anlehnung an <ref-law> auf 5 % festgelegt.
5.3. Da sich die Eröffnung des Panoramarestaurants aufgrund des Brandes verzögerte, beansprucht der Beschwerdeführer zum einen 5 % des bis zum Brand investierten Kapitals für ein Jahr als Nutzungsausfall und will sich zum anderen die spätere Geltendmachung des während desselben Jahres erlittenen Gewinnausfalls vorbehalten. Der Vorinstanz ist zuzustimmen, dass es dabei nicht um zwei unterschiedliche Schadensposten geht, sondern um denselben, namentlich den Schaden, der dadurch entstanden sein soll, dass die Eröffnung später als geplant erfolgte. Ohne den Brand hätte nicht einerseits mit den bereits investierten Mitteln durch eine anderweitige (fiktive) Investition ein (ebenso fiktiver) Ertrag erzielt und andererseits zugleich das Restaurant betrieben und damit Umsatz erzielt werden können - das eine schliesst das andere aus. Es handelt sich dabei um zwei unterschiedliche Szenarien bezüglich des (hypothetischen) Vermögensstandes ohne das schädigende Ereignis: Im einen Fall wird von der konkreten Situation ausgegangen und der Ertragsausfall wegen der verspäteten Eröffnung beansprucht. Im anderen Fall wird davon abstrahiert und ein fiktiver Nutzungsausfall auf dem eingesetzten Kapital berechnet, obwohl dieses bereits investiert war und auch ohne das schädigende Ereignis investiert geblieben wäre, weshalb es nicht zugleich anderweitig hätte eingesetzt werden können.
Bei dieser Ausgangslage geht es entgegen dem Beschwerdeführer nicht, zumindest nicht primär, um die - im Übrigen in <ref-ruling> E. 11 S. 392 ff. beantwortete - Frage, ob für einen Nutzungsausfall Schadenersatz zu leisten sein soll, selbst wenn dieser Nutzungsausfall nicht zu einem Schaden im Sinne der Differenztheorie führte. Beim abgebrannten Panoramarestaurant handelt es sich um eine kommerziell eingesetzte resp. einzusetzende Sache (im Gegensatz zur privaten, nichtkommerziellen Nutzung von Sachen). Bei einer kommerziellen Nutzung sind finanzielle Auswirkungen - und damit auch ein Schaden im Sinne der Differenztheorie - bei einer fehlenden resp. verzögerten Nutzungsmöglichkeit die Regel (so auch die vom Beschwerdeführer angeführte BARBARA KLETT, Der Nutzungsausfall als Schadensposition, HAVE 2012 S. 381). Die Frage dreht sich um die Berechnung und den Nachweis dieses Schadens.
Wie ausgeführt, ist im Geltungsbereich der Differenztheorie nach schweizerischem Recht grundsätzlich ein konkreter Schadensnachweis erforderlich; Ausnahmen davon bedürfen einer gesetzlichen Grundlage (siehe E. 4.3.1). Einen konkreten Schadensnachweis tritt der Beschwerdeführer nicht an. Er erblickt aber in <ref-law> eine Gesetzesnorm, die ihm eine rein abstrakte Bemessung des in Frage stehenden Schadens erlaubt. Das trifft nicht zu. Es mag sein, dass das Bundesgericht den Satz des Schadenszinses in der Regel ohne nähere Begründung in Anlehnung an diese Norm auf 5 % festgelegt hat (<ref-ruling> E. 4b S. 54). Doch um Schadenszinsen, also um Zinsen, die ab dem Moment, als sich das schädigende Ereignis finanziell ausgewirkt hat, auf dem Schadenersatzbetrag geschuldet sind (dazu <ref-ruling> E. 4a S. 54), geht es hier nicht. In Frage steht vielmehr die finanzielle Auswirkung des schädigenden Ereignisses selber. Für deren Bestimmung bietet <ref-law> keine Grundlage, sondern sie wäre, wie von der Vorinstanz treffend erkannt, vom Beschwerdeführer (womöglich unter Beanspruchung der Beweiserleichterung von <ref-law>) zu beweisen. Diesen Beweis versucht der Beschwerdeführer gar nicht erst zu erbringen - seine Forderung ist ohne Weiteres abzuweisen.
6.
Strittig ist ferner der vom Beschwerdeführer verlangte Ersatz für verschiedene Mehraufwendungen im Gesamtbetrag von Fr. 464'602.20, die angeblich nicht durch Versicherungsleistungen gedeckt sind. Davon erachtete die Vorinstanz Fr. 89'620.-- als berechtigt, Fr. 305'277.35 hingegen nicht; die restlichen Fr. 69'704.85 liess sie unbeurteilt.
In ihren diesbezüglichen Vorbemerkungen führte die Vorinstanz drei allgemeine Vorbehalte an, beurteilte diese aber nicht abschliessend. Um Eventualbegründungen handelt es sich dabei infolgedessen nicht und es ist in vorliegendem Verfahren nicht darauf einzugehen. Für die darauf bezogenen Vorbringen der Parteien gilt dies gleichermassen. Gegebenenfalls wäre die Sache zur Prüfung dieser Punkte und der weiteren Voraussetzungen sowie der bislang nicht beurteilten Forderungen an die Vorinstanz zurückzuweisen.
6.1. Der Beschwerdeführer trägt einleitend vor, die Vorinstanz habe die Mehraufwendungen im Wesentlichen mit zwei sich immer wieder wiederholenden Begründungen abgewiesen. Zum einen habe sie ihn als nicht aktivlegitimiert erachtet, zum anderen habe sie die Forderungen für nicht hinreichend substanziiert befunden. Um Wiederholungen zu vermeiden, sei in allgemeiner Hinsicht das Folgende zur hinreichenden Substanziierung festgehalten.
6.1.1. Inwieweit Tatsachen zu behaupten und zu substanziieren sind, ergibt sich einerseits aus den Tatbestandsmerkmalen der angerufenen Norm und anderseits aus dem prozessualen Verhalten der Gegenpartei (<ref-ruling> E. 2b S. 368; Urteil 4A_57/2014 vom 8. Mai 2014 E. 1.3.3; je mit Hinweisen). Eine Tatsachenbehauptung hat nicht alle Einzelheiten zu enthalten. Es genügt, wenn die Tatsachen, die unter die das Begehren stützenden Normen zu subsumieren sind, in einer den Gewohnheiten des Lebens entsprechenden Weise in ihren wesentlichen Zügen oder Umrissen behauptet werden (<ref-ruling> E. 3.4.2 S. 328; Urteil 4A_591/2012 vom 20. Februar 2013 E. 2.1). Ein solchermassen vollständiger Tatsachenvortrag wird als schlüssig bezeichnet, da er bei Unterstellung, er sei wahr, den Schluss auf die anbegehrte Rechtsfolge zulässt (Urteil 4A_210/2009 vom 7. April 2010 E. 3.2 mit Hinweis; vgl. auch <ref-ruling> E. 2b S. 368). Bestreitet die Gegenseite den schlüssigen Tatsachenvortrag der behauptungsbelasteten Partei, greift eine über die Behauptungslast hinausgehende Substanziierungslast. Die Vorbringen sind diesfalls nicht nur in den Grundzügen, sondern in Einzeltatsachen zergliedert so umfassend und klar darzulegen, dass darüber Beweis abgenommen oder dagegen der Gegenbeweis angetreten werden kann (<ref-ruling> E. 2b S. 368 mit Hinweisen).
Gegenstand des Beweises sind rechtserhebliche, streitige Tatsachen (<ref-law>). Dies setzt entsprechende, substanziierte Tatsachenbehauptungen voraus, die von der Gegenseite genügend substanziiert bestritten werden (Urteil 4A_299/2015 vom 2. Februar 2016 E. 2.3 mit Hinweisen, nicht publ. in: <ref-ruling>) - andernfalls besteht vorbehältlich <ref-law> kein Raum für eine Beweisabnahme (Urteil 4A_504/2015 vom 28. Januar 2016 E. 2.4). Das Beweisverfahren dient also nicht dazu, fehlende Behauptungen zu ersetzen oder zu ergänzen (zit. Urteil 4A_504/2015 E. 2.4), sondern setzt solche vielmehr voraus.
6.1.2. Von dieser Rechtslage ging auch die Vorinstanz aus. Der Beschwerdeführer erachtet dies allerdings als bundesrechtswidrig. Zur Begründung beruft er sich auf <ref-law>, der ihm als Geschädigtem den Schadensnachweis erleichtern solle. Ferner habe er zahlreiche Unterlagen, darunter insbesondere Rechnungen, eingereicht, um die Mehraufwendungen im Zusammenhang mit dem Wiederaufbau nach dem Brand zu belegen. Die Vorinstanz habe diese jedoch in mehreren Fällen gar nicht erst abgenommen mit der Begründung, die Ansprüche seien nicht ausreichend belegt (recte: substanziiert) oder die einzelnen Kostenpositionen liessen sich nicht zuordnen. Dadurch habe die Vorinstanz das Beweismass unrichtig angewandt und <ref-law> verletzt. Sie habe keinen seiner formgültig und rechtzeitig angebotenen Beweise abgenommen und es habe eine antizipierte Beweiswürdigung stattgefunden. Damit habe die Vorinstanz gegen <ref-law>, <ref-law> und Art. 29 Abs. 1 und 2 BV verstossen.
6.1.3. Zutreffend ist zwar, dass sich <ref-law> sowohl auf das Vorhandensein als auch auf die Höhe des Schadens bezieht (<ref-ruling> E. 3.1 S. 381). Die Anwendung dieser Bestimmung setzt jedoch zunächst voraus, dass ein strikter Beweis nach der Natur der Sache nicht möglich oder nicht zumutbar ist (<ref-ruling> E. 2b/aa S. 276). Selbst wenn diese Voraussetzung erfüllt ist, erlaubt <ref-law> dem Geschädigten nicht, ohne nähere Angaben Schadenersatzforderungen in beliebiger Höhe zu stellen. Vielmehr sind auch im Rahmen dieser Norm - soweit möglich und zumutbar - alle Umstände zu behaupten, die Indizien für den Bestand eines Schadens darstellen und die Schätzung des Umfangs des Schadens erlauben (<ref-ruling> E. 5.1 S. 363 f.; <ref-ruling> E. 3a S. 221). Liefert die geschädigte Person nicht alle im Hinblick auf die Schätzung des Schadens notwendigen Angaben, ist eine der Voraussetzungen von <ref-law> nicht gegeben und die Beweiserleichterung kommt nicht zum Zuge (vgl. etwa Urteile 4A_397/2016 vom 30. November 2016 E. 5.1; 4A_431/2015 vom 19. April 2016 E. 5.1.2). Mit anderen Worten entbindet <ref-law> nicht grundsätzlich von der Behauptungs- und v.a. von der Substanziierungslast, sondern relativiert diese nur, aber immerhin, insofern, als wegen der Unmöglichkeit resp. Unzumutbarkeit eines strikten Beweises auch bezüglich Behauptung und Substanziierung nicht mehr als möglich resp. zumutbar verlangt werden kann (Urteil 5A_256/2016 vom 9. Juni 2017 E. 8.2.5.2, zur Publikation vorgesehen). Die vorzubringenden Umstände müssen aber immer noch geeignet sein, den Bestand des Schadens hinreichend darzutun und seine Grössenordnung hinreichend fassbar werden zu lassen (zit. Urteil 5A_256/2016 E. 8.2.5.2; BGE <ref-ruling> E. 3a S. 222).
Mit einem pauschalen Hinweis auf <ref-law> vermag der Beschwerdeführer die vorinstanzliche Beurteilung, wonach etliche der geltend gemachten Forderungen ungenügend substanziiert seien, entsprechend nicht zu entkräften. Soweit er die hinreichende Substanziierung aus <ref-law> ableitet, ist bezüglich jeder einzelnen als ungenügend substanziiert qualifizierten Forderung zunächst darzutun, dass diesbezüglich der Schadensnachweis nicht möglich oder nicht zumutbar ist, sofern dies nicht offenkundig sein sollte. Ist diese Voraussetzung erfüllt, müssen alsdann die im kantonalen Verfahren form- und fristgerecht aufgestellten, bestrittenen Behauptungen des Beschwerdeführers den zwar eingeschränkten, nicht aber gänzlich unbeachtlichen Substanziierungsanforderungen genügen. Dabei kann auch im Anwendungsbereich von <ref-law> eine ungenügende Substanziierung nicht durch die Beantragung von Beweismitteln wettgemacht werden. Hinreichend substanziierte Behauptungen sind vielmehr auch hier Voraussetzung dafür, dass überhaupt Beweise abzunehmen sind. Die Vorwürfe, die Vorinstanz habe das Beweismass verkannt oder eine antizipierte Beweiswürdigung vorgenommen, gehen deshalb an der Sache vorbei.
6.2. Zu einigen von der Vorinstanz als unbegründet erachteten Ersatzforderungen, namentlich diejenigen für vier Lifttragseile, für Mehrwertsteuerberatung und für Sitzungsspesen, äussert sich der Beschwerdeführer in seiner Beschwerde nicht. Entsprechend hat es damit sein Bewenden (E. 2.1).
6.2.1. Die Vorinstanz sprach dem Beschwerdeführer für die entgangenen Mietzinseinnahmen aus der Vermietung von drei 3.5-Zimmerwohnungen teilweise Schadenersatz zu. Hinsichtlich der 2.5-Zimmerwohnung, die der Beschwerdeführer mit seiner Ehefrau bezogen hätte, hielt sie hingegen fest, hierbei handle es sich um einen abstrakten Nutzungsausfall, der keinen Schaden im Sinne der Differenztheorie verursacht habe. Erst verspätet, nämlich im Berufungsverfahren, habe der Beschwerdeführer implizit die Behauptung vorgebracht, seine Ehefrau hätte ihm die Hälfte des Mietzinses für die von ihnen benutzte Ferienwohnung bezahlt, weshalb ihm in Höhe des halben Mietzinses ein Schaden im Sinne der Differenztheorie, nämlich entgangene Mietzinseinnahmen, entstanden sei. Insgesamt erachtete die Vorinstanz die Position entgangene Mietzinseinnahmen im Umfang von Fr. 34'350.-- als nicht ausgewiesen.
Unter dem Titel "Stundenaufwand F._" und unter Hinweis auf die vorinstanzliche Beurteilung dieser Forderung (siehe zu dieser nachfolgend E. 6.2.6) bringt der Beschwerdeführer vor, seine Ehefrau sei in diesem Verfahren richtigerweise als Dritte zu behandeln. Damit sei aber auch ihr hälftiger Anteil an den Mietkosten als ihm entstandener Schaden anzuerkennen. Dass er erst im Berufungsverfahren geltend gemacht habe, der hälftige Anteil der Mietkosten sei ihm als Schaden anzurechnen, hänge mit der Begründung des erstinstanzlichen Urteils zusammen. Neue rechtliche Argumentationen, die im Rahmen des festgestellten Sachverhalts blieben, seien zulässig.
Der Beschwerdeführer beruft sich damit auf einen Mietzinsausfall, den er erlitten haben will, weil ihm seine Ehefrau ihre Hälfte des Mietzinses für die 2.5-Zimmerwohnung infolge des Brandes nicht bezahlt habe. Dass die Ehefrau ihm Mietzinsen bezahlt hätte, ist nicht eine rechtliche Argumentation, sondern eine Tatsachenbehauptung. Inwiefern erst die Begründung des erstinstanzlichen Urteils den Beschwerdeführer veranlasst haben soll, diese für einen behaupteten Mietzinsausfall grundlegende Tatsache zu behaupten, wird von ihm nicht dargetan und ist auch nicht ersichtlich. Da dieses Tatsachenvorbringen verspätet erfolgte, ist es nicht mehr zu hören. Mietzinszahlungen der Ehefrau - und damit auch ein diesbezüglicher Ausfall - sind folglich nicht erstellt. Anderweitig rügt der Beschwerdeführer die vorinstanzliche Beurteilung der Position entgangene Mietzinseinnahmen nicht, womit es sein Bewenden hat (E. 2.1).
6.2.2. Bezüglich des Schadens von Fr. 43'847.70, der wegen eines "nicht rückforderbaren Anteils der Vorsteuern" entstanden sein soll, führte die Vorinstanz aus, es fehle dem Beschwerdeführer an der Aktivlegitimation. Denn die von ihm zum Nachweis dieser Position eingereichten Belege liessen nur den Schluss zu, dass ein allfälliger Schaden nicht ihm, sondern der D._ AG entstanden wäre.
Der Beschwerdeführer bringt dagegen vor, diese Kosten habe er zu tragen gehabt, auch wenn die Berechnung auf die D._ AG ausgestellt gewesen sei, weil die Steuerbehörde einen Abzug nur im Hinblick auf die spätere Einbringung des Gebäudes in diese zugelassen habe.
Damit ergänzt der Beschwerdeführer den vorinstanzlich festgestellten Sachverhalt, ohne die Voraussetzungen dafür zu beachten (E. 2.2). Abgesehen davon erschöpft er sich in appellatorischer Kritik, welche die Beweiswürdigung der Vorinstanz nicht als willkürlich auszuweisen vermag.
6.2.3. Den als Geschäftsführer des Panoramarestaurants eingestellten G._ setzte der Beschwerdeführer infolge des Brandes im Rahmen der Einrichtung und Inbetriebnahme eines Provisoriums ein. Laut Beschwerdeführer hätte für diese Aufgabe auch jemand ohne Geschäftsführungsfunktion zu einem geringeren Lohn eingestellt werden können. Die "dadurch zu hoch ausgefallenen Lohnkosten" von Fr. 23'474.60 seien ihm als Schaden zu ersetzen. Die Vorinstanz erachtete diese Forderung als ungenügend substanziiert. Der Beschwerdeführer habe in der Klage bloss pauschal behauptet, die Arbeit für das Provisorium sei weniger anspruchsvoll und arbeitsintensiv gewesen als die ursprünglich vorgesehene Funktion. Die Beschwerdegegner hätten dem in ihrer Klageantwort entgegengehalten, die Ersatzaufgabe müsse gleich arbeitsintensiv gewesen sein wie die ursprüngliche Aufgabe. Da das Provisorium kurzfristig habe aufgebaut werden müssen, müsse diese Tätigkeit auch sehr anspruchsvoll gewesen sein. Trotz dieser Bestreitung habe der Beschwerdeführer in seiner Replik das angebliche Aufwand- und Anspruchgefälle zwischen den beiden Funktionen nicht näher erläutert, z.B. durch substanziierte Angaben zur Grösse der beiden Betriebe, zu den Stellenbeschrieben, zu den jeweiligen mutmasslichen und effektiven Arbeitszeiten, zu Art und Anzahl der unterstellten Mitarbeiter und zu den Umsatzzahlen.
Der Beschwerdeführer beruft sich darauf, die Vorinstanz hätte die von ihm angebotenen Beweise abnehmen müssen, wenn ihr seine Ausführungen nicht genügt hätten. Die Vorinstanz habe <ref-law> verletzt.
Damit fehlt es an einer ausreichenden Auseinandersetzung mit den vorinstanzlichen Erwägungen (E. 2.1). Der Beschwerdeführer irrt jedoch ohnehin, wenn er meint, seiner Substanziierungsobliegenheit Genüge tun zu können, indem er Beweismittel anruft anstatt substanziierte Behauptungen aufzustellen (vgl. E. 6.1.3). Dass die vorinstanzliche Feststellung unzutreffend wäre, wonach in der Replik trotz Bestreitung in der Klageantwort keine Substanziierung erfolgt sei, macht er nicht geltend.
6.2.4. Der Beschwerdeführer verlangte Fr. 27'000.-- als Ersatz für das Pauschalhonorar von H._ für "Beratung und Durchführung des Personalselektionsverfahren (s) für die Funktion des Geschäftsführers und des Küchenchefs". Die fraglichen Arbeitskräfte seien wegen des Brandfalls vergebens rekrutiert worden, weshalb sich die Dienstleistung als nutzlos erwiesen habe und ihm der Betrag zu ersetzen sei. Die Vorinstanz kam zum Schluss, die Aufwendungen für die Suche nach einem Geschäftsführer seien letztlich nicht überflüssig gewesen, habe dieser doch das Provisorium geleitet. Im Übrigen sei ein Teil der erbrachten Leistungen wiederverwertbar. Zudem sei aufgrund des Beweisergebnisses davon auszugehen, dass kein Küchenchef habe akquiriert werden können, weshalb sich frage, ob insofern überhaupt ein Kausalzusammenhang zum Brandereignis bestehe. Jedenfalls habe es der Beschwerdeführer trotz Bestreitung durch die Beschwerdegegner unterlassen, den Gesamtaufwand offenzulegen und aufzuzeigen, in welchem Umfang dieser Aufwand auf welche konkreten Einzelleistungen entfallen sei. Da er dies unterlassen habe, sei eine entsprechende Kostenausscheidung nicht möglich. Soweit er erstmals in seiner Berufung darum ersuche, H._ sei "im Detail nach den entstandenen Kosten" und "zu den Einzelpositionen ihrer Rechnung" zu befragen, übersehe er, dass das Beweisverfahren nicht der Ergänzung lückenhafter Parteibehauptungen diene. Zudem sei dieser Antrag verspätet erfolgt. Dieselben Überlegungen träfen auch auf den vom Beschwerdeführer geltend gemachten Schaden im Betrag von Fr. 10'000.-- zu, den er G._ für dessen angebliche Beratertätigkeit vom Juni bis Oktober 2008 bezahlt haben wolle. Diverse dieser Arbeiten seien ebenfalls wiederverwertbar und es werde auch hier nicht aufgezeigt, welcher Gesamtaufwand entstanden und in welchem Umfang dieser auf die Einzelleistungen entfallen sei.
Der Beschwerdeführer rügt u.a., die Vorinstanz habe seine Ausführungen zu Unrecht als nicht hinreichend substanziiert betrachtet, ohne die beantragten Beweise abzunehmen - diesbezüglich kann auf bereits Gesagtes verwiesen werden (E. 6.1.3).
Weiter macht er geltend, es seien sämtliche Personaleinstellungsbemühungen nutzlos geworden. Selbst wenn einige Leistungen tatsächlich ein Jahr später hätten wiederverwendet werden können, seien diese für ihn aufgrund des Eigentümerwechsels nicht weiter verwendbar gewesen. Eine Aufteilung der Kosten sei daher nicht vorzunehmen. Und wenn doch, hätte diese nach Ermessen vorgenommen werden müssen, da eine klare Kostenabgrenzung von der Natur der Sache her nicht möglich sei. Die Kosten seien ausreichend belegt und es seien ergänzende Beweisanträge gestellt worden.
Indem der Beschwerdeführer bloss der Auffassung der Vorinstanz widerspricht, wonach etliche dieser Leistungen wiederverwendbar gewesen seien, weist er deren Würdigung nicht als willkürlich aus. Weshalb eine Kostenabgrenzung bei den in Frage stehenden Leistungen von der Natur der Sache her unmöglich sein soll, erläutert der Beschwerdeführer nicht; offenkundig ist dies nicht. Im Übrigen stellt er nicht in Frage, dass er den Beweisantrag, der einer Kostenaufteilung bezüglich dem Honorar von H._ dienlich hätte sein können, verspätet gestellt hatte. Die Voraussetzungen von <ref-law> sind entsprechend nicht erfüllt. Die Abweisung dieser beiden Forderungen im Gesamtbetrag von Fr. 37'000.-- ist nicht zu beanstanden.
6.2.5. Die Vorinstanz erkannte dem Beschwerdeführer unter dem Titel ausserprozessuale Anwaltskosten Fr. 54'370.-- zu. Im Umfang von Fr. 11'325.-- erachtete sie diese Position hingegen als nicht ausgewiesen. Ebenfalls abgelehnt hat sie eine Ersatzpflicht für die Kosten des eingeholten Rechtsgutachtens von Fr. 11'000.--. Ob die Kosten für das Privatgutachten unter dem Titel Schaden oder Parteientschädigung zu prüfen seien, könne offenbleiben, da sie so oder so nicht zu ersetzen seien. Zum einen sei das Gutachten nicht zielführend gewesen, zum anderen sei seine Einholung nicht notwendig gewesen, weil der Beschwerdeführer bereits anwaltlich vertreten gewesen sei.
Der Beschwerdeführer bringt dagegen vor, die notwendigen Expertisekosten könne er als Mangelfolgeschaden geltend machen. Der Beizug eines Privatgutachters sei berechtigt gewesen, denn die blosse Meinung eines Parteivertreters vermöge keinen ausreichenden Beleg für einen ersatzfähigen Schaden zu liefern, vor allem wenn es auf diesem Rechtsgebiet noch keine bundesgerichtliche Rechtsprechung gebe. Der Gutachter habe nicht nur juristisch, sondern auch tatsächlich festgestellt, dass es einen merkantilen Minderwert bei beschädigten und reparierten Gebäuden gebe. Der Beschwerdeführer sei mit diesem Gutachten seiner Pflicht nachgekommen, seine Sachdarstellung durch schlüssige Tatsachenbehauptungen zu belegen.
Mit der Vorinstanz kann offengelassen werden, ob die Kosten für das eingeholte Rechtsgutachten unter dem Titel Schaden oder Parteientschädigung zu prüfen sind, da solche Kosten so oder so nur zu ersetzen sind, wenn sie notwendig waren. <ref-law> erfasst bereits nach seinem Wortlaut nur notwendige Auslagen, während ausserprozessuale Parteikosten gemäss Rechtsprechung als Schaden zugesprochen werden können, wenn ihr Aufwand zur Durchsetzung der Forderung gerechtfertigt, notwendig und angemessen war (Urteil 4A_264/2015 vom 10. August 2015 E. 3 mit Hinweisen). Der Beschwerdeführer begründet die Notwendigkeit des Privatgutachtens damit, dass er nur so einen ausreichenden Beleg für das Bestehen eines ersatzfähigen Schadens habe liefern können, da die blosse Meinung des Parteivertreters hierfür nicht genüge. Bei dieser Argumentation dürfte der Beschwerdeführer die bundesgerichtliche Rechtsprechung zum Beweiswert von Parteigutachten (vgl. <ref-ruling> E. 2.6 S. 437 f.) übersehen, jedenfalls geht er nicht auf diese ein. Gewichtiger als dies ist allerdings, dass es sich beim eingeholten Gutachten um ein Rechtsgutachten handelt; eigene Tatsachenfeststellungen trifft der Gutachter nicht, weshalb das Gutachten - entgegen der Darstellung des Beschwerdeführers - zur Sachverhaltsschilderung nichts beitragen konnte. Zur Erbringung des vom Beschwerdeführer angestrebten Beweises oder diesbezüglicher Indizien war das Gutachten daher ungeeignet; entsprechend konnte es hierfür auch nicht notwendig sein. Ob und gegebenenfalls unter welchen Voraussetzungen Kosten für ein Rechtsgutachten zum schweizerischen Recht zu ersetzen sind, kann offenbleiben, da die Auslagen dafür jedenfalls notwendig sein müssen. Dies ist hier nicht der Fall, wurde doch dem Gutachter die entscheidende Frage nach den Folgen der Übertragung der Liegenschaft nicht unterbreitet. Die Kosten für das Gutachten sind daher nicht zu ersetzen. Zu den von der Vorinstanz nicht als ausserprozessuale Anwaltskosten anerkannten Fr. 11'325.-- äussert sich der Beschwerdeführer nicht, weshalb es damit sein Bewenden hat (E. 2.1).
6.2.6. Eine weitere Ersatzforderung von Fr. 118'000.-- machte der Beschwerdeführer geltend für den Aufwand, der ihm (180 Stunden à Fr. 300.--) und seiner Ehefrau (320 Stunden à Fr. 200.--) im Zusammenhang mit dem Brandfall entstanden sei. Die Vorinstanz erachtete den Beschwerdeführer zur Geltendmachung des Aufwands seiner Ehefrau nicht als aktivlegitimiert. Seine erstmals in der Berufung vorgebrachte Behauptung, er habe seine Ehefrau für deren Aufwand zu entschädigen, wodurch ihm ein Schaden entstanden sei, sei verspätet und daher unbeachtlich. Soweit den eigenen Aufwand des Beschwerdeführers betreffend, sei ein Schaden im Rechtssinne weder hinreichend behauptet noch nachgewiesen. Der Beschwerdeführer habe in der Klage bloss vorgebracht, sein Aufwand im Zusammenhang mit dem Brandfall sei "zu Lasten" seiner "gängigen Tätigkeit" gegangen, "was eine nicht zu unterschätzende Erwerbseinbusse zur Folge" gehabt habe. Zu Art und Bewandtnis dieser "gängigen Tätigkeit" habe er sich jedoch nicht geäussert und dies trotz Bestreitung in der Klageantwort auch in der Replik nicht nachgeholt. Soweit der im Zeitpunkt des Brandes 73-jährige Beschwerdeführer in seiner Berufung erstmals vorbringe, mitten "im Erwerbsleben" zu stehen, und dies mit diversen Mandaten begründe, seien diese Behauptungen verspätet und nicht zu hören. Die geltend gemachte Forderung sei daher nicht ausgewiesen.
Der Beschwerdeführer äussert sich an dieser Stelle der Beschwerde nicht zu seiner Aktivlegitimation bezüglich des Aufwands seiner Ehefrau. Andernorts hält er jedoch fest, seine Ehefrau sei in diesem Verfahren richtigerweise als Dritte zu behandeln (vgl. E. 6.2.1). Ob er damit implizit seine fehlende Aktivlegitimation zugesteht, kann offenbleiben. Jedenfalls fehlt es an einer hinreichenden Auseinandersetzung mit der diesbezüglichen vorinstanzlichen Erwägung, weshalb es damit sein Bewenden hat (E. 2.1).
Der Beschwerdeführer trägt in seiner Beschwerde vor, seine Bemühungen (und diejenigen seiner Ehefrau) nach Datum und Zweck in einer Tabelle aufgeführt zu haben. Zudem habe er Beweismittel dazu angeboten. Ein strikter Nachweis dieses Schadens könne der Natur der Sache nach nicht erbracht werden. Eine "konkrete Einschränkung der diversen selbständigen und unselbständigen beruflichen Tätigkeiten des Beschwerdeführers, wie dies von der Vorinstanz verlangt" werde, könne nicht erbracht werden. Die Vorinstanz habe den ihr durch <ref-law> eingeräumten Ermessensspielraum nicht ausgeübt und dadurch diese Bestimmung verletzt.
Selbst wenn <ref-law> grundsätzlich zur Anwendung kommen sollte, würde dies den Beschwerdeführer nicht davon befreien, soweit möglich und zumutbar alle Umstände zu behaupten, die Bestand und Umfang des Schadens fassbar machen würden (vgl. E. 6.1.3). Als Schaden behauptet er eine Erwerbseinbusse. Inwiefern es für ihn nicht möglich oder nicht zumutbar gewesen wäre, wenigstens darzulegen und mit entsprechenden Beweismitteln zu untermauern, welchen diversen selbstständigen und unselbstständigen Tätigkeiten er nachgegangen sein will (die durch seinen Aufwand bezüglich des Brandfalls beeinträchtigt worden sein sollen), führt der Beschwerdeführer nicht aus. Dies ist auch nicht ersichtlich. Erachtete die Vorinstanz den geltend gemachten Erwerbsausfall daher als weder hinreichend behauptet noch belegt, ist dem ohne Weiteres zuzustimmen. Durch die Anrufung von Beweismitteln vermag der Beschwerdeführer substanziierte Behauptungen nicht zu ersetzen (E. 6.1.1 und 6.1.3).
6.3. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz von den geltend gemachten, nicht durch Versicherungsleistungen gedeckten Mehraufwendungen Fr. 305'277.35 als nicht ausgewiesen erachtete. Dass sie bei diesem Ergebnis die restlichen Fr. 69'704.85 nicht mehr beurteilen musste, wird vom Beschwerdeführer nicht in Frage gestellt.
7.
7.1. Schliesslich beanstandet der Beschwerdeführer, dass ihm die Prozesskosten in den kantonalen Verfahren vollumfänglich auferlegt worden seien. Er habe nicht überklagt. Die Erstinstanz habe die Beschwerdegegner zur Zahlung von Fr. 65'530.50 nebst Zins unter Anrechnung der geleisteten Akontozahlung von Fr. 200'000.-- verpflichtet. Sie sei also nicht davon ausgegangen, die Beschwerdegegner hätten seine Forderung im Umfang von Fr. 200'000.-- anerkannt. Vielmehr habe er auch diesen Betrag einklagen müssen, da die Beschwerdegegner seine Forderung vorprozessual selbst im Ausmass der Akontozahlung ausdrücklich bestritten hätten. Das widersprüchliche Verhalten der Beschwerdegegner, einerseits eine Akontozahlung von Fr. 200'000.-- zu leisten und andererseits seine Forderung während dem Prozess bloss im Umfang von Fr. 35'897.45 anzuerkennen und vorprozessual gar nicht, habe die damit zusammenhängenden Kosten verursacht, was bei der Kostenverlegung entsprechend zu berücksichtigen sei.
7.2. Die Vorinstanz hielt zunächst fest, der erstinstanzliche Entscheid sei zwar missverständlich formuliert, laufe im Ergebnis aber auf eine vollumfängliche Klageabweisung hinaus. Sie erläuterte sodann den zeitlichen Ablauf bezüglich Akontozahlung und Klageeinreichung und stellte anschliessend fest, der Beschwerdeführer habe die geleistete Akontozahlung während des gesamten erstinstanzlichen Verfahrens sowohl in seinen Berechnungen als auch in seinen Rechtsbegehren unberücksichtigt gelassen. Damit, und da die Klage abzuweisen sei, bleibe es bei der erstinstanzlichen Kostenverteilung.
Vor der Vorinstanz unterlag der Beschwerdeführer ebenfalls vollumfänglich, da diese zum Schluss kam, der allenfalls berechtigte Teil der eingeklagten Forderungen sei von der Akontozahlung gedeckt. Entsprechend wurden ihm die gesamten vorinstanzlichen Prozesskosten auferlegt.
7.3. Die Art. 106 f. ZPO räumen dem Gericht bei der Kostenverteilung ein weites Ermessen ein. Solche Ermessensentscheide prüft das Bundesgericht bloss mit Zurückhaltung. Es schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn Tatsachen berücksichtigt wurden, die keine Rolle hätten spielen dürfen, oder wenn umgekehrt Umstände ausser Betracht geblieben sind, die zwingend hätten beachtet werden müssen. In derartige Ermessensentscheide wird ferner eingegriffen, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (Urteil 4A_207/2015 vom 2. September 2015 E. 3.1 mit Hinweisen).
7.4. Inwiefern die Vorinstanz ihr Ermessen fehlerhaft ausgeübt haben soll, begründet der Beschwerdeführer nicht rechtsgenüglich. In diesem Punkt kann seine Beschwerde daher von vornherein nicht von Erfolg gekrönt sein (<ref-law>; <ref-ruling> E. 2 S. 89). Abgesehen davon sind ohnehin keine Fehler bei der Ermessensausübung ersichtlich. Dem Beschwerdeführer wurden die gesamten Prozesskosten auferlegt, weil er vollumfänglich unterlegen ist - das entspricht <ref-law>. Bloss weil die Klageabweisung teilweise auf die geleistete Akontozahlung zurückzuführen war, drängte sich hier nicht eine andere Verteilung auf. Denn die vorinstanzlichen Feststellungen betreffend zeitlichem Ablauf einerseits und Nichtbeachtung der Akontozahlung durch den Beschwerdeführer bei seinen Berechnungen und vor allem bei seiner Bezifferung des Leistungsbegehrens andererseits sind nicht zu beanstanden. Selbst im bundesgerichtlichen Verfahren trägt der Beschwerdeführer der Akontozahlung im Übrigen keine Rechnung, sondern verlangt nach wie vor die ungekürzte Zahlung des von ihm behaupteten Betrags, obwohl er Fr. 200'000.-- bereits seit geraumer Zeit in Händen hält. Weshalb hierin bei der gegebenen Ausgangslage nicht ein Überklagen gesehen werden dürfte, erschliesst sich dem Bundesgericht nicht.
8.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 17'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 19'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 6. September 2017
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Lüthi