Sachverhalt:
A.
A.a. Der 1956 geborene A._ war als Werkzeugmacher bei der B._ AG angestellt und dadurch bei der Schweizerischen Unfallversicherungsanstalt (Suva) obligatorisch gegen die Folgen von Unfällen versichert. Am 26. Dezember 2008 stürzte er beim Schlittschuhlaufen auf den Hinterkopf und zog sich dabei ein leichtes Schädel-Hirn-Trauma (contusio cerebri), eine Schädelfraktur (Felsenbein-Längsfraktur) mit Kontusionsblutung links frontal und rechts temporozentral sowie eine Subarachnoidalblutung frontal rechts und tentoriell zu. In der Folge kam es zu einem organischen Psychosyndrom nach Schädel-Hirn-Trauma sowie zu (Spät-) Epilepsien mit komplex-fokalen Anfällen und bifrontalen wie auch links temporo-medialen Funktionsstörungen. Im Wesentlichen gestützt auf ein neuropsychologisches Gutachten vom 12. November 2013 sowie ein neurologisch-psychiatrisches Gutachten vom 28. Mai 2014 sprach die Suva dem Versicherten mit Verfügung vom 14. April 2015 für die Zeit ab dem 1. November 2014 eine Invalidenrente bei einem Invaliditätsgrad von 64 % sowie eine Integritätsentschädigung bei einer Integritätseinbusse von 50 % zu.
A.b. Am 24. November 2014 traf A._ beim Spaziergang auf eine Bekannte. Während des Gesprächs wollte er sich am "Bündnerzaun" am Wegrand anlehnen. Dabei brach der morsche Holzbalken und der Versicherte stürzte ca. 100 m einen steil abfallenden Abhang hinunter. Er erlitt ein Polytrauma mit teils sehr schweren Verletzungen an Kopf und Halswirbelsäule (HWS), Gesicht, Thorax und Brustwirbelsäule (BWS), Abdomen sowie an Extremitäten und Beckengürtel. Nach dem Spitalaufenthalt (24. November bis 17. Dezember 2014) wurde er zur Rehabilitation in die Kliniken C._ verlegt, wo er sich bis zum 27. Mai 2015 aufhielt. Die Suva nahm in der Folge diverse Abklärungen in medizinischer Hinsicht vor. Mit Verfügung vom 30. Mai 2018, welche eine Verfügung vom 22. November 2017 ersetzte, sprach sie A._ ab 1. Januar 2018 bei einem Invaliditätsgrad von 66 % eine entsprechende Invalidenrente zu. Zudem richtete sie ihm eine Integritätsentschädigung aufgrund eines (zusätzlichen) Integritätsschadens von 20 % aus. Die dagegen erhobene Einsprache, mit welcher A._ die Zusprache einer Invalidenrente gestützt auf einen Invaliditätsgrad von 100 % beantragte, wies die Suva mit Einspracheentscheid vom 29. Juni 2018 ab.
B.
Mit Entscheid vom 4. März 2020 wies das Verwaltungsgericht des Kantons Graubünden die hiergegen erhobene Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der angefochtene Entscheid sei aufzuheben und die Sache an die Suva zurückzuweisen, damit diese seine Leistungsfähigkeit rechtsgenüglich abkläre und danach über den Rentenanspruch neu verfüge. Zudem sei das kantonale Gericht anzuweisen, ihn für das vorinstanzliche Verfahren mit Fr. 2928.60 (inkl. Spesen und Mehrwertsteuer), eventualiter nach Ermessen des Gerichts, ausseramtlich zu entschädigen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Das Bundesgericht prüft die Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 44). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich diese grundsätzlich nicht auf einen rein kassatorischen Antrag beschränken. Anders verhält es sich, wenn das Bundesgericht im Falle einer Gutheissung in der Sache ohnehin nicht selbst entscheiden könnte, insbesondere weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.3 S. 317, 136 V 131 E. 1.2 S. 135, 134 III 379 E. 1.3 S. 383, 133 III 489 E. 3.1 S. 489).
Aus der Beschwerdebegründung, die zur Interpretation des Rechtsbegehrens beigezogen werden kann (<ref-ruling> E. 1.3 S. 317), geht hervor, dass die Vorinstanz nach Auffassung des Versicherten die Sache nicht ohne weitere Abklärungen hätte entscheiden dürfen. Der Antrag ist somit zulässig, weshalb auf die Beschwerde einzutreten ist.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.2. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
3.
3.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzte, indem es einen über 66 % hinausgehenden Invaliditätsgrad verneinte. Im Zentrum steht dabei die Frage, ob der rechtserhebliche medizinische Sachverhalt hinreichend abgeklärt ist.
3.2. Die zugesprochene Integritätsentschädigung war bereits im Einspracheverfahren nicht mehr streitig, sodass diesbezüglich Teilrechtskraft eingetreten ist (vgl. dazu <ref-ruling> E. 4.3 S. 358 mit Hinweisen). Unbestritten ist zudem die Beurteilung der Arbeitsfähigkeit von 50 % nach dem ersten Unfall vom 26. Dezember 2008 und dass sich der Gesundheitszustand des Beschwerdeführers nach dem zweiten Unfall vom 24. November 2014 in neuropsychologischer Hinsicht nicht verschlechtert hat.
3.3. Im angefochtenen Entscheid hat das kantonale Gericht die massgebenden Gesetzesbestimmungen und die von der Rechtsprechung entwickelten Grundsätze zutreffend dargelegt. Dies betrifft insbesondere die rechtlichen Grundlagen zum Rentenanspruch (<ref-law>) und dessen Beginn (<ref-law>) sowie zum Begriff der Invalidität (<ref-law>) und der Erwerbsunfähigkeit (<ref-law>). Gleiches gilt für die Ausführungen zum Untersuchungsgrundsatz (Art. 43 Abs. 1, <ref-law>) und zum Beweiswert ärztlicher Unterlagen (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3 S. 352 f.). Darauf wird verwiesen.
4.
Die Vorinstanz mass den Berichten des Kreisarztes Dr. med. D._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, vom 20./26. Januar und 15. Juni 2016 sowie des Dr. med. E._, Facharzt für Neurologie, Versicherungsmedizin Kompetenzzentrum Suva, vom 27. Oktober 2017 Beweiswert bei. Dr. med. D._ habe den Beschwerdeführer zweimal untersucht und seine Beurteilung in Kenntnis der Vorakten abgegeben. Danach seien bei sicher verheilten Frakturen sowie freier und stabiler Gelenksbeweglichkeit einfache wechselbelastende Tätigkeiten mit der Möglichkeit zum Sitzen und Stehen, verteilt auf mehrere Tage wieder halbtags zumutbar. Gemäss Einschätzung des Dr. med. E._ würde sich in neurologischer Hinsicht an dieser Zumutbarkeitsbeurteilung auch unter Berücksichtigung der mittelgradigen Fuss- und Zehenheberparese links nichts ändern. Hinsichtlich der kognitiven Leistungsfähigkeit hätten sich im Übrigen keine Veränderungen ergeben. Das kantonale Gericht kam zum Schluss, dass die relativ allgemein gehaltenen Einwände des Beschwerdeführers an der zuverlässigen und schlüssigen Beurteilung der Suva-Ärzte keine Zweifel zu wecken vermöchten. Die medizinische Sachlage sei umfassend und widerspruchsfrei abgeklärt, sodass keine weiteren Erhebungen vorzunehmen seien. Es bestätigte damit den von der Suva gestützt auf eine 50%ige Arbeitsfähigkeit des Beschwerdeführers in einer leidensangepassten Tätigkeit ermittelten Invaliditätsgrad von 66 % ab 1. Januar 2018.
5.
Was der Beschwerdeführer dagegen vorbringt, führt zu keinem anderen Ergebnis.
5.1.
5.1.1. Er bringt zunächst vor, Dr. med. D._ habe die zahlreichen physischen Verletzungen und deren Auswirkungen auf die Arbeitsfähigkeit nicht rechtsgenüglich beurteilt. Das Spital F._ (Bericht des Dr. med. G._, Facharzt für Chirurgie, vom 25. Juli 2016) habe sich vehement gegen die Einschätzung der Arbeitsfähigkeit durch den Kreisarzt gewehrt.
5.1.2. Die Vorinstanz hielt zum Bericht des Dr. med. G._ fest, dieser habe eine Arbeitsunfähigkeit des Beschwerdeführers in der angestammten Tätigkeit als Werkzeugmacher bestätigt. Er habe angegeben, dass eineinhalb Jahre nach dem Unfall von einer guten Wiederherstellung der Funktionen gesprochen werden könne, jedoch deutliche posttraumatische Residuen bestehen würden. Diese Ausführungen allein vermöchten indessen die von Dr. med. D._ eingeschätze Arbeitsfähigkeit von 50 % für leidensangepasste Tätigkeiten mit der Möglichkeit der Wechselbelastung (Sitzen und Stehen, eher nicht Knien) nicht zu erschüttern. Ausserdem habe Dr. med. G._ selber angegeben, dass seine Einschätzung allein auf der telefonischen Konsultation des Patienten und den Berichten der Kollegen beruhe, weshalb er die Arbeitsfähigkeit nicht abschliessend beurteilen könne. Sodann könne nicht gesagt werden, dass die von Dr. med. G._ erwähnten posttraumatischen Einschränkungen des Versicherten - Gangunsicherheiten und Schmerzen in den unteren Extremitäten - in der Einschätzung des Kreisarztes nicht mit- resp. nicht korrekt berücksichtigt worden wären. Weiter habe der Spitalarzt nicht erklärt, weshalb er die versicherungsmedizinisch festgelegte Arbeitsfähigkeit als nicht vertretbar erachte.
5.1.3. Diese vorinstanzliche Beweiswürdigung ist nicht zu beanstanden. Es mag zwar auf den ersten Blick erstaunen, dass sich das Ausmass der Arbeitsunfähigkeit trotz der durch den zweiten Unfall erlittenen erheblichen Verletzungen im Vergleich zur Einschätzung nach dem ersten Unfall rein quantitativ nicht verändert hat. Den zusätzlichen körperlichen Einschränkungen wurde aber im Rahmen des Zumutbarkeitsprofils in qualitativer Hinsicht Rechnung getragen, indem es sich bei einer leidensangepassten Tätigkeit um eine wechselbelastende Arbeit (Sitzen und Stehen) handeln muss, wobei vermehrte kniende Tätigkeiten zu vermeiden sind. Die Einschätzung des Kreisarztes beruhte im Übrigen nicht allein auf der Feststellung, dass die Frakturen verheilt seien. Vielmehr erging die Beurteilung in Kenntnis der Vorakten und gestützt auf die anlässlich der Untersuchungen erhobenen Befunde. Dass gemäss Dr. med. G._ eine vollständige Wiederherstellung der körperlichen Funktionen wie vor dem Unfall vom 24. November 2014 nicht möglich sein werde und er die Einschätzung der Arbeitsfähigkeit des Dr. med. D._ als nicht vertretbar erachtet, begründet noch keine auch nur geringen Zweifel an der kreisärztlichen Beurteilung. Zum einen hat Dr. med. G._ den Versicherten - anders als der Kreisarzt - nicht persönlich untersucht. Zum anderen fehlt es an einer nachvollziehbaren Begründung, inwiefern Dr. med. D._ die unfallbedingten Einschränkungen zu wenig berücksichtigt haben soll. Weiterer Abklärungsbedarf ist nach den zutreffenden Erwägungen der Vorinstanz deshalb nicht ersichtlich.
5.2. Aus neuropsychologischer Sicht konnte aufgrund des zweiten Unfalls sodann keine Verschlechterung nachgewiesen werden (vgl. Bericht der Klinik H._ vom 31. August 2017 über die neuropsychologische Verlaufsuntersuchung vom 14. August 2017), wie der Beschwerdeführer selber anerkennt.
5.3. Hinsichtlich der Untersuchungsdauer hat die Vorinstanz richtig erkannt, dass es für den Aussagegehalt eines medizinischen Berichts nicht auf die Dauer der Untersuchung ankomme. Vielmehr sei massgeblich, ob die Beurteilung inhaltlich vollständig und im Ergebnis schlüssig sei (SVR 2016 IV Nr. 35 S. 109, 8C_47/2016 E. 3.2.2). Dies trifft hier auf die Berichte des Kreisarztes zu.
5.4. Zum Einwand der fehlenden Durchführung einer Evaluation der funktionellen Leistungsfähigkeit (EFL) ist festzuhalten, dass bei zuverlässiger ärztlicher Beurteilung der Arbeitsfähigkeit in der Regel keine Notwendigkeit besteht, die Arbeitsfähigkeit durch eine EFL zu überprüfen. Ausnahmsweise kann eine solche erforderlich sein, wenn mehrere involvierte Ärzte eine solche angesichts eines multiplen und schwierig einzuschätzenden Krankheitsbildes ausdrücklich befürworten (Urteil 9C_433/2018 vom 5. Oktober 2018 E. 4.2 mit Hinweisen). Dass dies vorliegend der Fall wäre, macht der Beschwerdeführer zu Recht nicht geltend.
5.5. Schliesslich vermag auch die von Dr. med. E._ gestützt auf die von der Suva getätigten neurologischen und neuropsychologischen Abklärungen erfolgte Beurteilung vom 27. Oktober 2017 zu überzeugen. Danach sind die neurologischen Beschwerden durch das von Dr. med. D._ formulierte Zumutbarkeitsprofil (vgl. E. 4.2.3 hiervor) abgedeckt.
5.6. Da von weiteren medizinischen Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten waren, verzichtete die Vorinstanz darauf zu Recht. Dies verstösst - entgegen der Auffassung des Versicherten - weder gegen den Untersuchungsgrundsatz (<ref-law>) noch gegen den Anspruch auf rechtliches Gehör bzw. auf Beweisabnahme (<ref-law>; Art. 6 Ziff. 1 EMRK; antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; Urteil 8C_501/2018 vom 13. Dezember 2018 E. 3.2).
6.
Zusammenfassend hat das kantonale Gericht zu Recht auf die kreisärztlichen Berichte des Dr. med. D._ abgestellt und den Anspruch auf eine Invalidenrente bei einer Arbeitsfähigkeit von 50 % für leidensangepasste Tätigkeiten und einem damit einhergehenden Invaliditätsgrad von 66 % ab 1. Januar 2018 bestätigt. Mit dem vorinstanzlichen Entscheid hat es damit - auch in Bezug auf die Kosten- und Entschädigungsfolgen - sein Bewenden.
7.
Dem Ausgang der Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 16. September 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Wüest