Sachverhalt:
A.
A._, geboren 1963, arbeitete bei der B._ SA und war daher bei der Schweizerischen Unfallversicherungsanstalt (Suva) unter anderem gegen die Folgen von Unfällen versichert. Am 29. Oktober 2016 erlitt er durch einen tätlichen Angriff mit einem Schlaginstrument durch ein Mitglied des Motorradclubs "C._" eine offene nicht dislozierte Kalottenfraktur fronto-sphenoidal links. Die Suva erbrachte Versicherungsleistungen und klärte den medizinischen Sachverhalt unter anderem durch Einholung eines Gutachtens des Dr. med. D._, Facharzt für Neurologie FMH, vom 20. Februar 2018 ab. Mit Verfügung vom 7. Juni 2018 stellte die Suva ihre Versicherungsleistungen per 30. Juni 2018 mit der Begründung ein, zwischen den weiterhin geklagten Beschwerden und dem Unfall vom 29. Oktober 2016 bestehe kein rechtsgenügender Kausalzusammenhang mehr. Auf Einsprache hin zog die Unfallversicherung ihre Verfügung zurück und gewährte A._ weitere, auch stationäre Heilbehandlung. Gestützt auf eine neurologisch-psychiatrische Aktenbeurteilung durch ihren versicherungsmedizinischen Dienst vom 24. September 2019 stellte die Suva ihre Leistungen mit Verfügung vom 17. Oktober 2019 per 31. Oktober 2019 ein. Dies geschah mit der Begründung, die noch geklagten Beschwerden seien organisch nicht hinreichend nachweisbar und die psychischen Beschwerden stellten keine adäquat kausalen Unfallfolgen dar. Daran hielt die Suva auch auf Einsprache hin fest (Einspracheentscheid vom 4. Juni 2020).
B.
Das Versicherungsgericht des Kantons Solothurn wies eine dagegen erhobene Beschwerde des Versicherten mit Urteil vom 2. Dezember 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des kantonalen Urteils seien ihm über den 31. Oktober 2019 hinaus Heilbehandlung zu gewähren und Taggeld auszurichten. Eventualiter sei die Sache zur Einholung eines multidisziplinären Gutachtens an die Vorinstanz zurückzuweisen.
Die Suva schliesst auf Abweisung der Beschwerde, während das kantonale Gericht und das Bundesamt für Gesundheit auf eine Stellungnahme verzichten.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen).
Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.
Streitig ist, ob das kantonale Gericht Bundesrecht verletzte, indem es die Leistungseinstellung der Suva betreffend den Unfall vom 29. Oktober 2016 per 31. Oktober 2019 bestätigte.
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze über die Leistungsvoraussetzungen des natürlichen (<ref-ruling> E. 3.1) und des adäquaten Kausalzusammenhangs (<ref-ruling> E. 3.2), insbesondere bei psychischen Fehlentwicklungen nach Unfällen (<ref-ruling>), zutreffend dargelegt. Dasselbe gilt für die Umschreibung der Objektivierbarkeit von Beschwerden (<ref-ruling> E. 5.1) und für die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1; <ref-ruling> E. 3a), speziell bei versicherungsinternen Ärzten (BGE 139 V E. 5.2, 135 V 465 E. 4.4). Darauf wird verwiesen.
4.
In Bezug auf die somatischen Unfallfolgen hielt das kantonale Gericht fest, es könne auf das Gutachten des Neurologen Dr. med. D._ vom 20. Februar 2018 abgestellt werden, wonach in der Zeit von Dezember 2016 bzw. Januar 2017 bis August 2017 nicht über Kopfschmerzen geklagt worden und demnach nicht von einem chronischen posttraumatischen Kopfschmerz auszugehen sei. Selbst wenn ein solcher zu bejahen wäre, könne nicht auf einen objektivierbaren, mittels apparativ/bildgebender Abklärung verifizierbaren Gesundheitsschaden geschlossen werden. Ob die beim Beschwerdeführer diagnostizierten psychischen Beschwerden in einem natürlichen Kausalzusammenhang mit dem versicherten Unfall stünden, könne offen gelassen werden, da der in Anwendung der Rechtsprechung gemäss <ref-ruling> geprüfte adäquate Kausalzusammenhang zu verneinen sei.
5.
5.1. Der Beschwerdeführer bringt insbesondere vor, die Vorinstanz habe sich zu Unrecht auf das Gutachten des Dr. med. D._ vom 20. Februar 2018 gestützt. Der Experte sei davon ausgegangen, der Explorand habe in der Zeit vom Dezember 2016 bis Mai 2017 nicht unter Kopfschmerzen gelitten. Dies entspreche jedoch gemäss Berichten des behandelnden med. pract. E._, Facharzt für Allgemeinmedizin, vom 26. Juni 2018 und der Dr. med. F._, Oberärztin bei den psychiatrischen Diensten des Spitals I._, vom 31. Oktober 2019 nicht den Tatsachen. Entgegen der Vorinstanz dürfe nicht bloss auf echtzeitliche ärztliche Zeugnisse abgestellt werden. Das kantonale Gericht habe den Berichten der behandelnden Ärzte zu wenig Beachtung geschenkt. Ohne weitere medizinische Abklärungen könne der Kausalzusammenhang zwischen den geklagten Kopfschmerzen und dem Unfall nicht verneint werden.
5.2. Dem kann nicht gefolgt werden. Das kantonale Gericht hat sich mit den auch vorinstanzlich vorgebrachten Argumenten gegen das Gutachten des Dr. med. D._ bereits eingehend auseinandergesetzt und festgestellt, dass der Beschwerdeführer beim Unfall keine substantielle Hirnverletzung erlitten hat und im Zeitpunkt der Begutachtung keine neurologisch erklärbaren Beschwerden mehr vorlagen. Auch wenn das Bundesgericht nicht an die vorinstanzlichen Sachverhaltsfeststellungen gebunden ist (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG), bieten die Argumente in der Beschwerde doch keinen Anlass, von den eingehend begründeten und durch die Akten gestützten Schlussfolgerungen im angefochtenen Urteil abzuweichen. Dies umso weniger, als selbst bei gegebenem natürlichem Kausalzusammenhang zwischen Unfall und anhaltendem Kopfschmerz das Fehlen eines diesbezüglichen objektivierbaren Nachweises mittels apparativ/bildgebender Abklärungen auch vom Beschwerdeführer nicht bestritten wird. So hat das kantonale Gericht auch erkannt, dass die Frage nach dem natürlichen Kausalzusammenhang zwischen den psychischen und nicht strukturell objektivierbaren Beschwerden und dem Unfall schliesslich offen gelassen werden kann. In diesem Sinne muss auch nicht darüber entschieden werden, ob die vom Beschwerdeführer letztinstanzlich neu aufgelegten Aktenstücke, die seines Erachtens belegen können, dass er auch von Dezember 2016 bis Mai 2017 an behandlungsbedürftigen Kopfschmerzen gelitten hatte, als Novum berücksichtigt werden können (Art. 99 Abs. 1 BGG).
6.
Damit bleibt zu prüfen, ob das kantonale Gericht den adäquaten Kausalzusammenhang zwischen den weiterhin geklagten (nicht objektivierbaren) Beschwerden und dem Unfall zu Recht verneint hat.
6.1. Bei der Anwendung der Adäquanzbeurteilung gemäss <ref-ruling> ist zunächst die Schwere des Unfalls zu qualifizieren. Im Rahmen einer objektivierten Betrachtungsweise ist zu untersuchen, ob der Unfall eher als leicht, als mittelschwer oder als schwer erscheint, wobei im mittleren Bereich gegebenenfalls eine weitere Differenzierung nach der Nähe zu den leichten oder schweren Unfällen erfolgt. Abhängig von der Unfallschwere sind je nachdem weitere Kriterien in die Beurteilung einzubeziehen. Diese werden unter Ausschluss psychischer Aspekte geprüft (<ref-ruling> E. 6; SVR 2012 UV Nr. 5 S. 17, 8C_310/2011 E. 3; 2010 UV Nr. 3 S. 11, 8C_283/2009 E. 3 und E. 9.1; 2008 UV Nr. 8 S. 26, U 2/07 E. 5.3.1). Die Schwere ist aufgrund des augenfälligen Geschehensablaufs mit den sich dabei entwickelnden Kräften zu beurteilen. Irrelevant sind die Unfallfolgen oder Begleitumstände, die nicht direkt dem Unfallgeschehen zugeordnet werden können. Solchen Faktoren ist gegebenenfalls bei den Adäquanzkriterien Rechnung zu tragen (<ref-ruling> E. 5.1; SVR 2019 UV Nr. 41 S. 155, 8C_632/2018 E. 8.1).
6.1.1. Im angefochtenen Urteil wird der Geschehensablauf wie folgt geschildert: Der Beschwerdeführer besuchte mit drei Kollegen in "Motorradfahrer/Rockerkleidung" ein Konzert in einem Pub. Dort seien sie von ein paar "C._" aufgefordert worden, nach draussen zu kommen, wo noch ca. 15 weitere "C._" gestanden seien. Diese hätten sich offenbar von der Kleidung des Beschwerdeführers provoziert gefühlt. Seine Gruppe sei aufgefordert worden, die Gilets auszuziehen. Einer der Kollegen sei mit einem Faustschlag gegen den Kopf attackiert worden. Plötzlich habe der Beschwerdeführer einen Schlag gegen den Kopf erhalten, worauf er sogleich zu Boden gegangen und dort ca. 30 Sekunden bewusstlos liegen geblieben sei. Er habe stark geblutet und seine Brille sei beschädigt worden. Seine Kollegen hätten ihn in der Folge ins Spital H._ gefahren. Die Sache sei aus Angst um ihre Familien nicht der Polizei gemeldet worden. Diese Sachverhaltsdarstellung wird in der Beschwerde nicht bestritten.
6.1.2. Die Vorinstanz hat dieses Ereignis als mittelschwer im eigentlichen Sinne beurteilt. Der Beschwerdeführer macht mit Hinweis auf das Urteil des Bundesgerichts U 36/07 vom 8. Mai 2007 geltend, es handle sich um einen mittelschweren Unfall im Grenzbereich zu den schweren Ereignissen.
6.1.3. Im angefochtenen Urteil wird unter Hinweis auf eine umfangreiche Praxis überzeugend begründet, weshalb das Geschehen vom 29. Oktober 2016 als mittelschwer im eigentlichen Sinne eingestuft wird. Die Vorinstanz legt auch dar, weshalb der dem Urteil U 36/07 zugrunde liegende Sachverhalt mit dem vorliegenden nicht zu vergleichen ist. In jüngerer Zeit hat das Bundesgericht einen tätlichen Angriff von drei Individuen auf einen einzelnen Versicherten, bei dem dieser mit einer Flasche, einer Gürtelschnalle und einer Eisenstange gegen den Kopf geschlagen wurde, als mittelschweren Unfall im eigentlichen Sinne beurteilt (Urteil 8C_595/2015 vom 23. August 2016 E. 4.3). Im Urteil 8C_96/2017 vom 24. Januar 2018 hat das Bundesgericht die vorinstanzliche Qualifikation als mittelschweren Unfall im Grenzbereich zu einem schweren Ereignis als vertretbar erachtet, die Frage letztlich aber offen gelassen. Dabei hat es immerhin festgehalten, dass es sich um einen Grenzfall handle. Die Qualifikation rechtfertige sich nur aufgrund der besonderen Umstände, weil der Versicherte durch den überraschenden Angriff mit einem zerbrochenen Glas aus kurzer Distanz im Gesicht entstellt worden sei. Vor diesem Hintergrund besteht vorliegend keine Veranlassung, an der vom kantonalen Gericht vorgenommenen Qualifikation des Ereignisses als mittelschweren Unfall im eigentlichen Sinne abzuweichen. Demnach kann die Adäquanz nur bejaht werden, wenn mindestens drei der sieben Adäquanzkriterien erfüllt sind oder eines besonders ausgeprägt vorliegt (SVR 2013 UV Nr. 3 S. 7, 8C_398/2012 E. 6 Ingress).
6.2.
6.2.1. Im angefochtenen Urteil wird dem Unfallereignis eine gewisse Eindrücklichkeit nicht abgesprochen und damit das entsprechende Kriterium - nicht jedoch in besonders ausgeprägter Weise - bejaht. Alle anderen Kriterien (<ref-ruling> E. 6c/aa) werden als nicht erfüllt beurteilt.
Der Beschwerdeführer hält das Kriterium der besonderen Eindrücklichkeit als in besonders ausgeprägter Weise erfüllt. Zudem hält er den beim Unfall erlittenen Schädelbruch für eine schwere Verletzung; die lang anhaltenden Kopfschmerzen seien besonders geeignet gewesen, eine psychische Fehlentwicklung auszulösen. Im weiteren leide er an körperlichen Dauerschmerzen und es liege schliesslich ein schwieriger Heilverlauf mit erheblichen Komplikationen vor, da er an einer iatrogen verursachten Schmerzmittelabhängigkeit leide.
6.2.2. Obwohl jedem mittelschweren Unfall eine gewisse Eindrücklichkeit eigen ist, welche somit noch nicht für eine Bejahung des Kriteriums ausreichend sein kann (Urteil 8C_39/2008 vom 20. November 2008 E. 5.2), und das Kriterium objektiv und nicht aufgrund des subjektiven Empfindens oder Angstgefühls der versicherten Person zu beurteilen ist (Urteil U 56/07 vom 25. Januar 2008), kann es beim hier zu beurteilenden Sachverhalt mit der Vorinstanz als erfüllt betrachtet werden. Es fehlen jedoch Anhaltspunkte dafür, das Kriterium in qualifizierter Weise als gegeben zu betrachten. Insbesondere kann mit der Vorinstanz nicht von geradezu dramatischen Begleitumständen gesprochen werden. Aus objektiver Sicht hat der Beschwerdeführer miterlebt, wie einer seiner Kollegen mit der Faust geschlagen wurde. Danach wurde er selbst von hinten mit einem Gegenstand an den Kopf getroffen und ist zu Boden gegangen. Weitere Attacken folgten gemäss Akten nicht.
6.2.3. Was das Kriterium der Schwere oder besonderen Art der erlittenen Verletzung betrifft, kann auf die vorinstanzliche Beurteilung verwiesen werden. Eine folgenlos verheilte nicht dislozierte Kalottenfraktur ist nicht eine besonders schwere Verletzung. Die geltend gemachten Dauerschmerzen konnten nur relativ kurze Zeit auf einen objektivierbaren Grund zurückgeführt werden. Psychogene Schmerzen werden bei der Adäquanzbeurteilung gemäss <ref-ruling> nicht berücksichtigt. Da auch der Beschwerdeführer nicht von einer ärztlichen Fehlbehandlung ausgeht und eine erhebliche somatisch bedingte Arbeitsunfähigkeit nicht attestiert wurde, kann letztlich offen bleiben, ob das Kriterium eines schwierigen Heilungsverlaufs mit erheblichen Komplikationen vergleichbar mit dem Urteil 8C_116/2009 vom 26. Juni 2009 E. 4.5 zu bejahen wäre. Erfüllt sind höchstens zwei der Adäquanzkriterien.
7.
Zusammenfassend hält das angefochtene Urteil vor Bundesrecht stand, weshalb die Beschwerde abzuweisen ist.
8.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 6. Juli 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer