Sachverhalt:
A.
Am 27. März 2012 erhielt A._ vom Amt für Wirtschaft und Arbeit des Kantons Solothurn (AWA) die Bewilligung zur Führung der Bar B._ in U._. Vom 14. September 2016 bis 6. März 2019 wurde A._ viermal wegen Übertretung des Bundesgesetzes vom 3. Oktober 2008 zum Schutz vor Passivrauchen (SR 818.31; nachfolgend: PaRG) und Widerhandlung gegen das kantonale Wirtschafts- und Arbeitsgesetz vom 8. März 2015 (WAG/SO; BGS 940.11) verurteilt. Infolgedessen wurde er vom Amt für Wirtschaft und Arbeit am 23. April 2019 ermahnt. Das entsprechende mit eingeschriebener Post versandte Schreiben holte er nicht ab.
Von März bis Juli 2019 folgten drei weitere Strafbefehle wegen derselben Straftatbestände. Daraufhin wurde A._ vom Amt für Wirtschaft und Arbeit verwarnt. Gleichzeitig informierte ihn das Amt, dass ein Verfahren wegen Entzugs der Betriebsbewilligung geprüft werde, sofern er erneut gegen massgebliche Gesetzesvorschriften verstosse. Wiederum wurde das eingeschriebene Schreiben vom 11. September 2019 nicht abgeholt. Mit nochmaligem Zustellungsversuch wurde die Verwarnung am 8. Oktober 2019 an die Privatadresse von A._ gesandt. Auch diese Postsendung holte er nicht ab.
Mit Strafbefehlen vom 19. September 2019, 27. September 2019 und 4. März 2020 wurde A._ erneut wegen Übertretung des PaRG und Widerhandlung gegen das WAG/SO verurteilt. Daraufhin versuchte das Amt für Wirtschaft und Arbeit mit Schreiben vom 20. Juli 2020, A._ das rechtliche Gehör zum beabsichtigten Entzug der Betriebsbewilligung zu gewähren. Die per Einschreiben verschickte Sendung wurde nicht abgeholt.
B.
Mit Verfügung vom 12. Oktober 2020 entzog das Amt für Wirtschaft und Arbeit A._ die Betriebsbewilligung für seine Bar B._. Die am 13. Oktober 2020 zur Abholung gemeldete Postsendung holte A._ nicht ab.
Auf die von A._ am 18. November 2020 gegen diese Verfügung erhobene Beschwerde trat das Volkswirtschaftsdepartement des Kantons Solothurn mit Verfügung vom 29. Januar 2021 mangels Wahrung der zehntägigen Beschwerdefrist nicht ein. Die dagegen erhobene Beschwerde von A._ wies das Verwaltungsgericht des Kantons Solothurn mit Urteil vom 29. März 2021 ab.
C.
Mit Eingabe vom 3. Mai 2021 reicht A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht ein. Er beantragt die Aufhebung des angefochtenen Urteils vom 29. März 2021 sowie der Verfügung des Amtes für Wirtschaft und Arbeit vom 12. Oktober 2020.
Das Verwaltungsgericht und das Volkswirtschaftsdepartement des Kantons Solothurn schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Amt für Wirtschaft und Arbeit verzichtet auf Vernehmlassung.
Mit Verfügung vom 1. Juni 2021 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1.
1.1. Beim angefochtenen Entscheid handelt es sich um einen kantonal letztinstanzlichen Endentscheid in einer Angelegenheit des öffentlichen Rechts (Art. 82 Abs. 1 und Art. 90 BGG). Ein Ausnahmetatbestand nach <ref-law> liegt nicht vor. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist demnach grundsätzlich zulässig. Die Beschwerde wurde unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 i.V.m. <ref-law>) formgerecht (<ref-law>) eingereicht und der Beschwerdeführer ist zur Erhebung des Rechtsmittels legitimiert (<ref-law>). Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher - vorbehältlich E. 1.2 hiernach - einzutreten.
1.2. Mit dem angefochtenen Urteil wird der Nichteintretensentscheid des Volkswirtschaftsdepartements vom 29. Januar 2021 bestätigt. Streitgegenstand des bundesgerichtlichen Verfahrens bildet somit einzig die Frage, ob das Volkswirtschaftsdepartement auf die Beschwerde vom 18. November 2020 zu Recht nicht eingetreten ist. Soweit vorliegend die Aufhebung der Verfügung des Amtes für Wirtschaft und Arbeit vom 12. Oktober 2020 beantragt wird, ist darauf nicht einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2). Die Verletzung von verfassungsmässigen Individualrechten (einschliesslich der Grundrechte) und von kantonalem Recht prüft das Bundesgericht nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss <ref-law>; <ref-ruling> E. 1.7.2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, sofern sie offensichtlich unrichtig sind oder auf einer anderen Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
3.
Streitgegenstand des vorliegenden Verfahrens bildet die Frage, ob die vom Beschwerdeführer am 18. November 2020 gegen die Verfügung des Amtes für Wirtschaft und Arbeit vom 12. Oktober 2020 erhobene Beschwerde fristgerecht erfolgt sei.
3.1. Die Vorinstanz führt im Wesentlichen aus, dass die dem Beschwerdeführer per Einschreiben versandte Verfügung vom 12. Oktober 2020, die er nicht abgeholt habe, ihm gemäss der sogenannten Zustellfiktion als zugestellt gelte. Die zehntägige Beschwerdefrist sei nicht eingehalten worden, sodass sich seine Beschwerde vom 18. November 2020 an das Volkswirtschaftsdepartement als verspätet erweise.
3.2. Der Beschwerdeführer anerkennt, dass er die Verfügung vom 12. Oktober 2020 weder entgegennahm noch innert Abholfrist bei der Post abholte. Er bringt indessen vor, er habe von der Verfügung erst am 14. November 2020 Kenntnis erhalten, als sie ihm von der Polizei ausgehändigt worden sei. Eine Abholeinladung habe er nie erhalten. Die von der Vorinstanz angerufene Praxis zur Zustellfiktion sei in seinem Fall nicht anwendbar, da er nicht ernsthaft mit der Zustellung von gerichtlichen Sendungen bzw. einem Verwaltungsverfahren habe rechnen müssen. Weil die Beschwerdefrist in einer solchen Konstellation erst mit der Kenntnisnahme, d.h. am 14. November 2020, zu laufen beginne, sei seine am 18. November 2020 eingereichte Beschwerde fristgerecht erfolgt. Er wirft der Vorinstanz eine willkürliche Anwendung des kantonalen Rechts (<ref-law>) sowie die Verletzung des Grundsatzes von Treu und Glauben (<ref-law>), des Verbots des überspitzten Formalismus (<ref-law>) und des rechtlichen Gehörs (<ref-law>) vor.
3.3.
3.3.1. Gemäss § 21 Abs. 1 des kantonalen Gesetzes über den Rechtsschutz in Verwaltungssachen (Verwaltungsrechtspflegegesetz; BGS 124.11; nachfolgend: VRG/SO) sind Verfügungen und Entscheide den Parteien schriftlich zu eröffnen, so weit nötig oder durch Gesetz vorgeschrieben zu begründen und mit einer Rechtsmittelbelehrung zu versehen.
§ 32 Abs. 1 Satz 1 VRG/SO sieht vor, dass Beschwerden in Verwaltungssachen jeder Art innert zehn Tagen seit Zustellung der angefochtenen Verfügung oder des Entscheids bei der oberen Instanz einzureichen sind. Sind Verfügungen oder Entscheide nicht eröffnet worden, so läuft die Beschwerdefrist vom Zeitpunkt an, in welchem die Partei davon Kenntnis erhielt (§ 32 Abs. 2 VRG/SO). Eine Frist gilt als eingehalten, wenn die Eingabe spätestens am letzten Tag der Frist bei der Behörde eingereicht oder zu deren Handen der schweizerischen Post übergeben wird (§ 9 Abs. 2 Satz 1 VRG/SO). Soweit nichts anderes bestimmt ist, finden auf das Verfahren vor den Verwaltungsgerichtsbehörden die Vorschriften der Schweizerischen Zivilprozessordnung sinngemäss Anwendung (§ 58 Abs. 1 VRG).
3.3.2. Rechtsprechungsgemäss gelten behördliche Sendungen in Prozessverfahren nicht erst dann als zugestellt, wenn der Adressat sie tatsächlich in Empfang nimmt. Es genügt, wenn die Sendung in den Machtbereich des Adressaten gelangt, sodass er sie zur Kenntnis nehmen kann (Urteile 1C_532/2018 vom 25. März 2019 E. 3.3; 2C_35/2016 vom 18. Juli 2016 E. 3.1). Nach den allgemeinen Grundsätzen gilt eine eingeschriebene Sendung, soweit der Adressat bei einer versuchten Zustellung nicht angetroffen und daher eine Abholungseinladung in seinen Briefkasten oder sein Postfach gelegt wird, in jenem Zeitpunkt als zugestellt, in welchem sie bei der Post abgeholt wird; geschieht dies nicht innert der Abholfrist, welche sieben Tage beträgt, so gilt die Sendung (fiktiv) als am letzten Tag dieser Frist zugestellt, sofern der Adressat mit der Zustellung hätte rechnen müssen (<ref-ruling> E. 1.2.3; Urteile 2C_1038/2017 vom 18. Juli 2018 E. 3.2; 2C_35/2016 vom 18. Juli 2016 E. 3.1; 2C_430/2009 vom 14. Januar 2010 E. 2.4).
Diese sogenannte "Zustellfiktion" ist auch in <ref-law> verankert, welcher von der Vorinstanz sinngemäss angewendet wird. Sie rechtfertigt sich, weil für die an einem Verfahren Beteiligten nach dem Grundsatz von Treu und Glauben die Pflicht besteht, dafür zu sorgen, dass ihnen behördliche Akte eröffnet werden können. Die Rechtsprechung gilt während eines hängigen Verfahrens, wenn die Verfahrensbeteiligten mit der Zustellung eines behördlichen oder gerichtlichen Entscheides oder einer Verfügung mit einer gewissen Wahrscheinlichkeit rechnen müssen (<ref-ruling> E. 1.2.3; Urteil 2C_35/2016 vom 18. Juli 2016 E. 3.1 mit Hinweisen).
4.
Vorliegend ist erstellt, dass der Beschwerdeführer die ihm per Einschreiben versandte Verfügung vom 12. Oktober 2020 nicht abgeholt hat. Es stellt sich somit die Frage, ob er nach Treu und Glauben mit einer gewissen Wahrscheinlichkeit mit der Zustellung dieser Verfügung hätte rechnen müssen.
4.1. Den unbestrittenen vorinstanzlichen Sachverhaltsfeststellungen lässt sich entnehmen, dass gegen den Beschwerdeführer in der Zeit zwischen 14. September 2016 und 4. März 2020 insgesamt zehn Strafbefehle im Zusammenhang mit der Führung seiner Bar ergingen. Gemäss dem angefochtenen Urteil ging es bei den Verstössen u.a. jeweils darum, dass die Tür des Fumoirs zum rechtlichen Gastraum offenstand, die Fläche des Fumoirs zu gross war oder im Gastbetrieb ausserhalb des Fumoirs geraucht wurde. Mehrfach bestand der Vorwurf zudem darin, dass der Beschwerdeführer als Bewilligungsinhaber den Betrieb nicht persönlich geführt, sondern einem Dritten überlassen hatte, was eine Verletzung von Pflichten gemäss AWG/SO darstellt.
Ausschlaggebend für das hier interessierende Verfahren betreffend Bewilligungsentzug war der letzte Strafbefehl vom 4. März 2020, welcher ebenfalls mehrfache Verletzungen von Pflichten gemäss WAG/SO sowie eine Übertretung gemäss PaRG zum Gegenstand hatte (vgl. E. II/2.3 des angefochtenen Urteils). Auf diesen Strafbefehl folgte ein Schreiben des Amtes für Wirtschaft und Arbeit vom 20. Juli 2020 betreffend die Gewährung des rechtlichen Gehörs, welches vom Beschwerdeführer nicht abgeholt wurde.
4.2. Dem angefochtenen Urteil lässt sich weiter entnehmen, dass der Beschwerdeführer vom Amt für Wirtschaft und Arbeit seit dem 23. April 2019 fünfmal erfolglos mit eingeschriebener Sendung kontaktiert wurde. So wurde er namentlich am 23. April 2019 ermahnt und darauf hingewiesen, dass bei erneuten Verfehlungen Massnahmen gestützt auf das WAG/SO ergriffen werden könnten. Dieses Schreiben holte der Beschwerdeführer nicht ab. Sodann wurde er am 11. September 2019 verwarnt. Gleichzeitig wurde ihm der Entzug der Betriebsbewilligung für seine Bar angedroht. Auch diese Verfügung, die ihm zunächst an seine Geschäftsdresse und anschliessend mit Schreiben vom 8. Oktober 2019 an seine private Adresse versandt wurde, konnte ihm nicht zugestellt werden (vgl. vorne, Sachverhalt A).
Demgegenüber ist davon auszugehen, dass der Beschwerdeführer die Strafbefehle, die ihm gemäss angefochtenem Urteil per Gerichtsurkunde an seine Privatadresse zugestellt wurden (vgl. E. II/2.3 des angefochtenen Urteils), erhalten hat, zumal er anerkennt, die Bussen bezahlt und die baulichen Mängel behoben zu haben.
4.3. Es kann somit festgehalten werden, dass der Beschwerdeführer während anderthalb Jahren insgesamt fünf eingeschriebene Sendungen vom gleichen Absender nicht entgegennahm bzw. nicht abholte. Darunter befanden sich namentlich eine Verwarnung des zuständigen Amtes, in welcher ihm bei weiteren Verfehlungen mit dem Entzug der Betriebsbewilligung gedroht wurde, sowie ein Schreiben derselben Behörde betreffend die Gewährung des rechtlichen Gehörs im Zusammenhang mit dem beabsichtigten Entzug der Betriebsbewilligung. Hinweise darauf, dass der Beschwerdeführer irgendwelche Bemühungen unternommen hätte, um zu erfahren, worum es sich bei den nicht abgeholten Sendungen ging, liegen nicht vor. Ebensowenig vermag er konkrete Anzeichen für allfällige Zustellfehler (vgl. Urteil 1C_532/2018 vom 25. März 2019 E. 5.2, mit Hinweisen) darzutun.
Vor diesem Hintergrund ist der Vorinstanz zuzustimmen, dass sich der Beschwerdeführer treuwidrig verhält, wenn er einerseits während anderthalb Jahren insgesamt fünf eingeschriebene Sendungen vom gleichen Absender nicht entgegennimmt bzw. abholt und dann behauptet, dass er mit der Zustellung einer eingeschriebenen Sendung nicht habe rechnen müssen (vgl. E. II/3.2 des angefochtenen Urteils). Umgekehrt ist nicht ersichtlich, inwiefern das Vorgehen der Behörden, wie der Beschwerdeführer vorbringt, rechtsmissbräuchlich gewesen sein oder sonstwie gegen Treu und Glauben verstossen haben soll.
4.4. Soweit der Beschwerdeführer behauptet, die Vorinstanz habe nicht berücksichtigt, dass er die eingeschriebenen Sendungen aus entschuldbaren Gründen nicht entgegengenommen bzw. abgeholt habe und daher seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt, erweisen sich seine Rügen als unbegründet.
4.4.1. Das rechtliche Gehör (<ref-law>) verlangt unter anderem, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (<ref-ruling> E. 5.2).
4.4.2. Entgegen den Behauptungen des Beschwerdeführers hat sich das Verwaltungsgericht mit der Frage befasst, ob es einen entschuldbaren Hindernisgrund für die Entgegennahme der Verfügung vom 12. Oktober 2020 gegeben habe. Es führte unter Hinweis auf einen aktenkundigen Arztbericht aus, der Beschwerdeführer habe sich am 1. September 2020 eine tiefe Schnittverletzung zugezogen und sei gleichentags operiert worden. Indessen gehe aus dem Bericht nicht aus, ob er am 13. Oktober 2020, als die Sendung zur Abholung gemeldet worden sei, nach wie vor hospitalisiert gewesen sei. Doch selbst wenn dem so gewesen wäre - so die Vorinstanz weiter - hätte es ihm als alleiniger Bewilligungsinhaber oblegen, während seiner unfallbedingten Abwesenheit für die Regelung des Postverkehrs zu sorgen.
Sodann wies das Verwaltungsgericht daraufhin, dass dem Beschwerdeführer am 16. September 2020 eine Bewilligung für den Betrieb des Fumoirs erteilt worden sei, die ihm mit normaler Post an seine Geschäftsadresse gesandt worden sei. Der Umstand, dass er diese Bewilligung aktenkundig erhalten habe, deute gemäss der Vorinstanz daraufhin, dass er während seiner unfallbedingten Abwesenheit bestimmte Sendungen empfangen und zur Kenntnis genommen habe. Ebenso habe er eine an seine Geschäftsadresse zugestellte Rechnung vom 1. September 2020 erhalten (vgl. E. II/3 des angefochtenen Urteils).
4.4.3. Dass das Verwaltungsgericht vor diesem Hintergrund die Behauptungen des Beschwerdeführers, wonach er während seiner unfallbedingten Abwesenheit den Postverkehr im Zusammenhang mit seiner Bar nicht geregelt habe, als nicht glaubwürdig erachtete, ist nicht zu beanstanden und stellt keine Verletzung seines rechtlichen Gehörs (<ref-law>) dar. Im Übrigen wurde bereits festgehalten, dass der Beschwerdeführer - soweit ersichtlich - keine Anstalten traf, um herauszufinden, worum es sich bei den nicht abgeholten Sendungen handelte (vgl. E. 4.3 hiervor).
4.5. Im Ergebnis kann der Vorinstanz keine Willkür vorgeworfen werden, wenn sie festhielt, dass der Beschwerdeführer, namentlich aufgrund der Verwarnung vom 11. September 2019 und des Strafbefehls vom 4. März 2020 sowie des Schreibens vom 20. Juli 2020 betreffend das rechtliche Gehör, mit weiteren behördlichen Sendungen hätte rechnen müssen. Dass er vom Inhalt dieser Sendungen keine Kenntnis erlangte, hat er unter den konkreten Umständen sich selbst zuzuschreiben und kann nicht den zuständigen Behörden angelastet werden. Damit erweist sich auch die Schlussfolgerung der Vorinstanz, wonach die Verfügung vom 12. Oktober 2020 gemäss der Zustellfiktion rechtsgültig zugestellt worden sei und die Beschwerdefrist ausgelöst habe, nicht als offensichtlich unrichtig bzw. unhaltbar.
5.
Auch die übrigen Vorbringen des Beschwerdeführers vermögen an dieser Beurteilung nichts zu ändern.
5.1. Entgegen den Behauptungen des Beschwerdeführers wäre das zuständige Amt nicht gehalten gewesen, ihm die strittige Verfügung (auch) an seinen privaten Wohnort sowie durch öffentliche Bekanntmachung gemäss <ref-law> ordentlich zuzustellen.
5.1.1. Zunächst ist festzuhalten, dass die Zustellfiktion bereits mit dem ersten erfolglosen Zustellungsversuch eintritt. Greift die Zustellfiktion, ist das Gericht nicht zu einem zweiten Zustellversuch verpflichtet (vgl. Urteil 4A_53/2019 vom 14. Mai 2019 E. 4.2, mit Hinweisen). Zudem hat das Bundesgericht bezüglich der Einhaltung der Beschwerdefrist erwogen, dass in Fällen, in welchen eine eingeschriebene Postsendung als am letzten Tag der siebentägigen Abholfrist zugestellt gilt, ein allfälliger zweiter Versand und die spätere Entgegennahme der Sendung durch den Betroffenen grundsätzlich nicht erheblich sei (vgl. Urteil 2C_1038/2017 vom 18. Juli 2018 E. 5.3.2). Schliesslich ist ohnehin fraglich, ob der Beschwerdeführer die Sendung, sofern sie ihm an seine Privatadresse zugestellt worden wäre, entgegengenommen hätte. So ist namentlich erstellt, dass er die Verwarnung vom 11. September 2019 nie abholte, obwohl sie ihm sowohl an seine Geschäftsadresse als auch an seine private Adresse gesandt worden war (vgl. vorne, Sachverhalt A).
5.1.2. Gemäss dem hier sinngemäss anwendbaren <ref-law> erfolgt die Zustellung durch Publikation im kantonalen Amtsblatt oder im Schweizerischen Handelsamtsblatt, wenn eine Zustellung unmöglich ist oder mit ausserordentlichen Umtrieben verbunden wäre. Eine Unmöglichkeit der Zustellung im Sinne dieser Bestimmung liegt vor, wenn die gerichtliche Sendung weder dem Adressaten persönlich noch seinem Vertreter noch einer zu deren Empfang berechtigten Person zugestellt werden kann. Keine Unmöglichkeit der Zustellung ist gegeben, wenn der Adressat der gerichtlichen Sendung während der Anhängigkeit eines Verfahrens, von dem er weiss und in dem er daher mit der Zustellung von gerichtlichen Urkunden rechnen musste, seinem Wohnsitz fernbleibt, ohne dafür zu sorgen, dass ihm Gerichtsurkunden nachgesandt und zugestellt werden können. In einem solchen Fall liegt eine Vereitelung der Zustellung vor und greift die Zustellfiktion (vgl. JULIA GSCHWEND, in: Basler Kommentar, Schweizerische Zivilprozessordnung, 3. Aufl., 2017, N 3 f. zu <ref-law>).
Aufgrund des Verhaltens des Beschwerdeführers ist vorliegend mit der Vorinstanz davon auszugehen, dass keine Unmöglichkeit der Zustellung im Sinne von <ref-law> vorlag, sondern dass sich der Beschwerdeführer der Zustellung entzog bzw. diese vereitelte. Folglich wäre die Behörde nicht verpflichtet gewesen, dem Beschwerdeführer die Verfügung amtlich zu eröffnen (vgl. E. II/4.2 des angefochtenen Urteils; vgl. auch Urteil 5A_117/2017 vom 7. Juni 2017 E. 2.6).
5.2. Nichts zu seinen Gunsten kann der Beschwerdeführer sodann aus dem von ihm zitierten Urteil 2C_35/2016 vom 18. Juli 2016 ableiten. Wie die Vorinstanz korrekt festhielt, ging es in jenem Fall namentlich darum, dass die Behörde über ein Jahr nach der Anordnung eines Teiltierhalteverbots unangekündigt ein Volltierhalteverbot erlassen hatte (vgl. dort Sachverhalt, C.a.). Das Bundesgericht prüfte insbesondere die Frage nach dem Zeitraum, während dem die Zustellfiktion aufrechterhalten werden darf, ohne dass verfahrensbezogene Handlungen erfolgen (vgl. dort E. 3.2). Das Bundesgericht kam - unter Berücksichtigung der gesamten verfahrensrechtlichen Situation - zum Schluss, dass nach so langer Zeit und angesichts des Umstandes, dass der Beschwerdeführer einen Anspruch gehabt hätte, vor Erlass einer neuen Verfügung durch die zuständige Behörde angehört zu werden, die Zustellfiktion nicht mehr angewendet werden dürfe (vgl. dort E. 3.3 und E. 4).
Vorliegend erging die Verfügung des zuständigen Amtes betreffend den Entzug der Betriebsbewilligung am 12. Oktober 2020 und somit sieben Monate nach dem letzten Strafbefehl vom 4. März 2020, wobei die Behörde bereits am 20. Juli 2020 erfolglos versucht hatte, dem Beschwerdeführer das rechtliche Gehör einzuräumen (vgl. vorne, Sachverhalt A). Folglich ist der vorliegende Sachverhalt nicht mit jenem dem Urteil 2C_35/2016 zugrunde liegenden vergleichbar.
5.3. Soweit sich der Beschwerdeführer schliesslich auf das Verbot des überspitzten Formalismus beruft, schlägt seine Rüge ebenfalls fehl.
Das aus <ref-law> fliessende Verbot des überspitzten Formalismus wendet sich gegen prozessuale Formstrenge, die durch kein schutzwürdiges Interesse gerechtfertigt ist, zum blossen Selbstzweck wird und die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschwert oder gar verhindert (vgl. <ref-ruling> E. 2.4.2; <ref-ruling> E. 1.3.2 und E. 1.3.3). Bei gesetzlichen Beschwerdefristen, die in der Rechtsmittelbelehrung angegeben worden sind, ist die Formstrenge sachlich gerechtfertigt und wird der Rechtsweg dadurch nicht in unzulässiger Weise versperrt (vgl. Urteil 2C_986/2015 vom 2. März 2016 E. 2.3). Kein überspitzter Formalismus liegt zudem bei einer strikten Anwendung der Zustellfiktion vor (vgl. <ref-ruling> E. 2).
6.
Im Ergebnis verletzt der angefochtene Entscheid weder das Willkürverbot (<ref-law>) noch die Verfahrensrechte des Beschwerdeführers.
Die Beschwerde erweist sich daher als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
7.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (<ref-law>). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 5. August 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Ivanov