Sachverhalt:
A.
Mit Verfügung vom 7. April 2020 untersagte die Polizei des Kantons Solothurn gestützt auf das kantonale Polizeigesetz A._, geb. 1987, für die Zeit vom 7. April 2020, 14:10 Uhr, bis zum 6. Mai 2020, 14:10 Uhr, den Aufenthalt in der Stadt Olten. Für den Fall des Verstosses gegen dieses Verbot wurde eine Verzeigung wegen Ungehorsams gegen amtliche Verfügungen gemäss <ref-law> angedroht. Mit Entscheid vom 26. Juni 2020 wies das Departement des Innern des Kantons Solothurn eine dagegen erhobene Beschwerde ab.
B.
Am 23. Oktober 2020 wies das Verwaltungsgericht des Kantons Solothurn eine dagegen eingereichte Beschwerde ab. Im Wesentlichen führte es dazu aus, das ausgesprochene Verbot sei gesetzeskonform und verhältnismässig.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragt A._, die Entscheide des Verwaltungsgerichts und seiner beiden Vorinstanzen aufzuheben; eventuell sei die Angelegenheit zur Neubeurteilung an eine der Vorinstanzen zurückzuweisen. Zur Begründung macht er im Wesentlichen geltend, die Fernhaltung sei unverhältnismässig, soweit für deren Aussprechung überhaupt genügender Anlass bestanden habe.
Die Polizei des Kantons Solothurn sowie das Departement des Innern schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht stellt ohne weitere Ausführungen Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
1.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid über die polizeirechtliche Anordnung eines Rayonverbots (Fernhaltung). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (<ref-law>).
1.2. Anfechtbar ist allerdings nur das Urteil des Verwaltungsgerichts (sog. Devolutiveffekt); dem Antrag des Beschwerdeführers auf Aufhebung auch der unterinstanzlichen Entscheide kann daher von vornherein nicht stattgegeben werden. Immerhin gelten Entscheide unterer Instanzen als inhaltlich mitangefochten (vgl. <ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 441).
1.3. Gemäss <ref-law> ist zur Beschwerde legitimiert, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit dazu erhalten hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c). Dieses muss grundsätzlich aktuell sein. Das strittige einmonatige Rayonverbot ist am 6. Mai 2020 abgelaufen, womit der davon betroffene Beschwerdeführer, der am vorinstanzlichen Verfahren beteiligt war, kein aktuelles Interesse an der Anfechtung des Urteils des Verwaltungsgerichts mehr hat. Das Bundesgericht verzichtet jedoch ausnahmsweise auf ein solches Interesse, wenn sich die aufgeworfenen Fragen unter gleichen oder ähnlichen Umständen jederzeit wieder stellen können, eine rechtzeitige Überprüfung im Einzelfall kaum je möglich wäre und die Beantwortung wegen deren grundsätzlicher Bedeutung im öffentlichen Interesse liegt (vgl. <ref-ruling> E. 1.3; <ref-ruling> E. 1.3 S. 45). Diese Voraussetzungen sind hier erfüllt, wovon bereits das Verwaltungsgericht ausging.
1.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht unter Einschluss des Bundesverfassungsrechts gerügt werden (<ref-law>). Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht bzw. gegen die verfassungsmässigen Rechte und Grundsätze. Das Bundesgericht prüft kantonales Recht somit nur auf Bundesrechtsverletzung, insbesondere Willkür, hin.
1.5. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) und der besonderen Substanziierungspflicht bei der behaupteten Verletzung von Grundrechten unter Einschluss des Willkürverbots (<ref-law>) nur die geltend gemachten Vorbringen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144; <ref-ruling> E. 1.4 S. 176).
1.6. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen im Wesentlichen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist (<ref-law>; <ref-ruling> E. 1.1 S. 155 f.; <ref-ruling> E. 2.2 S. 313; je mit Hinweis).
2.
2.1. Der Beschwerdeführer rügt eine Verletzung des Willkürverbots gemäss <ref-law> sowie seiner persönlichen Freiheit nach <ref-law>.
2.2. Der Beschwerdeführer wird durch die angefochtene Fernhaltung in seiner nach <ref-law> geschützten Bewegungsfreiheit eingeschränkt. Das ist nur zulässig, wenn die Voraussetzungen für Grundrechtseingriffe gemäss <ref-law> erfüllt sind. Danach muss das strittige Rayonverbot auf einer ausreichenden gesetzlichen Grundlage beruhen, durch ein öffentliches Interesse gerechtfertigt und verhältnismässig sein. Dass im vorliegenden Fall die Kerngehaltsgarantie verletzt wäre, macht der Beschwerdeführer nicht geltend und ist auch nicht ersichtlich.
2.3. Der angefochtene Entscheid stützt sich auf § 37 Abs. 1 lit. d des solothurnischen Gesetzes über die Kantonspolizei vom 23. September 1990 (KapoG; BGS 511.11).
2.3.1. Nach dieser Bestimmung kann die Kantonspolizei unter anderem dann eine Person von einem Ort vorübergehend wegweisen oder fernhalten, wenn diese Dritte (z.B. Passanten, Anwohner oder Geschäftsinhaber) belästigt, gefährdet oder unberechtigterweise an der bestimmungsmässigen Nutzung des öffentlichen Raumes hindert. Diesfalls kann die Polizei die Fernhaltung bis längstens einen Monat schriftlich verfügen (§ 37 Abs. 2 KapoG).
2.3.2. Ob der Beschwerdeführer vor Bundesgericht weiterhin bestreiten will, dass die vorinstanzliche Auslegung der fraglichen polizeirechtlichen Bestimmung willkürlich bzw. der gesetzliche Tatbestand als solcher nicht erfüllt sei, erscheint unklar. Im Wesentlichen macht er geltend, der angefochtene Entscheid sei nicht verhältnismässig, und er beruft sich dabei auch darauf, er unterliege bloss einer Sanktionierung auf ungenügenden Verdacht hin. Zumindest indirekt stellt er damit die Massnahme als Ganzes in Frage. Zwar trifft es zu, dass § 37 Abs. 1 lit. d KapoG relativ unbestimmt formuliert ist und der Rechtsanwendung einen nicht unwesentlichen Auslegungsspielraum belässt. Dass der angefochtene Entscheid insofern unhaltbar sein sollte, ist aber nicht ersichtlich. Unter Verweis auf die Materialien des kantonalen Gesetzgebers führt das Verwaltungsgericht in E. 3.1 des angefochtenen Entscheids aus, § 37 Abs. 1 lit. d KapoG bezwecke, zu verhindern, dass Plätze, Strassen oder bestimmte Örtlichkeiten von einer Gruppe mit Beschlag belegt und andere Nutzer vertrieben würden; Ziel sei dabei, den öffentlichen Raum allen Personen offen zugänglich zu lassen und Störungen der Nutzung zu beseitigen. Der Beschwerdeführer legt nicht ausreichend dar, dass diese nachvollziehbare Auslegung des einschlägigen kantonalen Rechts willkürlich wäre. Wie das Verwaltungsgericht in tatsächlicher Hinsicht für das Bundesgericht verbindlich festgestellt hat, ist der Beschwerdeführer schon verschiedentlich im Zusammenhang mit Betäubungsmitteldelikten aufgefallen, was er im Übrigen auch nicht wirklich bestreitet. Sodann wurde er auf der Schützenmatte in Olten, einem bekannten Umschlagsplatz für Betäubungsmittel, von der Kantonspolizei angehalten, wo er im Kontakt mit zwei der Polizei als Drogenkonsumenten bekannten Personen stand, die im Unterschied zum Beschwerdeführer Betäubungsmittel bei sich trugen. Selbst wenn die Beweislage gegenüber dem Beschwerdeführer in strafrechtlicher Hinsicht möglicherweise wenig ergiebig sein sollte, erscheint ein polizeirechtliches Rayonverbot durchaus geeignet, eine Gefährdung von Passanten zu verhindern bzw. zu vermeiden, dass solche an der bestimmungsgemässen Nutzung der Örtlichkeiten gehindert werden. Der angefochtene Entscheid bleibt insofern zwar etwas vage, indem in E. 3.4 der Begründung festgehalten wird, "Der von der Polizei dargelegte Sachverhalt dürfte wohl trotzdem ausreichen, um den Tatbestand von § 37 Abs. 1 lit. d KapoG zu erfüllen," Was der Beschwerdeführer dagegen vorbringt, genügt aber den Anforderungen an eine ausreichende Willkürrüge nicht und lässt im Übrigen auch den Schluss nicht nachvollziehbar zu, der angefochtene Entscheid sei unsachlich.
2.4. Angesichts dieser Ausgangslage kann das öffentliche Interesse am angefochtenen Entscheid nicht in Frage stehen. Hingegen bleibt zu prüfen, ob er auch verhältnismässig ist. Dies trifft dann zu, wenn das strittige Rayonverbot zur Erreichung des gesetzlich verfolgten Zwecks geeignet, erforderlich und zumutbar ist. Eine Massnahme ist namentlich unverhältnismässig, wenn sich das gleiche Ziel mit einem weniger schweren Grundrechtseingriff erreichen lässt (<ref-ruling> E. 3.5.1 S. 69, mit Hinweisen).
2.4.1. Wie bereits dargelegt, ist die Fernhaltung des Beschwerdeführers von der Stadt Olten geeignet, die von ihm ausgehende mögliche polizeiliche Störung bzw. Gefährdung zu verhindern. Fraglich erscheint jedoch die räumliche Ausdehnung des Rayonverbots.
2.4.2. Das Verwaltungsgericht verneint eine schwere Beeinträchtigung der persönlichen Freiheit des Beschwerdeführers dadurch, dass er vom gesamten Stadtgebiet Olten ferngehalten werde. Zugleich hält es jedoch in E. 4.2 des angefochtenen Entscheids ausdrücklich fest, seine Unterinstanzen hätten den Einwand des Beschwerdeführers (inzwischen) anerkannt, wonach die Fernhaltung vom Gebiet der Schützenmatte ausreichend gewesen wäre. Das Verwaltungsgericht hält dazu unter Verweis auf die gesetzlichen Bestimmungen über die Verwaltungsrechtspflege fest, es sei ihm als zweite Rechtsmittelinstanz versagt, die Angemessenheit der Fernhaltung zu überprüfen (vgl. § 67bis Abs. 1 und 2 des solothurnischen Gesetzes vom 15. November 1970 über den Rechtsschutz in Verwaltungssachen [Verwaltungsrechtspflegegesetz]; VRG; BGS 124.11).
2.4.3. Ob der Beschwerdeführer von der ganzen Stadt Olten oder nur vom Gebiet der Schützenmatte ausgeschlossen wird, macht faktisch und rechtlich einen erheblichen Unterschied und ist nicht eine Frage der Opportunität und damit der Angemessenheit der Fernhaltung, die im nicht gerichtlich überprüfbaren Ermessen der Verwaltungsinstanzen liegt. Diesen kommt zwar angesichts der Kann-Vorschrift in § 37 Abs. 1 KapoG ein gewisses Entschliessungsermessen zu, also zur Frage, ob sie überhaupt ein Rayonverbot aussprechen wollen. In räumlicher und zeitlicher Hinsicht gibt es überdies einen Ermessensspielraum im kleineren Massstab, etwa bei der detaillierten Festlegung der Rayongrenzen und allenfalls von zeitlichen Abweichungen von wenigen Tagen. Ob aber das Fernhaltegebiet wie hier das ganze Stadtgebiet oder mit der Schützenmatte nur einen kleinen Teil davon umfasst bzw. ob die Massnahme zehn, 20 oder 30 Tage andauert, ist eine Frage der Erforderlichkeit und Zumutbarkeit derselben. Sie fällt unter den Gesichtspunkt der Verhältnismässigkeit gemäss <ref-law>. Die Einhaltung dieses bundesverfassungsrechtlichen Standards wird vom Bundesgericht kontrolliert (vgl. <ref-law>) und muss daher auch von dessen gerichtlichen Vorinstanzen überprüft werden (vgl. <ref-law>).
2.4.4. Im vorliegenden Fall ist die Zeitdauer von 30 Tagen nicht strittig. Hingegen wehrt sich der Beschwerdeführer gegen die Festlegung des Rayons auf das ganze Stadtgebiet. Das Verwaltungsgericht führt dazu im Wesentlichen einzig aus, es sei nicht ersichtlich, dass er auf seinem Arbeitsweg mit den öffentlichen Verkehrsmitteln das Stadtgebiet passieren müsse, was dieser freilich weiterhin geltend macht. Entscheidend ist dies hier jedoch nicht. Selbst die beteiligten Verwaltungsinstanzen gehen inzwischen gemäss der Begründung des angefochtenen Urteils davon aus, eine Beschränkung auf den Raum der Schützenmatte hätte genügt. Warum die Ausweitung auf die ganze Stadt unausweichlich war, begründet das Verwaltungsgericht nicht. Dass die Fernhaltung vom ganzen Stadtgebiet notwendig war, ist daher nicht erstellt und auch nicht nachvollziehbar. Vielmehr ist insofern von einer überschiessenden Wirkung der angeordneten Fernhaltung auszugehen. Die ausgesprochene Massnahme erweist sich mithin in ihrer räumlichen Dimension als nicht erforderlich und überdies unzumutbar. Der angefochtene Entscheid ist unverhältnismässig und verstösst deswegen gegen die persönliche Freiheit des Beschwerdeführers.
3.
3.1. Da ein Rayonverbot an sich nicht bundesrechtswidrig ist, besteht kein Anlass für eine integrale Aufhebung des verwaltungsgerichtlichen Urteils. Vielmehr ist der angefochtene Entscheid reformatorisch (vgl. <ref-law>) insoweit anzupassen, als damit dem Beschwerdeführer der Aufenthalt in der ganzen Stadt Olten und nicht nur auf einem engeren Sperrgebiet im Bereich der Schützenmatte untersagt wurde. Auf eine präzise Umschreibung des betreffenden Rayons kann verzichtet werden, nachdem die zeitliche Wirksamkeit der Fernhaltung längst abgelaufen ist und der Beschwerdeführer nicht geltend macht, es laufe ein Strafverfahren wegen Verletzung des Rayonverbots. Der Beschwerdeführer hat auch kein massgebliches Interesse an einer Rückweisung der Streitsache zur Neubeurteilung. Im Übrigen ist der angefochtene Entscheid zu bestätigen und die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Aufzuheben ist der angefochtene Entscheid im Kosten- und Entschädigungspunkt. Das Verwaltungsgericht wird über die Verlegung der Kosten und Entschädigungen in den kantonalen Verfahren neu zu befinden haben.
3.2. Für das bundesgerichtliche Verfahren sind dem teilweise obsiegenden Beschwerdeführer angesichts des Verfahrensausgangs lediglich reduzierte Gerichtskosten aufzuerlegen. Im Übrigen ist von solchen abzusehen (vgl. Art. 65 und 66 BGG). Sodann hat der Kanton Solothurn dem Beschwerdeführer eine reduzierte Parteientschädigung zu entrichten (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen, und das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 23. Oktober 2020 wird in Dispositivziffer 1 insoweit abgeändert, als damit die Anordnung einer Fernhaltung des Beschwerdeführers von der ganzen Stadt Olten und nicht nur von einem engeren Sperrbereich im Gebiet der Schützenmatte bestätigt wurde. Die Dispositivziffern 2 und 3 des Urteils des Verwaltungsgerichts über die Verteilung der Kosten und Entschädigungen werden aufgehoben. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Das Verwaltungsgericht des Kantons Solothurn wird über die Verlegung der Kosten und Entschädigungen in den kantonalen Verfahren neu zu entscheiden haben.
3.
Dem Beschwerdeführer werden reduzierte Gerichtskosten von Fr. 500.-- auferlegt.
4.
Der Kanton Solothurn hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Entschädigung von Fr. 2'000.-- auszurichten.
5.
Dieses Urteil wird dem Beschwerdeführer, dem Departement des Innern des Kantons Solothurn, der Polizei Kanton Solothurn und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 4. August 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Chaix
Der Gerichtsschreiber: Uebersax