Ausweisung, hat sich ergeben:
A.- Der jugoslawische Staatsangehörige A._, geboren am **** 1973 in X._/Kosovo, kam 1989 im Rahmen des Familiennachzugs zu seinen in der Schweiz lebenden Eltern und wurde in deren Niederlassungsbewilligung einbezogen.
Zunächst besuchte er einen Integrationskurs (deutsche Sprache). Eine Lehre als Automechaniker brach er aber wieder ab, weil er aufgrund sprachlicher Schwierigkeiten dem Unterricht an der Gewerbeschule nicht zu folgen vermochte.
Nachdem er einige Monate arbeitslos gewesen war, arbeitete er als Hilfsarbeiter bei verschiedenen Arbeitgebern. Nach Oktober 1996 ging er keiner geregelten Arbeit mehr nach. Im Herbst 1997 unterzog er sich einer Drogenentziehungskur. Vom 20. November 1997 bis zum 3. März 1998 befand er sich in Untersuchungs- und Sicherheitshaft und anschliessend im Strafvollzug. Auf den 31. März 2000 wurde er in Halbfreiheit versetzt und erhielt eine Anstellung bei einer Tiefbaufirma; am 5. August 2000 wurde er bedingt aus dem Strafvollzug entlassen.
A._ ist ledig und hat keine Kinder.
A._ musste mehrmals strafrechtlich verurteilt werden:
- am 27. April 1993 durch das Bezirksgericht Zürich zu 18 Monaten Gefängnis bedingt wegen Raufhandels, Entwendung zum Gebrauch, Fahren ohne Führerausweis, Verletzung von Verkehrsregeln, Widerhandlung gegen das Betäubungsmittelgesetz, mehrfacher Übertretung dieses Gesetzes sowie mehrfacher Übertretung der kantonalen Waffenverordnung;
- am 9. März 1995 durch das Bezirksgericht Zürich zu einer Busse von Fr. 800.-- wegen Tätlichkeit sowie der Verletzung von Verkehrsregeln;
- am 23. Oktober 1996 durch das Bezirksgericht Zürich zu drei Monaten Gefängnis bedingt wegen einfacher Körperverletzung und Fahrens ohne Führerausweis;
- am 24. Februar 1997 durch das Bezirksamt Unterrheintal zu einer Busse von Fr. 500.-- wegen Überlassens eines Motorfahrzeugs an eine unberechtigte Person sowie Nichtabgabe des Führerausweises;
- am 3. Dezember 1998 durch das Obergericht des Kantons Solothurn zu 33 Monaten Zuchthaus sowie zu einer Busse von Fr. 300.-- wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, Geldwäscherei, Übertretung des Betäubungsmittelgesetzes, mehrfachen Diebstahls, Diebstahlversuchs, mehrfacher Sachbeschädigung, Hausfriedensbruchs sowie mehrfachen Fahrens trotz Entzugs des Führerausweises; zugleich wurde eine bedingt zu vollziehende Landesverweisung von 6 Jahren unter Ansetzung einer Probezeit von 5 Jahren ausgesprochen, während die früheren, bedingt angeordneten Freiheitsstrafen von 18 und 3 Monaten als vollstreckbar erklärt wurden.
B.- Mit Beschluss vom 23. August 2000 wies der Regierungsrat des Kantons Zürich A._ für die Dauer von zehn Jahren aus der Schweiz aus. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich am 14. Februar 2001 ab.
C.- A._ hat mit Eingabe vom 5. April 2001 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Er beantragt, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 14. Februar 2001 aufzuheben und von der Anordnung fremdenpolizeilicher Massnahmen, insbesondere einer Aus- oder Wegweisung abzusehen und dem Beschwerdeführer den Aufenthalt mit Niederlassung im Kanton Zürich weiterhin zu bewilligen.
Die Direktion für Soziales und Sicherheit des Kantons Zürich beantragt namens des Regierungsrates die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen schliesst auf Abweisung der Beschwerde.
D.- Der Präsident der II. öffentlichrechtlichen Abteilung hat der Beschwerde mit Verfügung vom 7. Mai 2001 die aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Gegen die sich auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) stützende Ausweisungsverfügung ist die Verwaltungsgerichtsbeschwerde zulässig (Art. 100 Abs. 1 lit. b Ziff. 4 OG e contrario; BGE 114 Ib E. 1a S. 2).
b) Soweit der Beschwerdeführer beantragt, auch von einer Wegweisung abzusehen und ihm den "Aufenthalt mit Niederlassung im Kanton Zürich" weiterhin zu bewilligen, ist dieser Antrag überflüssig. Die Ausweisung hat zur Folge, dass die Niederlassungsbewilligung erlischt (Art. 9 Abs. 3 lit. b ANAG). Sollte das Bundesgericht zum Schluss gelangen, dass die Ausweisung nicht angeordnet werden darf, bleibt die Niederlassungsbewilligung ohne weiteres bestehen, ohne dass dies ausdrücklich angeordnet werden müsste. Eine blosse Wegweisung ist bei einem niedergelassenen Ausländer ausgeschlossen, weil nur die Ausweisung zum Erlöschen der Niederlassungsbewilligung führt.
c) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, gerügt werden (Art. 104 lit. a OG); das Bundesgericht überprüft den angefochtenen Entscheid in dieser Hinsicht frei. Soweit als Vorinstanz - wie hier - eine richterliche Behörde entschieden hat, ist es an deren Feststellung des Sachverhalts jedoch gebunden, falls dieser nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen ermittelt worden ist (Art. 105 Abs. 2 OG). Dies schliesst das Vorbringen von neuen tatsächlichen Behauptungen und Beweismitteln weitgehend aus. Insbesondere können nachträgliche Veränderungen des Sachverhalts in der Regel nicht mehr berücksichtigt werden, denn einer Behörde ist nicht vorzuwerfen, sie habe den Sachverhalt im Sinne von Art. 105 Abs. 2 OG fehlerhaft festgestellt, wenn sich dieser nach ihrem Entscheid verändert hat (<ref-ruling> E. 3a S. 221, mit Hinweisen).
2.- a) Gemäss Art. 10 Abs. 1 lit. a ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde.
Die Ausweisung soll jedoch nur ausgesprochen werden, wenn sie nach den gesamten Umständen angemessen erscheint (Art. 11 Abs. 3 ANAG). Hierbei sind vor allem die Schwere des Verschuldens des Ausländers, die Dauer seiner Anwesenheit in der Schweiz und die ihm und seiner Familie drohenden Nachteile zu berücksichtigen (Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, ANAV; SR 142. 201).
Die Frage, ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig sei, ist eine Rechtsfrage, die vom Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei überprüft wird (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b S. 356 f.) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107, mit Hinweisen).
b) Der Beschwerdeführer wurde vom Obergericht des Kantons Solothurn zuletzt mit einer Zuchthausstrafe von 33 Monaten belegt, so dass der Ausweisungsgrund von Art. 10 Abs. 1 lit. a ANAG gegeben ist. Zu prüfen ist, ob die Ausweisung als angemessen erscheint, d.h. insbesondere, ob die in Art. 16 Abs. 3 ANAV genannten Gesichtspunkte von den kantonalen Behörden bei ihrem Entscheid berücksichtigt und richtig angewandt worden sind. Dabei ist zunächst davon auszugehen, dass sich der Beschwerdeführer seit 1992 und bis 1997 immer wieder strafbar gemacht hat. Insgesamt musste er zu Freiheitsstrafen von 4 1/2 Jahren verurteilt werden.
Dabei geht es um schwerwiegende Straftaten im Bereiche der Betäubungsmittelkriminalität, aber auch um Einbruchdiebstahl und Gewaltanwendung gegenüber anderen Personen. Auffällig ist sodann, mit welcher Uneinsichtigkeit der Beschwerdeführer trotz Entzugs des Führerausweises immer wieder ein Fahrzeug führte. Dass er 1996/97 insgesamt vier Mal angehalten wurde, schien ihn überhaupt nicht zu kümmern. Letztlich fanden seine Straftaten erst ein Ende, als er mit dem erstinstanzlichen Urteil des Amtsgerichts Olten-Gösgen vom 20. November 1997 in Sicherheitshaft genommen wurde. Zu Recht geht damit das Verwaltungsgericht von einem grossen sicherheitspolizeilichen Interesse an der Ausweisung des Beschwerdeführers aus.
c) Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung zu stellen (<ref-ruling> E. 2b S. 523). Der Beschwerdeführer ist 1989 im Alter von 16 Jahren in die Schweiz gekommen. Er lebt insofern schon eine recht lange Zeit hier, wovon allerdings drei Jahre im Strafvollzug.
Es kann aber nicht davon gesprochen werden, dass er sich in der Schweiz integriert hätte, war die Zeit bis 1997 doch geprägt durch die Begehung von Straftaten.
Der Beschwerdeführer lebt in der Schweiz bei seinen Eltern. Er hat hier auch zwei Brüder, wovon einer allerdings mit Urteil des Bezirksgerichts Zürich vom 23. Oktober 1996 wegen Körperverletzung als Mittäter verurteilt werden musste, weil die beiden gemeinsam eine Drittperson mit Fäusten und Fusstritten traktiert hatten. Verheiratet ist der Beschwerdeführer nicht, und er hat auch keine Kinder. Das Verwaltungsgericht ist zu Recht davon ausgegangen, dass es für den Beschwerdeführer eine gewisse Härte darstellt, wenn er von seinen Eltern und Geschwistern getrennt würde. Doch ist zugleich zu beachten, dass sich der Beschwerdeführer in einem Alter befindet, in dem die Kontakte zu Eltern und Geschwistern regelmässig nur noch durch Besuche wahrgenommen werden. Die Beeinträchtigung der familiären Verhältnisse wirkt sich daher weit weniger aus, als dies bei einer Trennung vom Ehegatten oder minderjährigen Kindern der Fall wäre. In seiner Heimat hat der Beschwerdeführer den Grossteil seiner Jugendzeit verbracht. Es erscheint für ihn daher nicht unzumutbar, dorthin zurückzukehren, wo er sich im Übrigen auch 1995 noch ferienhalber aufgehalten hat.
d) Der Beschwerdeführer macht geltend, seit der Strafverbüssung habe er sich nichts mehr zuschulden kommen lassen, er lebe drogenfrei und habe mit der unrühmlichen Vergangenheit abgeschlossen. Indessen hat das Bundesgericht keinen Anlass, dem Antrag des Beschwerdeführers stattzugeben, hiezu Beweise abzunehmen, denn das Vorbringen von neuen tatsächlichen Behauptungen und Beweismitteln ist vor Bundesgericht ausgeschlossen (oben E. 1c). Der Beschwerdeführer kann nur geltend machen, das Verwaltungsgericht habe den Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt.
Diesbezüglich beanstandet der Beschwerdeführer, dass keine Verhandlung durchgeführt worden sei. Indessen hat das Verwaltungsgericht zu Recht einen Anspruch auf öffentliche Verhandlung im Sinne von Art. 6 EMRK verneint, weil ausländerrechtliche Verfahren von dieser Garantie nicht erfasst werden (Arthur Haefliger/Frank Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, 2. Aufl. , Bern 1999, S. 147; Entscheid der Europäischen Kommission für Menschenrechte vom 15. Mai 1996, in VPB 1996 Nr. 109). Zwar kann die Parteibefragung, welche der Beschwerdeführer vor Verwaltungsgericht beantragt hatte, auch in ausländerrechtlichen Verfahren ein geeignetes Beweismittel sein, doch müssen nicht zwingend alle Beweise abgenommen werden, welche vom Beschwerdeführer beantragt werden, denn der Richter kann das Beweisverfahren schliessen, wenn er ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht mehr geändert würde (<ref-ruling> E. 4a S. 211, mit Hinweisen).
Vorliegend konnte von einer persönlichen Befragung abgesehen werden, nachdem der Beschwerdeführer bereits im Verfahren vor dem Regierungsrat ausführlich zu seinen persönlichen Verhältnissen befragt worden ist. Ebenfalls war nicht erforderlich, noch einen Abschlussbericht der Pension Z._ einzuholen, nachdem ein Führungsbericht vom 15. Juni 2000 schon bei den Akten lag. Das Verwaltungsgericht hat seinem Entscheid durchaus zugrundegelegt, dass der Beschwerdeführer seit Strafantritt nicht mehr negativ in Erscheinung getreten ist, auch dass er in der Zwischenzeit die deutsche Sprache erlernt und von seinem Arbeitgeber ein gutes Zeugnis ausgestellt erhalten hat. Nur hat es angesichts der schwerwiegenden Verfehlungen in der Vergangenheit nicht den Schluss ziehen wollen, dass heute vom Beschwerdeführer kein sicherheitspolizeiliches Risiko mehr ausgehe, was aber nicht zu beanstanden ist, zumal dem Wohlverhalten im Strafvollzug fremdenpolizeilich kaum entscheidende Bedeutung zugemessen werden kann (<ref-ruling> E. 3b S. 4 f.) und seit der Entlassung aus dem Vollzug erst relativ kurze Zeit vergangen ist.
Fragwürdig ist immerhin, dass das Verwaltungsgericht davon ausging, dass der Beschwerdeführer am 6. Oktober 1993 verwarnt worden ist, ohne dass es dem Einwand nachgegangen wäre, diese Verwarnung sei ihm möglicherweise gar nicht eröffnet worden. Wie es sich damit verhält, ist hier aber nicht entscheidend, zumal der Beschwerdeführer sich weder durch strafrechtliche Verurteilungen noch durch die Anordnung von Untersuchungshaft von der Begehung weiterer Straftaten hat abbringen lassen.
3.- Das Verwaltungsgericht hat die massgebenden Gesichtspunkte für die Ausweisung berücksichtigt und sie rechtsfehlerfrei gewürdigt. Ebenso hat es den Sachverhalt nicht offensichtlich unrichtig oder unter Verletzung von Verfahrensfehlern festgestellt. Einzig bezüglich der von der Fremdenpolizei im Jahre 1993 ausgesprochenen Verwarnung hätte nicht ungeprüft davon ausgegangen werden dürfen, dass diese dem Beschwerdeführer tatsächlich eröffnet worden ist.
Indessen würde das Resultat der Interessenabwägung nicht anders ausfallen, wenn diese Verfügung dem Beschwerdeführer nicht zugekommen sein sollte. Die Verwaltungsgerichtsbeschwerde ist demnach abzuweisen.
Entsprechend diesem Verfahrensausgang hat der Beschwerdeführer die bundesgerichtlichen Kosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 26. Juni 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: