Auflösung des Arbeitsverhältnisses, hat sich ergeben:
A.-V._ war seit dem 1. Januar 1995 beim Strassenverkehrs- und Schifffahrtsamt des Kantons Nidwalden als Sachbearbeiter und Leiter der Abteilung Verkehrszulassung tätig. Mit Schreiben vom 26. Mai 1999 eröffnete ihm das Strassenverkehrs- und Schifffahrtsamt die Kündigung des Arbeitsverhältnisses auf den 30. September 1999. Gegen die Kündigung erhob V._ beim Regierungsrat des Kantons Nidwalden Einsprache mit dem Antrag, sie sei aufzuheben.
Das Strassenverkehrs- und Schifffahrtsamt sowie das Personalamt des Kantons Nidwalden beantragten in ihren Vernehmlassungen sinngemäss die Abweisung der Einsprache. In seiner Replik vom 27. Juli 1999 führte V._ unter anderem aus, er akzeptiere die Auflösung des Arbeitsverhältnisses, da er jetzt eine neue Stelle habe; er gehe per Ende August; er habe jedoch bis zu diesem Zeitpunkt Anspruch auf den vertraglichen Lohn (inkl. Anteil 13. Monatslohn) sowie die Entschädigung für die Überstunden; ob darüber im Rahmen der Einsprache zu befinden sei, wisse er nicht; deshalb ziehe er die Einsprache nicht zurück.
Gestützt auf diese Erklärung schrieb der Regierungsrat die Einsprache mit Beschluss vom 19. Oktober 1999 vom Protokoll ab, soweit er darauf eintrat. Er nahm an, die Erklärung des Einsprechers, er akzeptiere die Auflösung des Arbeitsverhältnisses, nachdem er eine neue Stelle gefunden habe, führe faktisch zu einem Rückzug der Einsprache in diesem Punkt; die geltend gemachten finanziellen Ansprüche (Lohn, Entschädigung für die Überstunden) bildeten sodann nicht Gegenstand des angefochtenen Entscheids, weshalb darüber im Einspracheverfahren nicht zu befinden sei.
B.- Gegen diesen Beschluss erhob V._ beim Verwaltungsgericht des Kantons Nidwalden Verwaltungsgerichtsbeschwerde mit dem Antrag, er sei aufzuheben und es sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen; eventualiter sei dem Beschwerdeführer Nachfrist für die abschliessende Substantiierung der Beschwerdegründe zu setzen und anschliessend festzustellen, dass die ausgesprochene Kündigung unzulässig im Sinne von Art. 57 (recte 59) des nidwaldischen Gesetzes über das öffentlichrechtliche Arbeitsverhältnis vom 3. Juni 1998 (Personalgesetz) sei.
Das Verwaltungsgericht wies die Beschwerde mit Urteil vom 28. August 2000 ab.
C.- Gegen das Urteil des Verwaltungsgerichts hat V._ beim Bundesgericht Verwaltungsgerichtsbeschwerde, eventuell staatsrechtliche Beschwerde erhoben. Er beantragt dessen Aufhebung und die Rückweisung der Sache an das Verwaltungsgericht zur Beurteilung der von ihm dort gestellten Anträge.
Der Regierungsrat beantragt, auf die Verwaltungsgerichtsbeschwerde sei nicht einzutreten und die staatsrechtliche Beschwerde sei abzuweisen. Das Verwaltungsgericht hat auf Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer leitet die Zulässigkeit der Verwaltungsgerichtsbeschwerde aus Art. 28 Abs. 1 des nidwaldischen Gesetzes über die Organisation und das Verfahren der Gerichte vom 28. April 1968 (Gerichtsgesetz) ab.
Diese Bestimmung, die von der Bundesversammlung mit Bundesbeschluss vom 14. März 1972 (SR 173. 114.13) in Anwendung von Art. 114bis Abs. 4 aBV (vgl. heute <ref-law>) genehmigt worden ist, hat folgenden Wortlaut:
"Das Verwaltungsgericht beurteilt die vermögensrechtlichen
Streitigkeiten öffentlichrechtlicher Natur
zwischen Kanton, Gemeinden, Korporationen und übrigen
juristischen Personen des kantonalen öffentlichen
Rechts sowie zwischen diesen Gemeinwesen einerseits
und ihren Funktionären anderseits; das Urteil
kann gemäss Art. 114bis Abs. 4 der Bundesverfassung
an das Bundesgericht weitergezogen werden.. "
Der Regierungsrat ist demgegenüber der Auffassung, der Gegenstand des Verfahrens bildende Streit um die Rechtmässigkeit der Auflösung des öffentlichrechtlichen Arbeitsverhältnisses des Beschwerdeführers mit dem Kanton Nidwalden sei nicht vermögensrechtlicher Natur, weshalb auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden könne.
b) Was unter vermögensrechtlichen Streitigkeiten im Sinne der erwähnten Bestimmung zu verstehen ist, ist nicht zum vornherein klar. In der Botschaft vom 19. Januar 1972 hat der Bundesrat die Auffassung vertreten, darunter fielen lediglich Streitigkeiten zwischen Gemeinwesen im Sinne des kantonalen Haftungsgesetzes und Regressansprüche der Gemeinwesen gegenüber ihren Funktionären (BBl 1972 I 527). Das Bundesgericht hat diese Auslegung in <ref-ruling> E. 1, weil offensichtlich zum Wortlaut von Art. 28 Abs. 1 Gerichtsgesetz in Widerspruch stehend, verworfen, und es hat auch die im Ständerat vertretene Auffassung, wonach es sich nur um Haftpflichtansprüche Dritter gegen die Gemeinwesen und um Regressansprüche der Gemeinwesen gegen ihre Funktionäre handle, als unzutreffend bezeichnet. Welche Streitigkeiten als vermögensrechtlich anzusehen sind, steht damit jedoch noch nicht fest.
c) Der Begriff der vermögensrechtlichen Streitigkeit findet sich auch im Bundesrechtspflegegesetz (vgl.
Art. 44 Abs. 1, 45 und 46 OG). Er wird in diesem Zusammenhang weit ausgelegt. Vermögensrechtlichen Charakter haben nach der Praxis nicht nur Ansprüche auf Bezahlung einer Geldleistung; massgebend ist vielmehr, ob der Rechtsgrund des streitigen Anspruchs letzten Endes im Vermögensrecht ruht, mit der Klage letztlich und überwiegend ein wirtschaftlicher Zweck verfolgt wird (<ref-ruling> E. 2c S. 531, mit Hinweisen; Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, vol. II, N. 1.2 zu Art. 44 und N. 1.2 zu Art. 46). Das kann beispielsweise auch bei der Klage auf Feststellung der Rechtsmissbräuchlichkeit einer Kündigung oder auf Ausstellung eines Arbeitszeugnisses der Fall sein (<ref-ruling> E. 2). Ob eine derart weite Auslegung, welche die meisten beamtenrechtlichen Streitigkeiten miterfassen würde, dem Willen des Gesetzgebers entspricht, erscheint fraglich. Wie es sich damit verhält, kann jedoch dahingestellt bleiben, da die Verwaltungsgerichtsbeschwerde aus einem andern Grund unzulässig ist.
d) Welches der Sinn von Art. 28 Abs. 1 Gerichtsgesetz ist, ergibt sich aus dem Zusammenhang mit § 95 der nidwaldischen Verordnung vom 8. Februar 1985 über das Verwaltungsverfahren und die Verwaltungsrechtspflege, der das Verfahren der verwaltungsgerichtlichen Klage regelt. Diese Bestimmung umschreibt die Streitigkeiten, die Gegenstand einer verwaltungsgerichtlichen Klage bilden können, wörtlich gleich wie Art. 28 Abs. 1 Gerichtsgesetz die Zuständigkeit des Verwaltungsgerichts mit anschliessender Weiterzugsmöglichkeit an das Bundesgericht. Diese Zuständigkeit beschränkt sich somit auf Streitigkeiten, die vom Verwaltungsgericht im erstinstanzlichen Verfahren beurteilt werden. Davon geht auch die bundesrätliche Botschaft aus (BBl 1972 I 527). Diese Einschränkung macht durchaus Sinn, denn das Bundesgericht soll nicht als allgemeine Beschwerdeinstanz über die kantonalen Verwaltungsgerichtsbehörden eingesetzt werden (W. Haller, in Kommentar BV [aBV], Rz. 113 zu Art. 114bis).
Streitigkeiten über die Gültigkeit einer Kündigung werden aber im Kanton Nidwalden nicht im Klageverfahren beurteilt.
Nach Art. 60 Personalgesetz kann gegen die Kündigung vielmehr Einsprache und nach Art. 61 gegen den Einspracheentscheid beim Verwaltungsgericht Beschwerde erhoben werden, wie dies auch im vorliegenden Fall geschehen ist. Das Verwaltungsgericht behandelt diese Streitigkeiten somit im Beschwerdeverfahren gemäss Art. 28 Abs. 2 Gerichtsgesetz, was den Weiterzug an das Bundesgericht im Verfahren gemäss Art. 121 OG zum vornherein ausschliesst, unabhängig davon, ob es um vermögensrechtliche Ansprüche geht oder nicht. Für eine solche Weiterzugsmöglichkeit besteht im Übrigen auch kein Bedürfnis. Auf die Verwaltungsgerichtsbeschwerde ist daher nicht einzutreten. Die Eingabe des Beschwerdeführers kann damit nur als staatsrechtliche Beschwerde entgegengenommen werden, wie sie eventualiter denn auch erhoben worden ist. Soweit damit mehr beantragt wird als die Aufhebung des angefochtenen Entscheids, kann darauf wegen der grundsätzlich rein kassatorischen Natur der staatsrechtlichen Beschwerde allerdings nicht eingetreten werden (<ref-ruling> E. 8c S. 395, mit Hinweis).
2.- a) Der Beschwerdeführer macht geltend, das Verwaltungsgericht habe dadurch, dass es den Nichteintretensentscheid des Regierungsrats geschützt und damit eine materielle Beurteilung der Sache verweigert habe, das Willkürverbot nach <ref-law> sowie den Anspruch auf gerechte Behandlung im Prozess und auf rechtliches Gehör gemäss <ref-law> verletzt.
b) Der Beschwerdeführer hatte in seiner im Rahmen des Einspracheverfahrens vor dem Regierungsrat erstatteten Replikschrift erklärt, er akzeptiere die Auflösung des Arbeitsverhältnisses, da er jetzt eine neue Stelle habe.
Das Verwaltungsgericht schloss aus dieser Erklärung, er habe damit auch die Zulässigkeit der Kündigung gemäss § 59 Personalgesetz anerkannt. Indem er auf die Überprüfung der Zulässigkeit der Kündigung verzichtet habe, habe er gleichzeitig die Einsprache in diesem Punkt zurückgezogen. Diese Schlussfolgerung ist indessen unhaltbar. Abgesehen davon, dass es an einer ausdrücklichen und unbedingten Rückzugserklärung fehlte, lässt sich die Frage nach dem Weiterbestand des Arbeitsverhältnisses sehr wohl trennen von derjenigen der Zulässigkeit der Kündigung. Wer sich mit der Auflösung des Arbeitsverhältnisses abfindet, braucht damit keineswegs auch die Zulässigkeit der Kündigung zu akzeptieren. Davon geht auch die gesetzliche Regelung der Kündigung im Personalgesetz aus. Dieses gewährt dem Mitarbeiter, dem in Verletzung der gesetzlichen Vorschriften gekündigt worden ist, nämlich - jedenfalls im Verfahren vor dem Verwaltungsgericht - keinen Anspruch auf Weiterbeschäftigung. Erachtet das Verwaltungsgericht eine Kündigung als unzulässig, hat es vielmehr einen entsprechenden Feststellungsentscheid zu erlassen (Art. 63 Personalgesetz), der seinerseits Grundlage für ein Schadenersatzbegehren bilden kann (vgl. Art. 64 Personalgesetz).
Der Beschwerdeführer hätte sich somit der Auflösung des Dienstverhältnisses auf die Dauer gar nicht widersetzen können; er hätte im weiteren Verfahren ohnehin nur die Möglichkeit gehabt, die Feststellung der Unzulässigkeit der Kündigung zu verlangen. Unter diesen Umständen durfte aber nicht ohne weiteres angenommen werden, er habe mit der Anerkennung der Auflösung des Arbeitsverhältnisses auch auf die Überprüfung der Zulässigkeit der Kündigung verzichten wollen, umso weniger, als er in der Replikschrift ausdrücklich daran festhielt, dass ihm formell keine Bewährungsfrist gewährt und dass die Kündigung nicht hinreichend begründet worden sei (vgl. dazu Art. 58 Abs. 3 und 59 Abs. 2 Personalgesetz).
Hätten diesbezüglich Zweifel bestanden, hätte der Regierungsrat den Beschwerdeführer anhalten müssen, seine Ausführungen zu verdeutlichen. Indem er dies unterliess und die Einsprache insoweit vom Protokoll abschrieb, hat er den Beschwerdeführer nicht nur um die Beurteilung des gestellten Rechtsbegehrens gebracht, sondern ihm auch verunmöglicht, gegebenenfalls ein Schadenersatzbegehren wegen unzulässiger Kündigung im Sinne von Art. 64 Personalgesetz zu stellen. Darin liegt eine formelle Rechtsverweigerung, die (soweit einzutreten ist) zur Gutheissung der staatsrechtlichen Beschwerde und zur Aufhebung des angefochtenen Entscheids führen muss.
3.- Bei diesem Ausgang sind keine Kosten zu erheben (Art. 156 Abs. 1 und 2 OG). Der Kanton Nidwalden hat dem Beschwerdeführer jedoch für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
2.- Die staatsrechtliche Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und das Urteil des Verwaltungsgerichts des Kantons Nidwalden vom 28. August 2000 aufgehoben.
3.- Es werden keine Kosten erhoben.
4.- Der Kanton Nidwalden hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
5.- Dieses Urteil wird dem Beschwerdeführer, dem Strassenverkehrs- und Schifffahrtsamt, dem Regierungsrat und dem Verwaltungsgericht des Kantons Nidwalden schriftlich mitgeteilt.
_
Lausanne, 22. Dezember 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: