Schadenersatz, hat sich ergeben:
A.- M._, der zuvor in der Bundesrepublik Deutschland wohnhaft war, verlegte im Oktober 1997 seinen Wohnsitz in die Schweiz nach B._/BL. Im Dezember 1997 gestattete ihm das Bundesamt für Verkehr, sein Segelboot, bzw. dessen Motor, als Übersiedlungsgut ohne Abgas-Typenprüfung in die Schweiz einzuführen. Es wies allerdings darauf hin, dass anlässlich einer Kontrolle durch das kantonale Schifffahrtsamt nachzuweisen sei, dass das Boot bezüglich der Bauweise und der Einrichtungen den Vorschriften der Binnenschifffahrtsverordnung vom 8. November 1978 (BSV, SR 747. 201.1) entspreche. Am 19. April 1998 reichte M._ auf dem hiefür vorgesehenen Formular beim Service des automobiles, cycles et bateaux (Bureau de la navigation), des Kantons Waadt das Immatrikulationsgesuch für das Segelboot am Genfer See ein. Zugleich fragte er an, ob einer Überführung des Bootes in die Schweiz etwas entgegenstehe. Eine schriftliche Antwort des Bureau de la navigation erfolgte darauf nicht. In der Folge führte M._ das Boot ein und stationierte es im Hafen von L._/VD. Er bekam mit Datum vom 15. Mai 1998 einen bis zur Prüfung des Schiffes gültigen provisorischen Ausweis.
Im Inspektionsbericht vom 1. Oktober 1998 beanstandete der Inspektor des Bureau de la navigation unter anderem das Fehlen der für Dusche, Lavabo und WC erforderlichen Abwassertanks. M._ wandte mit Schreiben vom 18. Oktober 1998 ein, dass er im Immatrikulationsantrag auf das Fehlen der Abwassertanks hingewiesen habe und ihm auf Nachfrage beschieden worden sei, einer Immatrikulation stehe nichts im Wege. Erst auf Grund dieser Auskunft habe er die Überführung in die Schweiz veranlasst, was rund DM 5'000. -- gekostet habe. Die Nachrüstung des Bootes würde Kosten von weiteren Fr. 5'000. -- bis Fr. 10'000. -- verursachen, welche er nicht auf sich zu nehmen bereit sei. Für den Fall, dass der Immatrikulation nicht zugestimmt würde, ziehe er in Betracht, das Boot wieder auszuführen und Schadenersatz geltend zu machen.
B.- Am 25. November 1998 verfügte der Service des automobiles et de la navigation, dass M._ das Boot bis spätestens 31. März 1999 mit Behältern zur Aufnahme von Fäkalien, Abwässern und Abfällen auszurüsten habe, wobei eine feste Installation nicht zwingend sei. Hiergegen erhob M._ am 16. Dezember 1998 Beschwerde an das Verwaltungsgericht des Kantons Waadt (im Folgenden: Verwaltungsgericht). Am 23. Dezember 1998 ersuchte er zudem um Gewährung der aufschiebenden Wirkung. Der Instruktionsrichter des Verwaltungsgerichts lehnte dieses Gesuch mit superprovisorischer Verfügung vom 24. Dezember 1998 ab.
Am 2. Juli 1999 schrieb der Instruktionsrichter des Verwaltungsgerichts das Verfahren als gegenstandslos geworden ab und auferlegte M._ die Gerichtsgebühr von Fr. 1'000. --, nachdem dieser am 1. Mai 1999 mitgeteilt hatte, er habe das Boot am 22. April 1999 abtransportiert und aus der Schweiz ausgeführt.
C.- M._ gelangte am 25. Juli 1999 an das Bundesgericht mit den (sinngemäss wiedergegebenen) Begehren,
- den Kanton Waadt zu verpflichten, Schadenersatz in Höhe von Fr. 1._ zu leisten;
- den Kanton Waadt zu verhalten, seine Verwaltungsgerichtsordnung dahin abzuändern, dass Verzug bei Bezahlung des Kostenvorschusses nicht den Verlust des Rechtsmittels zur Folge hat;
- dem Kanton Waadt aufzuerlegen, das Vorgehen seiner
Behörden sine ira et studio zu überprüfen und diese Überprüfung einer Kontrolle durch eine übergeordnete Instanz zu öffnen;
- den Kanton Waadt zur Gleichbehandlung aller Bootsbesitzer bei der Nachrüstung mit Schmutzwassertanks aufzufordern, und dies ohne juristische Spitzfindigkeiten, sondern im Sinne einer materiellen Gleichbehandlung;
- den Entscheid des Verwaltungsgerichts vom 24. Dezember 1998, mit dem die Gewährung der aufschiebenden Wirkung verweigert wurde, als unrechtmässig zu erklären;
- auf Grund dieser Fehlentscheidung auch die Festsetzung der Gerichtsgebühr von Fr. 1'000. -- in der Abschreibungsverfügung als unrechtmässig zu erklären und festzustellen, dass sie (unter Anrechnung an die Schadenersatzforderung) zurückzuerstatten ist.
Der Kanton Waadt beantragt in seiner Antwort vom 4. November 1999, die Schadenersatzforderung abzuweisen und auf die übrigen Begehren nicht einzutreten, eventuell sie abzuweisen.
D.- M._ hat am 11. Dezember 1999 eine zweite Rechtsschrift eingereicht, die der Präsident der II. öffentlichrechtlichen Abteilung als Replik entgegennahm. Der Kanton Waadt erhielt Gelegenheit zur Duplik, welche am 19. Januar 2000 erstattet wurde. Auf Anfrage des Abteilungspräsidenten haben die Parteien auf die mündliche Vorbereitungsverhandlung (<ref-law>) und die öffentliche Hauptverhandlung mit Parteivorträgen (<ref-law>) verzichtet und zudem erklärt, keine weiteren Beweisanträge stellen zu wollen.

Das Bundesgericht zieht in Erwägung:
1.- Gemäss Art. 37 Abs. 3 Satz 1 OG werden Urteile des Bundesgerichts in einer Amtssprache, in der Regel in der Sprache des angefochtenen Entscheids verfasst. Nach Satz 3 derselben Bestimmung wird bei direkten Prozessen auf die Sprache der Parteien Rücksicht genommen. Hiervon ausgehend rechtfertigt es sich, das Urteil in deutscher Sprache abzufassen, nachdem sich der Kanton Waadt auf Anfrage des Bundesgerichts damit einverstanden erklärt hat und der Kläger deutscher Muttersprache ist, in welcher er auch seine Rechtsschriften eingereicht hat.
2.- Das Bundesgericht prüft sämtliche Eintretensfragen frei und von Amtes wegen, ohne an die Vorbringen der Parteien gebunden zu sein (<ref-law>; <ref-ruling> E. 1a S. 254, 412 E. 1a S. 414; <ref-ruling> E. 1a S. 499, je mit Hinweisen).
a) Gemäss Art. 42 OG beurteilt das Bundesgericht als einzige Instanz zivilrechtliche Streitigkeiten zwischen einem Kanton und Privaten, wenn eine Partei es rechtzeitig verlangt und der Streitwert wenigstens Fr. 8'000. -- beträgt. Beim geltend gemachten Haftungsanspruch handelt es sich um einen zivilrechtlichen Anspruch im Sinne des Gesetzes ungeachtet dessen, dass er auf kantonalem öffentlichen Recht beruht (<ref-ruling> E. 1a S. 206; <ref-ruling> E. 2c S. 211 f., je mit Hinweis). Der Kläger hat das Bundesgericht rechtzeitig im Sinne von Art. 42 OG angerufen, d.h. bevor für den gleichen Streitgegenstand die kantonale Gerichtsbarkeit in Anspruch genommen wurde (<ref-ruling> E. 1a S. 206; <ref-ruling> E. 2b S. 209, je mit Hinweis). Der Streitwert übersteigt den Betrag von Fr. 8'000. --. Auf das im Klageverfahren zu behandelnde Schadenersatzbegehren ist daher einzutreten.
b) Der Kläger beanstandet die Kostenverlegung in der Abschreibungsverfügung des Instruktionsrichters des Verwaltungsgerichts. Da sie sich auf kantonales Verfahrensrecht stützt, ist hiegegen grundsätzlich die staatsrechtliche Beschwerde gegeben, die auch fristgerecht erhoben wäre. Indessen wird in der Rechtsschrift nicht substantiiert dargelegt, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch die Auferlegung von Verfahrenskosten verletzt worden sind, weshalb das Bundesgericht hierauf nicht eintreten kann (Art. 90 Abs. 1 lit. b OG; vgl. auch <ref-ruling> E. 2a S. 3 f.; <ref-ruling> E. 1c S. 76).
c) Das Begehren, den Entscheid des Verwaltungsgerichts vom 24. Dezember 1998 als unrechtmässig zu erklären, ist nicht zulässig. Entscheide des Instruktionsrichters können nach dem massgebenden kantonalen Verfahrensrecht (Art. 50 lit. a in Verbindung mit Art. 17 Loi sur la juridiction et la procédure administratives des Kantons Waadt vom 18. Dezember 1989 [LJPA]) an die Section de recours des Verwaltungsgerichts weitergezogen werden. Der kantonale Instanzenzug für eine Anfechtung mit staatsrechtlicher Beschwerde ist folglich nicht erschöpft (Art. 86 Abs. 1 OG). Abgesehen davon ist auch die einmonatige Beschwerdefrist nicht eingehalten (Art. 89 Abs. 1 OG) und es fehlt im heutigen Zeitpunkt am aktuellen praktischen Interesse zur gesonderten Beurteilung dieser Frage (Art. 88 OG; vgl. <ref-ruling> E. 4 S. 286 ff., mit Hinweisen).
d) Das Bundesgericht hat keine generelle Aufsichtsbefugnis über die Kantone. Auf die Begehren, den Kanton Waadt zu verpflichten, seine Gesetzgebung auf dem Gebiet der Verwaltungsrechtspflege zu ändern, ihn anzuhalten, das Vorgehen seiner Behörden zu überprüfen und zur Gleichbehandlung aller Bootsbesitzer zu verpflichten, kann deshalb nicht eingetreten werden.
3.- Die Haftung des Kantons beurteilt sich nach kantonalem Recht. Gemäss Art. 4 des hier anwendbaren Waadtländer Verantwortlichkeitsgesetzes (loi sur la résponsabilité de l'état, des communes et de leurs agents vom 16. Mai 1961 [LREC]) haftet das Gemeinwesen für den von ihren Organen widerrechtlich zugefügten Schaden. Das Waadtländer Verantwortlichkeitsgesetz definiert den Begriff der Widerrechtlichkeit nicht. Nach den allgemein geltenden Grundsätzen - wie sie auch Art. 3 Abs. 1 des Bundesgesetzes vom 14. März 1958 über die Verantwortlichkeit des Bundes und seiner Behördemitglieder (SR 170. 32) zu Grunde liegen - ergibt sich die Widerrechtlichkeit einer schädigenden Handlung daraus, dass entweder ein absolutes Recht des Geschädigten beeinträchtigt wird, ohne dass ein Rechtfertigungsgrund vorliegt (Erfolgsunrecht), oder eine reine Vermögensschädigung durch Verstoss gegen eine Norm bewirkt wird, die nach ihrem Zweck vor derartigen Schäden schützen soll (Handlungsunrecht) (Urteil des Bundesgerichts vom 7. Dezember 1998 publiziert in Pra 88/1999 Nr. 48 S. 271 E. 3 S. 271 f.; <ref-ruling> E. 4c/d S. 581 f., mit Hinweisen). Ein solcher Verstoss kann auch in der Verletzung allgemeiner Rechtsgrundsätze liegen (<ref-ruling> E. 3a S. 164, mit Hinweis).
4.- a) Nach der Rechtsprechung schützt der Grundsatz von Treu und Glauben unter bestimmten Voraussetzungen den Bürger in seinem berechtigten Vertrauen auf behördliches Verhalten, wenn er durch dieses veranlasst worden ist, Dispositionen zu treffen, die nicht ohne Nachteil rückgängig gemacht werden können (<ref-ruling> E. 2c S. 479, mit Hinweisen). Der Kläger wirft dem Service des automobiles et de la navigation vor, ihn nicht gehörig über die Notwendigkeit des Einbaus von Abwassertanks informiert zu haben, bevor er das Boot in die Schweiz überführt habe.
Das Formular, mit welchem der Kläger sein Immatrikulationsgesuch einreichte, enthielt ausdrücklich die Frage nach Behältern zur Aufnahme von Abwässern: "Installation de récupération des eaux usées (réservoirs pour les matières fécales, les eaux usées des lavabos, etc. )", darunter den Vermerk "Note: ces installations sont obligatoires pour tout bateau immatriculé pour la première fois dans le canton de Vaud", d.h. diese Einrichtungen sind Pflicht bei jedem erstmals im Kanton Waadt zugelassenem Schiff. Der Kläger hat bei dieser Frage kein Kreuz gesetzt und damit korrekt zu verstehen gegeben, dass bei seinem Boot die verlangten Installationen fehlten. Er macht geltend, Anfang Mai 1998 vorsichtshalber beim Service des automobiles et de la navigation telefonisch nachgefragt zu haben, "ob dem Transport etwas entgegensteht". Es sei ihm geantwortet worden, alle Voraussetzungen für die Immatrikulation seien erfüllt und dem Transport stehe nichts im Wege. Diese Sachdarstellung wird vom beklagten Kanton nur teilweise bestätigt: Dem Kläger sei wohl erklärt worden, er könne das Boot an den Genfer See transferieren; doch sei er auch darauf hingewiesen worden, dass das Boot den gewässerschutzrechtlichen Anforderungen anzupassen sei, und dass er es während der Sommersaison 1998 mittels einer vorläufigen Erlaubnis benutzen dürfe.
b) Welches der genaue Inhalt der geführten Telefongespräche war, steht nicht fest. Dem Kläger war auf Grund des ausdrücklichen Hinweises im von ihm ausgefüllten Formular bekannt, dass Behälter zur Aufnahme der Abwässer grundsätzlich erforderlich sind. Er hielt es allerdings, wie er ausführt, für möglich, dass in seinem Falle - gleich wie für den Bootsmotor - eine Ausnahme gemacht würde, weil sich das Boot schon seit 1989 in seinem Eigentum befand und er es als Umzugsgut in die Schweiz nehmen wollte. Er behauptet indes nicht, nach einer solchen Ausnahme gefragt zu haben, obwohl er zugibt, sich diesbezüglich nicht sicher gewesen zu sein. Er hat nur, zunächst schriftlich, dann telefonisch gefragt, ob der "Überführung" bzw. dem "Transport" des Bootes in die Schweiz etwas entgegenstehe. Damit aber hat er im Bewusstsein des Problems nicht zu einer wirklichen Klärung beigetragen, sondern das entstandene Missverständnis in Kauf genommen. Zwar war er nicht verpflichtet, auf den für sein Immatrikulationsgesuch heiklen Punkt nachdrücklich hinzuweisen. Nur durfte er dann in guten Treuen auch nicht darauf vertrauen, dass der definitiven Immatrikulation nichts entgegenstünde, solange diese nicht wirklich erteilt war. Selbst wenn folglich von der Sachdarstellung des Klägers ausgegangen wird, kann er nicht mit Erfolg geltend machen, der Service des automobiles et de la navigation habe ihn durch falsche Information, und damit widerrechtlich, veranlasst, das Boot in die Schweiz zu bringen, und habe ihn dadurch in seinem Vermögen geschädigt.
5.- a) Der Kläger macht weiter geltend, der Instruktionsrichter des Verwaltungsgerichts habe den ihm entstandenen Schaden verursacht, indem er die Erteilung der aufschiebenden Wirkung für die erhobene Beschwerde verweigert habe. Das Verhalten eines Richters ist im Sinne des Staatshaftungsrechts widerrechtlich, wenn er in Ausübung seiner amtlichen Befugnis einen besonderen Fehler begeht. Ein solcher liegt nicht schon dann vor, wenn sich seine Entscheidung später als unrichtig, gesetzwidrig oder sogar willkürlich erweist. Haftungsbegründende Widerrechtlichkeit ist vielmehr erst gegeben, wenn der Richter eine für die Ausübung seiner Funktion wesentliche Pflicht verletzt (speziell zu Art. 4 LREC <ref-ruling> E. 3b 449, mit Hinweisen; allgemein <ref-ruling> E. 2b S. 249, mit Hinweis).
b) Der Kläger begründete seinen Antrag auf Beilegung der aufschiebenden Wirkung damit, dass er gezwungen wäre, den Mietvertrag für den Bootsliegeplatz bis spätestens 31. Dezember 1998 zu kündigen, wenn die aufschiebende Wirkung nicht gewährt würde, weil er ansonsten den Mietzins für ein weiteres Jahr (bis 31. März 2000) bezahlen müsste, ohne das Boot benützen zu können. Der Instruktionsrichter war am 24. Dezember 1998 mit diesem vom Vortag datierten Begehren konfrontiert. Er musste infolge zeitlicher Dringlichkeit entscheiden, ohne dass er die Vernehmlassung der zuständigen Verwaltungsbehörde hätte einholen können. Er hat hiebei erwogen, dass es der Gewährung der aufschiebenden Wirkung nicht bedürfe, soweit der Zeitraum, bis zu dem die Mängel des Bootes zu beheben waren (31. März 1999), in Frage stand. Über diese Frist hinaus aber schien es dem Instruktionsrichter auf eine Vorwegnahme des Entscheides in der Sache hinauszulaufen, wenn er gestatten würde, das Boot weiter zu betreiben, gegebenenfalls bis 31. März 2000.
c) Nach der Aktenlage steht ausser Zweifel, dass das Verwaltungsgericht die Beschwerde in der Sache hätte abweisen müssen, wenn sie nicht gegenstandslos geworden wäre: Art. 108 Abs. 1 BSV schreibt vor, dass Schiffe mit Wohn-, Koch- oder sanitären Einrichtungen mit Behältern zur Aufnahme von Fäkalien, Abwässern und Abfällen ausgerüstet sein müssen, die an Land entleert werden können. Zudem hätte sich der Kläger, wie schon ausgeführt (vgl. E. 4), nicht auf den Anspruch auf Schutz berechtigten Vertrauens stützen können, um eine vom Gesetz abweichende Behandlung zu erreichen.
Gerade auch im Hinblick auf das dem Art. 108 Abs. 1 BSV zu Grunde liegende Ziel des Gewässerschutzes (vgl. Art. 10 BSV) als gewichtiges öffentliches Interesse verstiess der Instruktionsrichter nicht gegen für seine Funktion wesentliche Pflichten, wenn er dem Kläger eine Benutzung des Bootes auf dem Genfer See ohne die vorbeschriebenen Appreturen nicht bis zum 31. März 2000 unabhängig davon ermöglichte, wann das Verwaltungsgericht die Sachentscheidung treffen würde. Ausserdem geht es nicht an, dass im Rahmen des einstweiligen Rechtsschutzes Regelungen getroffen werden, die ohne Rücksicht auf den Zeitpunkt des Hauptsacheentscheids fortwirken und diesen damit auch insoweit vorwegnehmen können. Von der zur Begründung des Gesuchs geltend gemachten Mietdauer des Bootsliegeplatzes ausgehend, wäre dem Kläger schliesslich auch nicht wirksam geholfen gewesen, wenn ihm der Richter den Betrieb des Schiffes nur bis zum Entscheid in der Hauptsache gestattet hätte. Die Situation hätte sich kaum von derjenigen ohne Anordnung der aufschiebenden Wirkung unterschieden. Der Kläger hätte dann nämlich ebenso wenig abschätzen können, ob und wie lange er das Schiff während der verlängerten Mietdauer für den Bootsstandplatz hätte benutzen dürfen. Ein Datum für den verwaltungsgerichtlichen Hauptsacheentscheid stand noch nicht fest und es war nicht auszuschliessen, dass dieser vor dem 31. März 2000 gefällt würde. Mit der Verweigerung der aufschiebenden Wirkung ist dem Kläger folglich nicht widerrechtlich Schaden zugefügt worden.
6.- Der vom Kläger erhobene Schadenersatzanspruch erweist sich damit als unbegründet. Die Klage ist abzuweisen, soweit darauf einzutreten ist.
Dem Verfahrensausgang entsprechend sind die bundesgerichtlichen Kosten dem Kläger aufzuerlegen (Art. 156 Abs. 1 OG). Dabei ist für die Höhe der Gebühr dem Umstand Rechnung zu tragen, dass auf die Durchführung von Vorbereitungs- und Hauptverhandlung verzichtet werden konnte (vgl. Art. 153 und Art. 153a OG). Die Regelung von Art. 159 Abs. 2 OG, wonach obsiegenden Behörden in der Regel keine Parteientschädigung zugesprochen wird, gilt nicht im Direktprozess nach Art. 42 OG (nicht publiziertes Urteil des Bundesgerichts i.S. F. vom 14. Mai 1985; Thomas Hugi Yar, in: Thomas Geiser/Peter Münch [Hrsg. ], Prozessieren vor Bundesgericht, 2. Aufl. 1998, Rz. 7.12, S. 251). Deshalb hat der unterliegende Kläger dem obsiegenden Kanton die Parteikosten zu ersetzen.

Demnach erkennt das Bundesgericht:
1.- Die Klage wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'500. -- wird dem Kläger auferlegt.
3.- Der Kläger hat dem Kanton Waadt die Parteikosten in Höhe von Fr. 2'500. -- zu ersetzen.
4.- Dieses Urteil wird den Parteien schriftlich mitgeteilt.
_
Lausanne, 7. März 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: