Strafverfahren, hat sich ergeben:
A.- G._ fuhr am Dienstag, dem 16. Juni 1998, um ca. 17 Uhr, mit seinem Ferrari F355 Spider von Haslen in Richtung Appenzell. Nach einer Linkskurve überholte er einen schwarzen BMW. Im Anschluss an das vor der nachfolgenden Rechtskurve abgeschlossene Überholmanöver verlor G._ bei Lank die Beherrschung über sein Fahrzeug. Er geriet über den rechten Fahrbahnrand, beschädigte 10-15 Betonpfähle und kam in der angrenzenden Wiese beim Restaurant Rössli zum Stillstand.
Mit Strafbefehl vom 21. Oktober 1999 verurteilte die Untersuchungsrichterin des Kantons Appenzell Innerrhoden G._ wegen Missachtens der signalisierten Höchstgeschwindigkeit von 80 km/h um mindestens 33 km/h im Sinne von <ref-law> i.V.m. Art. 27 Abs. 1 und Art. 32 Abs. 2 SVG sowie Art. 4a Abs. 1 lit. b VRV und Nichtbeherrschens des Fahrzeugs im Sinne von <ref-law> i.V.m. <ref-law> und Art. 4 Abs. 1 VRV zu einer Busse von 1'000 Franken.
Mit Urteil vom 13. Juni 2000 sprach das Bezirksgericht Appenzell G._ vom Vorwurf der groben Verkehrsregelverletzung frei und verurteilte ihn wegen mehrfacher Verkehrsregelverletzung im Sinne von <ref-law> zu einer Busse von 1'000 Franken.
Am 3. April 2001 sprach das Kantonsgericht Appenzell I.Rh., an welches sowohl G._ mit Berufung als auch die Staatsanwaltschaft mit Anschlussberufung gelangt waren, G._ infolge Verjährung vom Vorwurf der mehrfachen Verkehrsregelverletzung im Sinne von <ref-law> frei, überband ihm indessen die Kosten des Verfahrens und sprach ihm keine Entschädigung zu. Es fand, G._ könne entgegen der Auffassung der Staatsanwaltschaft keine grobe Verkehrsregelverletzung nachgewiesen werden, und die ihm vom Bezirksgericht zu Recht angelasteten einfachen Verkehrsregelverletzungen seien verjährt.
B.- Mit staatsrechtlicher Beschwerde vom 28. Juni 2001 wegen Willkür und Verletzung der Unschuldsvermutung beantragt G._, das Urteil des Kantonsgerichts aufzuheben, soweit dieses ihm die Verfahrenskosten auferlegte und keine Entschädigung zusprach.
C.- Das Bezirksgericht Appenzell verzichtet auf Vernehmlassung.
Das Kantonsgericht und die Staatsanwaltschaft beantragen, die Beschwerde abzuweisen.

Das Bundesgericht zieht in Erwägung:
1.- Beim angefochtenen Entscheid des Kantonsgerichts handelt es sich um einen letztinstanzlichen kantonalen Endentscheid (Art. 86 Abs. 1 OG). Der Beschwerdeführer ist durch die Auferlegung von Gerichtskosten und die Abweisung seines Entschädigungsgesuchs in seinen rechtlich geschützten Interessen berührt (Art. 88 OG), und er macht die Verletzung von <ref-law> und Art. 6 Ziff. 2 EMRK geltend (Art. 84 Abs. 1 lit. a OG). Die übrigen Sachurteilsvoraussetzungen sind erfüllt, sodass auf die Beschwerde, unter dem Vorbehalt gehörig begründeter Rügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 1b; <ref-ruling> E. 1c), grundsätzlich einzutreten ist.
2.- Der Beschwerdeführer wirft dem Kantonsgericht eine Verletzung der Unschuldsvermutung vor, weil es ihm die Verfahrenskosten auferlegte und eine Parteientschädigung verweigerte mit der Begründung, er habe, wie das Bezirksgericht zu Recht angenommen habe, verschiedene Verkehrsregeln verletzt.
a) Nach der Rechtsprechung des Bundesgerichts dürfen einem Angeschuldigten bei Einstellung des Verfahrens nur dann Kosten auferlegt werden, wenn er durch ein unter rechtlichen Gesichtspunkten vorwerfbares Verhalten die Einleitung des Strafverfahrens veranlasst oder dessen Durchführung erschwert hat. Bei der Kostenpflicht des aus dem Verfahren entlassenen Angeschuldigten handelt es sich nicht um eine Haftung für ein strafrechtliches Verschulden, sondern um eine zivilrechtlichen Grundsätzen angenäherte Haftung für ein fehlerhaftes Verhalten, durch das die Einleitung oder Erschwerung des Prozesses verursacht wurde. Gemäss <ref-law> ist zum Ersatz verpflichtet, wer einem anderen widerrechtlich Schaden zufügt, sei es mit Absicht, sei es aus Fahrlässigkeit. Im Zivilrecht wird demnach eine Haftung dann ausgelöst, wenn jemandem durch ein widerrechtliches und - abgesehen von den Fällen der Kausalhaftung - schuldhaftes Verhalten ein Schaden zugefügt wird. Widerrechtlich im Sinne von <ref-law> ist ein Verhalten dann, wenn es gegen Normen verstösst, die direkt oder indirekt Schädigungen untersagen bzw. ein Schädigungen vermeidendes Verhalten vorschreiben. Solche Verhaltensnormen ergeben sich aus der Gesamtheit der schweizerischen Rechtsordnung, unter anderem aus Privat-, Verwaltungs- und Strafrecht, gleichgültig, ob es sich um eidgenössisches oder kantonales, geschriebenes oder ungeschriebenes Recht handelt. Es ist mit der in <ref-law> und Art. 6 Ziff. 2 EMRK festgelegten Unschuldsvermutung vereinbar, einem nicht verurteilten Angeschuldigten die Kosten dann zu überbinden, wenn er in zivilrechtlich vorwerfbarer Weise gegen eine solche Verhaltensnorm klar verstossen und dadurch das Strafverfahren veranlasst oder dessen Durchführung erschwert hat (<ref-ruling> E. 1b mit Hinweisen). Unzulässig ist es dagegen, die Kostenauflage damit zu begründen, der Angeschuldigte habe sich strafbar gemacht bzw. ihn treffe ein strafrechtliches Verschulden (<ref-ruling> E. 2e S. 175)
b) Das Kantonsgericht führt im angefochtenen Entscheid zur Kostenauflage aus:
"Der Angeklagte hat anlässlich der fraglichen Fahrt
im Sinne obiger Ausführungen verschiedene einfache
Verkehrsregelverletzungen begangen und damit durch
ein unter rechtlichen Gesichtspunkten vorwerfbares
Verhalten (prozessuales Verschulden im weiteren
Sinn) die Einleitung der Strafuntersuchung verursacht
(vgl. <ref-ruling> Erw. 2a). Auch die erstinstanzliche
Verurteilung vom 13. Juni 2000 erfolgte
im Sinne obiger Ausführungen zu Recht, war doch
in jenem Zeitpunkt die absolute Verjährung noch
nicht eingetreten. Die entsprechenden Kosten sind
deshalb grundsätzlich im Sinne von Art. 86 Abs. 1
StPO dem freigesprochenen Angeklagten aufzuerlegen
(S. 7 E. 6a).. "
c) Damit begründet das Kantonsgericht die Kostenauflage klarerweise mit der strafrechtlichen Schuld des Beschwerdeführers, der einer Verurteilung nur wegen der nach dem bezirksgerichtlichen Urteil eingetretenen Verjährung entgangen sei. Daran würde im Übrigen auch die vom Kantonsgericht in der Vernehmlassung nachgeschobene Begründung nichts ändern, wonach sich der Beschwerdeführer, indem er bei seinem Unfall mehrere Betonpfeiler beschädigt habe, ein auch unter zivilrechtlichen Gesichtspunkten vorwerfbares Verhalten habe zu Schulden kommen lassen. Diese Argumentation verkennt, dass der angerichtete Schaden bloss die Folge des verkehrswidrigen, strafrechtlich vorwerfbaren Verhaltens darstellt. Das ist nach der dargelegten Rechtsprechung mit der Unschuldsvermutung von <ref-law> und Art. 6 Ziff. 2 EMRK nicht vereinbar, die Rüge ist begründet.
d) Die Ausrichtung einer Parteientschädigung an den Beschwerdeführer verweigerte das Kantonsgericht aus den gleichen Gründen, aus denen es ihm Verfahrenskosten auferlegte.
Demzufolge erweist sich auch die Abweisung des Gesuchs um Parteientschädigung als verfassungs- und konventionswidrig.
3.- Die Beschwerde ist somit gutzuheissen und der angefochtene Entscheid, soweit dem Beschwerdeführer damit Verfahrenskosten auferlegt und die Ausrichtung einer Parteientschädigung verweigert werden, aufzuheben.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (Art. 156 Abs. 2 OG). Hingegen hat der Kanton Appenzell dem obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Beschwerde wird gutgeheissen und der angefochtene Entscheid des Kantonsgerichts Appenzell I.Rh. vom 3. April 2001 aufgehoben.
2.- Es werden keine Kosten erhoben.
3.- Der Kanton Appenzell I.Rh. hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4.- Dieses Urteil wird dem Beschwerdeführer, dem Bezirksgericht Appenzell (Strafgericht), der Staatsanwaltschaft des Kantons und dem Kantonsgericht (Abteilung Zivil- und Strafgericht) Appenzell I.Rh. schriftlich mitgeteilt.
_
Lausanne, 21. August 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: