Strafverfahren, hat sich ergeben: A.- G._ fuhr am Dienstag, dem 16. Juni 1998, um ca. 17 Uhr, mit seinem Ferrari F355 Spider von Haslen in Richtung Appenzell. Nach einer Linkskurve überholte er einen schwarzen BMW. Im Anschluss an das vor der nachfolgenden Rechtskurve abgeschlossene Überholmanöver verlor G._ bei Lank die Beherrschung über sein Fahrzeug. Er geriet über den rechten Fahrbahnrand, beschädigte 10-15 Betonpfähle und kam in der angrenzenden Wiese beim Restaurant Rössli zum Stillstand. Mit Strafbefehl vom 21. Oktober 1999 verurteilte die Untersuchungsrichterin des Kantons Appenzell Innerrhoden G._ wegen Missachtens der signalisierten Höchstgeschwindigkeit von 80 km/h um mindestens 33 km/h im Sinne von Art. 90 Ziff. 2 SVG i.V.m. Art. 27 Abs. 1 und Art. 32 Abs. 2 SVG sowie Art. 4a Abs. 1 lit. b VRV und Nichtbeherrschens des Fahrzeugs im Sinne von Art. 90 Ziff. 2 SVG i.V.m. Art. 32 Abs. 1 SVG und Art. 4 Abs. 1 VRV zu einer Busse von 1'000 Franken. Mit Urteil vom 13. Juni 2000 sprach das Bezirksgericht Appenzell G._ vom Vorwurf der groben Verkehrsregelverletzung frei und verurteilte ihn wegen mehrfacher Verkehrsregelverletzung im Sinne von Art. 90 Ziff. 1 SVG zu einer Busse von 1'000 Franken. Am 3. April 2001 sprach das Kantonsgericht Appenzell I.Rh., an welches sowohl G._ mit Berufung als auch die Staatsanwaltschaft mit Anschlussberufung gelangt waren, G._ infolge Verjährung vom Vorwurf der mehrfachen Verkehrsregelverletzung im Sinne von Art. 90 Ziff. 1 SVG frei, überband ihm indessen die Kosten des Verfahrens und sprach ihm keine Entschädigung zu. Es fand, G._ könne entgegen der Auffassung der Staatsanwaltschaft keine grobe Verkehrsregelverletzung nachgewiesen werden, und die ihm vom Bezirksgericht zu Recht angelasteten einfachen Verkehrsregelverletzungen seien verjährt. B.- Mit staatsrechtlicher Beschwerde vom 28. Juni 2001 wegen Willkür und Verletzung der Unschuldsvermutung beantragt G._, das Urteil des Kantonsgerichts aufzuheben, soweit dieses ihm die Verfahrenskosten auferlegte und keine Entschädigung zusprach. C.- Das Bezirksgericht Appenzell verzichtet auf Vernehmlassung. Das Kantonsgericht und die Staatsanwaltschaft beantragen, die Beschwerde abzuweisen.