(Feststellungsklage nach <ref-law>), hat sich ergeben:
A.- Im Jahre 1996 setzte Y._ gegen Z._ einen Betrag von Fr. 250'000.-- in Betreibung und erwirkte die provisorische Rechtsöffnung. Das von Z._ angehobene Aberkennungsverfahren wurde im September 1998 abgeschrieben.
Im März 1999 forderte Y._ von Z._ weitere Fr. 15'437. 75 auf dem Betreibungsweg ein; dieser erhob keinen Rechtsvorschlag.
Am 21. Juni 1999 erhob Z._ (nachfolgend:
Kläger oder Beschwerdeführer) beim Kantonsgericht von Appenzell A.Rh. (nachfolgend: Kantonsgericht) Klage auf Feststellung nach <ref-law>, dass die von Y._ (nachfolgend:
Beklagter) in Betreibung gesetzten Forderungen nicht bestehen. Der Beklagte beantragte die Abweisung der Klage. In der Folge eröffnete der Präsident des Obergerichts von Appenzell A.Rh. am 5. Januar 2000 über den Kläger den Konkurs mit Wirkung ab 30. November 1999. Am 26. Januar 2000 beschloss die Gerichtsleitung des Kantonsgerichts, das Feststellungsverfahren werde eingestellt und das Konkursamt Appenzeller Mittelland ersucht, dem Gericht innert 20 Tagen seit Durchführung der zweiten Gläubigerversammlung bzw. - im Falle des summarischen Verfahrens - der Auflage des Kollokationsplans mitzuteilen, ob die Konkursmasse oder einzelne Gläubiger den Prozess fortführen wollten. Der ausdrückliche oder stillschweigende Verzicht auf die Fortführung des Prozesses gelte als Rückzug der Feststellungsklage durch die Konkursmasse.
Für den Fall der Nichtfortsetzung des Prozesses würden die Gerichtskosten im voraussichtlichen Betrag von Fr. 730.-- vorsorglich zur Kollokation angemeldet.
B.- Im summarischen Konkursverfahren wurde im Juli 2000 der Kollokationsplan aufgelegt. Daraufhin erwog die Gerichtsleitung des Kantonsgerichts am 31. Oktober 2000, nach Auskunft des Konkursamtes wollten weder die Konkursmasse noch einzelne Gläubiger das Feststellungsverfahren weiterführen.
Deshalb stehe es dem Konkursschuldner und Kläger frei, den Prozess selber fortzusetzen. Die Gerichtsleitung setzte dem Kläger eine Frist von zehn Tagen zur Abgabe einer entsprechenden Erklärung und wies darauf hin, dass bei Stillschweigen oder Ablehnung der Verzicht auf Fortführung des Prozesses angenommen und die Klage als durch Rückzug erledigt am Gerichtsprotokoll abgeschrieben werde. Am 14. November 2000 antwortete der Kläger, er halte den Beschluss der Gerichtsleitung für obsolet, weil der Prozess durch den Verzicht der Masse bereits im Konkursverfahren abschliessend erledigt worden sei.
Mit Beschluss vom 14. Dezember 2000 schrieb das Kantonsgericht das Feststellungsverfahren als durch Rückzug der Klage erledigt am Protokoll ab, auferlegte die amtlichen Kosten dem Kläger und verpflichtete diesen, den Beklagten mit Fr. 12'010. 45 ausseramtlich zu entschädigen.
Hiergegen beschwerte sich der Kläger erfolglos bei der Justizaufsichtskommission des Obergerichts von Appenzell A.Rh. (nachfolgend: Justizaufsichtskommission).
C.- Mit Eingabe vom 15. Juni 2001 erhebt der Kläger staatsrechtliche Beschwerde. Er beantragt, die Entscheide der Justizaufsichtskommission und des Kantonsgerichts seien aufzuheben, und die Sache sei im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Vernehmlassungen sind nicht eingeholt worden.

Das Bundesgericht zieht in Erwägung:
1.- Der Entscheid der Justizaufsichtskommission ist kantonal letztinstanzlich (Art. 20 i.V.m. <ref-law>/A. Rh.). Er unterliegt der staatsrechtlichen Beschwerde wegen Verletzung verfassungsmässiger Rechte (Art. 84 Abs. 1 lit. a und Art. 86 Abs. 1 OG), weil kein anderes Bundesrechtsmittel zur Verfügung steht (Art. 84 Abs. 2 OG). Da vor der Justizaufsichtskommission nur Rechtsverweigerung, Rechtsverzögerung und Willkür gerügt werden können, ist für die weiteren angerufenen Verfassungsrechte (rechtliches Gehör, Wahrung von Treu und Glauben) ausnahmsweise auch die Anfechtung des kantonsgerichtlichen Entscheides zulässig (<ref-ruling> E. 1a/aa, mit Hinweisen). Überflüssig ist der Antrag, die Sache im Sinne der Erwägungen zurückzuweisen, da sich die Rückweisung im Falle der Gutheissung der Beschwerde wegen deren kassatorischen Natur von selbst versteht (<ref-ruling> E. 3c/bb).
2.- a) Das Kantonsgericht hat erwogen, in der Lehre sei umstritten, ob die Klage nach <ref-law> mit der Konkurseröffnung gegenstandslos werde. Weil die Klage nicht nur betreibungsrechtliche, sondern auch materiellrechtliche Wirkungen zeitige, schliesse es sich der Auffassung an, dass ein Rechtsschutzinteresse des Schuldners weiterbestehe. Da weder die Gläubiger noch der Schuldner die Weiterführung des Prozesses verlangt hätten, sei die Klage aber als durch Rückzug erledigt abzuschreiben (E. 5 des kantonsgerichtlichen Urteils).
Dieser Verfahrensausgang rechtfertige gestützt auf Art. 81 Abs. 1 i.V.m. <ref-law>/A. Rh., die Kosten dem Beschwerdeführer aufzuerlegen. Dabei würde es auch bleiben, wenn man die Klage als mit der Konkurseröffnung gegenstandslos geworden betrachten wollte. Das Kostenrisiko liege vorab bei der klagenden Partei, und der Begriff der Verursachung von Kosten werde bei Gegenstandslosigkeit praxisgemäss weit verstanden. Als Verursacher und damit kostenpflichtig müsse auch der Beschwerdeführer gelten, da er während des von ihm angestrengten Prozesses in Konkurs gefallen sei. Die Kosten gingen daher auf "sein Konto", auch wenn er nur indirekt für die vorzeitige Beendigung des Prozesses gesorgt habe.
Andere sachgerechte Kriterien für die Kostenverlegung seien nicht ersichtlich.
Die Justizaufsichtskommission hat dazu ausgeführt, im Falle der Gegenstandslosigkeit seien die Kosten gemäss <ref-law>/A. Rh. nach Ermessen zu verlegen, wobei <ref-law>/A. Rh. sinngemäss anwendbar sei. Das nach Klageanhebung durch den Beschwerdeführer über diesen eröffnete Konkursverfahren führe dazu, dass für die fraglichen Forderungen im Wesentlichen ein Verlustschein resultieren werde. Dies heisse nichts anderes, als dass der Klage kein Erfolg beschieden gewesen sei, was rechtfertige, den Beschwerdeführer kostenpflichtig zu erklären.
b) Der Beschwerdeführer rügt, die Justizaufsichtskommission habe sich nicht dazu geäussert, ob die ausseramtlichen Kosten das gleiche Schicksal haben müssten wie die amtlichen bzw. ob die Feststellungsklage als durch die Konkursverwaltung zurückgezogen zu betrachten sei. Ebenso wenig sei sie auf den Vorwurf des widersprüchlichen Verhaltens eingegangen, der sich darauf stütze, dass das Kantonsgericht auf einen Rückzug der Klage hätte schliessen müssen mit der Folge, dass die ausseramtliche Entschädigung auch zu kollozieren gewesen wäre. Die Argumentation des Kantonsgerichts und der Justizaufsichtskommission verletze deshalb nicht nur das rechtliche Gehör, sondern sei auch treuwidrig und willkürlich.
Das ergebe sich zudem daraus, dass das Kantonsgericht in seinem ersten Beschluss den Weg vorgezeichnet habe und sich daran hätte halten müssen. Dass es davon abgewichen sei, habe die Justizaufsichtskommission zu Unrecht akzeptiert. Sie sei damit in Willkür verfallen und hätte sich auch nicht auf die Diskussion von Lehrmeinungen einlassen dürfen. Er (der Beschwerdeführer) habe darauf hingewiesen, dass der vom Kantonsgericht erwähnte <ref-ruling> eine Aberkennungsklage und damit eine andere Frage betreffe, und dass Art. 63 KOV, wonach bei Fortsetzung des Prozesses die Streichung der Forderung oder ihre definitive Kollokation erfolgen müsse, selbst dann gelte, wenn auf <ref-law> abgestellt werde. "Die Frage" sei deshalb innerhalb des Konkursverfahrens abschliessend zu erledigen und dürfe nicht später wieder aufgenommen werden. Überdies habe es sich um ein summarisches Konkursverfahren gehandelt, weshalb keine Abtretungsofferten nach <ref-law> hätten erfolgen können und der Prozessgegenstand nicht zur Masse gezogen worden sei. Die Feststellungsklage nach <ref-law> sei von einer Betreibung abhängig und falle mit deren Aufhebung durch die Konkurseröffnung von selbst dahin. Deshalb habe das Kantonsgericht ihn (den Beschwerdeführer) nicht auf seiner Eventualansicht behaften dürfen; es hätte vielmehr zuerst die Hauptbegründung in seinem Sinne behandeln müssen. Auch die ausseramtliche Entschädigung sei als Forderung vor der Konkurseröffnung entstanden, weil nachher keine prozessualen Schritte mehr unternommen worden seien. Die verschiedenen Bestandteile eines Prozesses könnten nur ein gemeinsames Schicksal haben, und die willkürliche Aufteilung und Behandlung der verschiedenen "Kriterien" sei unstatthaft.
c) Die Ausführungen des Beschwerdeführers sind über weite Strecken aus sich heraus kaum verständlich. Soweit ihnen ein Sinn entnommen werden kann und es sich um Vorbringen handelt, die den Anforderungen von Art. 90 Abs. 1 lit. b OG genügen (<ref-ruling> E. 1c S. 76, 417 E. 6b S. 429) und nicht bloss unzulässige appellatorische Kritik darstellen, zielen sie an der für die Kostenauflage wesentlichen Argumentation der kantonalen Behörden vorbei. Gewiss hat das Kantonsgericht (nicht aber die Justizaufsichtskommission, wie der Beschwerdeführer meint) Überlegungen darüber angestellt, ob das für die Feststellungsklage nach <ref-law> vorgesehene Verfahren nach der Konkurseröffnung weitergeführt werden könne und wer befugt sei, dessen Fortsetzung zu verlangen.
Es hat jedoch die Kosten unabhängig vom weiteren Schicksal des Klageverfahrens - gestützt auf die Kostenvorschriften der kantonalen Zivilprozessordnung - liquidiert, und die Justizaufsichtskommission hat die Kostenliquidation ebenfalls gestützt auf kantonales Recht bestätigt (vgl. E. 2a hiervor).
Dass die kantonalen Vorschriften über die Kostenverlegung bei Gegenstandslosigkeit des Verfahrens willkürlich angewendet worden seien, macht der Beschwerdeführer nicht bzw. nicht in Art. 90 Abs. 1 lit. b OG genügender Form geltend (<ref-ruling> E. 1c S. 76, 417 E. 6b S. 429). Die unterschiedlichen Auffassungen über die Zulässigkeit, einen Feststellungsprozess gemäss <ref-law> nach der Konkurseröffnung weiterzuführen, spielten demnach für die Kostenauflage keine Rolle, und die Justizaufsichtskommission brauchte sich bei diesem Ergebnis auch nicht darüber zu äussern, ob die Klage bereits mit der Konkurseröffnung oder mit dem Verzicht der Konkursmasse und der Gläubiger auf Weiterführung oder erst mit der Eventual-Verzichtserklärung des Beschwerdeführers als zurückgezogen zu betrachten war; offen bleiben konnte ferner, ob <ref-ruling> einschlägig sei, ob aus <ref-law> und Art. 63 KOV etwas zu gewinnen gewesen wäre, im Konkurs <ref-law> anwendbar gewesen sei und ob sich das summarische Konkursverfahren vom ordentlichen bezüglich der Weiterführung von Prozessen unterscheide. Alle diese Überlegungen waren für die Kostenauflage nach Meinung der kantonalen Behörden unerheblich, und der Verzicht auf diesbezügliche Erörterungen bedeutet deshalb keine Verletzung der Begründungspflicht (als Ausprägung des Anspruchs auf rechtliches Gehör; vgl. dazu statt vieler: <ref-ruling> E. 2b S. 102).
Aus den gleichen Gründen geht der Vorwurf an der Sache vorbei, das Kantonsgericht habe sich treuwidrig und widersprüchlich verhalten, weil es auf seinen ersten Beschluss, dass die Klage mit dem Stillschweigen von Konkursmasse und Gläubigern als zurückgezogen gelte, zurückgekommen sei und mit einem zweiten Beschluss auch ihm (dem Beschwerdeführer) eine Frist zur Abgabe einer Willenserklärung angesetzt habe. Dieser Umstand ist nach den Ausführungen der kantonalen Behörden ohne Einfluss auf die Kostenliquidation im Abschreibungsbeschluss geblieben. Dem Beschwerdeführer wurden die Kosten gestützt auf entsprechende kantonale Normen auferlegt, weil er in einem weit verstandenen Sinne als Verursacher nutzlos gebliebenen Prozessaufwandes betrachtet wurde und nicht, weil ihm eine Rückzugserklärung zugeschrieben wurde.
d) Mit den Überlegungen der kantonalen Behörden zur Kostentragungspflicht nach kantonalem Recht setzt sich der Beschwerdeführer nur insofern rechtsgenüglich auseinander, als er vorbringt, das Kantonsgericht hätte nicht den (mutmasslichen) Prozessaufwand kollozieren lassen dürfen, ohne für die ausseramtlichen Kosten das Gleiche anzuordnen.
Der Vorwurf, die kantonalen Behörden hätten diesbezüglich widersprüchlich bzw. willkürlich gehandelt, geht jedoch fehl.
Zum einen hat das Kantonsgericht die (vorsorgliche) Kollokation der voraussichtlichen Abschreibungskosten mit dem Beschluss vom 26. Januar 2000 verlangt, als noch nicht feststand, ob die Konkursmasse oder einzelne Gläubiger von der eingeräumten Möglichkeit, den Prozess fortzuführen, Gebrauch machen wollten, und es lag auch noch keine Kostennote über den Parteiaufwand vor. Zum andern konnte es nicht Sache des Kantonsgerichts sein, eine allfällige Parteientschädigung zur Kollokation anzumelden; dies im Unterschied zur Gerichtsgebühr für den eigenen Aufwand (vgl. <ref-law>). Allein im Umstand, dass die Gerichtsgebühr und die Parteientschädigung für das abgeschriebene Verfahren auf Feststellung nach <ref-law> im Konkurs des Beschwerdeführers bis jetzt ein unterschiedliches Schicksal erfahren haben, liegt deshalb noch kein widersprüchliches oder willkürliches Verhalten der kantonalen Behörden. Diesen kann auch nicht deshalb eine Verfassungsverletzung vorgeworfen werden, weil sie die Frage der Streichung oder definitiven Kollokation nicht "innerhalb des Konkursverfahrens" abschliessend beantwortet haben, wie der Beschwerdeführer meint. Das Konkursverfahren ist nicht vom Kantonsgericht oder der Justizaufsichtskommission durchzuführen, sondern vom zuständigen Konkursamt und der Konkursverwaltung (Art. 221 ff. und 237 ff.), und beide kantonalen Gerichtsbehörden können nicht in dieses Verfahren eingreifen. Dies gilt auch für die Erstellung des Kollokationsplans (<ref-law>).
Im Übrigen weist der Beschwerdeführer selber darauf hin, dass das Konkursverfahren noch nicht abgeschlossen worden sei. Weshalb die unterschiedliche Berücksichtigung der amtlichen und der ausseramtlichen Kosten im Konkurs definitiv sein sollte, ist daher mit Blick auf <ref-law> nicht ersichtlich.
Selbst wenn die Kosten aber letztlich unterschiedlich in das Konkursverfahren einbezogen werden sollten, ist nicht erkennbar, inwiefern dies für den Beschwerdeführer nachteilig sein sollte (vgl. Huber, Basler Kommentar, N. 9 zu <ref-law>; ferner Hierholzer, daselbst, N. 115 zu <ref-law> mit Hinweis auf <ref-ruling> S. 84 und 122 III 195 E. 9b S. 202).
3.- Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Damit wird der Beschwerdeführer für das Verfahren vor dem Bundesgericht kostenpflichtig (Art. 156 Abs. 1 OG). Parteikosten sind keine zu sprechen, zumal keine Vernehmlassungen eingeholt worden sind.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.-Dieses Urteil wird den Parteien und dem Obergericht von Appenzell A.Rh., Justizaufsichtskommission, schriftlich mitgeteilt.
_
Lausanne, 3. September 2001
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: