<ref-law> (Arresteinsprache), hat sich ergeben:
A.- Gestützt auf ein Arrestgesuch der Kantonalen Finanzverwaltung Schwyz verfügte der Einzelrichter des Gerichtspräsidiums X._ am 14. Juni 2000 die Verarrestierung der Grundstücke Parzellen-Nrn. ... und ..., Grundbuch Y._, die im Eigentum von A._ stehen. Dessen Einsprache gegen den Arrestbefehl blieb erfolglos (Verfügung des Gerichtspräsidenten des Bezirks X._ vom 3. Oktober 2000).
B.- Gegen den Einspracheentscheid erhob A._ Rekurs beim Einzelrichter für Rekurse SchKG am Kantonsgericht St. Gallen. Zugleich ersuchte er um Gewährung der unentgeltlichen Prozessführung. Mit Entscheid vom 31. Oktober 2000 wies der Einzelrichter des Kantonsgerichts dieses Gesuch ab.
Hiergegen erhob A._ mit Erfolg staatsrechtliche Beschwerde beim Bundesgericht (Urteil 5P.466/2000 vom 18. Januar 2001). Im Anschluss an dieses Urteil bewilligte der Einzelrichter des Kantonsgerichts die unentgeltliche Prozessführung (Verfügung vom 14. Februar 2001). Mit Entscheid vom 2. Mai 2001 wies er den Rekurs ab.
C.- Gegen diesen Entscheid des Einzelrichters am Kantonsgericht St. Gallen in der Sache beschwert sich A._ wiederum mit staatsrechtlicher Beschwerde beim Bundesgericht.
Er beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheids. Ausserdem ersucht er für das Verfahren vor dem Bundesgericht um Gewährung der unentgeltlichen Rechtspflege.
Die Finanzverwaltung des Kantons Schwyz schliesst namens des Kantons auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
Der Einzelrichter des Kantonsgerichts hat auf eine Stellungnahme verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Der angefochtene Entscheid ist kantonal letztinstanzlich im Sinne von Art. 86 Abs. 1 OG (vgl. VIII. Titel:
Rechtsmittel, <ref-law>/SG). Er kann wegen Verletzung verfassungsmässiger Rechte der Bürger mit staatsrechtlicher Beschwerde beim Bundesgericht angefochten werden, da kein anderes Bundesrechtsmittel zur Verfügung steht (Art. 84 Abs. 1 lit. a und Abs. 2 OG). Auf die Beschwerde ist daher einzutreten.
2.- a) Der Beschwerdeführer rügt unter anderem eine Verletzung des Grundsatzes von Treu und Glauben (<ref-law>) sowie überspitzten Formalismus (<ref-law>). Er habe, nachdem die kantonale Finanzverwaltung in ihrer Rekursantwort zahlreiche Noven vorgebracht habe, sofort um Gelegenheit ersucht, sich zu dieser Eingabe zu äussern. Darauf habe er keine Antwort erhalten. Der Einzelrichter habe ohne Einholen einer weiteren Stellungnahme entschieden und in seinem Rekursentscheid bloss darauf hingewiesen, es hätte ihm frei gestanden, von sich aus innert zehn Tagen eine sog. nachträgliche Eingabe gemäss <ref-law>/SG einzureichen. Darauf hätte ihn der Einzelrichter aber aufmerksam machen müssen.
Da <ref-law>/SG von einem Gesuch spreche, habe er nicht wissen können, dass eine Praxis im Sinne des vom Einzelrichter Ausgeführten bestehe.
b) Der Einzelrichter hat in Ziff. II./1b des angefochtenen Entscheids ausgeführt, im Rahmen des rechtlichen Gehörs könne gemäss <ref-law>/SG zu neuen Behauptungen der Gegenpartei eine weitere Eingabe im Sinne von <ref-law>/SG eingereicht werden. Dafür sei jedoch nicht Frist anzusetzen, da sich die beiden Bestimmungen inhaltlich deckten. Vielmehr sei es Sache der betroffenen Partei, von diesem Anspruch selbständig, innert zehn Tagen, Gebrauch zu machen, was der Beschwerdeführer unterlassen und deshalb selber zu verantworten habe.
c) Gemäss <ref-law>/SG ist im ordentlichen Prozess eine nachträgliche Eingabe zulässig, wenn neue Vorbringen nicht früher eingebracht werden konnten oder das rechtliche Gehör dies erfordert. Das Gesuch um Zulassung ist innert zehn Tagen, nachdem der Gesuchsteller vom Grund Kenntnis erhalten hat, einzureichen (Abs. 2). Die nachträgliche Eingabe wird ohne weiteres zugelassen, wenn die Gegenpartei zustimmt (Abs. 3). Andernfalls entscheidet der Gerichtspräsident, unter Vorbehalt des Entscheids des Gerichts (<ref-law>/SG). Für das Rekursverfahren vor dem Einzelrichter des Kantonsgerichts bestimmt <ref-law>/SG, dass weitere Eingaben zulässig sind, wenn neue Behauptungen und Beweisanträge Beteiligter oder eine von der bisherigen abweichende Begründung eine Stellungnahme erfordern.
Die kantonale Rechtsprechung und die Kommentatoren (Christoph Leuenberger/Beatrice Uffer-Tobler, Kommentar zur Zivilprozessordnung des Kantons St. Gallen, Bern 1999) legen <ref-law>/SG - wohl aus prozessökonomischen Überlegungen - so aus, dass das Gesuch um Zulassung einer nachträglichen Eingabe mit dieser selbst zu verbinden sei bzw. mit der nachträglichen Eingabe implizit ein derartiges Gesuch gestellt werde (Leuenberger/Uffer-Tobler, a.a.O., N. 3a zu <ref-law>/SG, mit Hinweis auf GVP/SG 1993 Nr. 65). Sie führen in diesem Zusammenhang aus, der Gesetzestext, der von einem "Gesuch" spreche, könne zu Missverständnissen Anlass geben (Leuenberger/Uffer-Tobler, a.a.O., N. 3 Ingress zu <ref-law>/SG). Mit Bezug auf <ref-law>/SG halten die Kommentatoren dafür, dass <ref-law>/SG analog anzuwenden sei, auch hinsichtlich der zehntägigen Einreichungsfrist (Leuenberger/Uffer-Tobler, a.a.O., N. 2 zu Art. 221 und N. 4 zu <ref-law>/SG). Veröffentlichte Entscheide dazu führen sie nicht an, und auch im angefochtenen Entscheid wird nicht auf publizierte Rechtsprechung verwiesen.
d)<ref-law>/SG führt - wie erwähnt - nur aus, unter welchen Voraussetzungen weitere Eingaben vor dem Einzelrichter des Kantonsgerichts zulässig sind. Über die Modalitäten solcher Eingaben sagt das Gesetz nichts. Eine publizierte Praxis dazu besteht offenbar nicht. Orientiert sich der interessierte Rechtsanwalt an <ref-law>/SG betreffend nachträgliche Eingaben im ordentlichen Verfahren, so muss er aus dem Text von Abs. 2 dieser Vorschrift ableiten, er habe zunächst ein Gesuch um Zulassung einer weiteren Eingabe zu stellen. Die Kommentatoren bezeichnen den in der publizierten Rechtsprechung anders ausgelegten Wortlaut zwar als missverständlich, doch ist mit dem Beschwerdeführer festzuhalten, dass der Text an sich klar ist. Zu Missverständnissen Anlass gibt jedenfalls eher seine Auslegung durch die Praxis, die im Schrifttum gebilligt wird. Vor diesem Hintergrund muss damit gerechnet werden, dass <ref-law>/SG nicht in dem von den Kommentatoren umschriebenen Sinne verstanden wird und dass selbst ein Rechtsanwalt, der sich zusätzlich an <ref-law>/SG orientiert, nicht zur Auffassung gelangt, die in der dazu publizierten Rechtsprechung und im Kommentar vertreten wird. Angesichts der in <ref-law>/SG offen gelassenen Fragen um die Modalitäten einer weiteren Eingabe muss freilich - auch von einem im Kanton St. Gallen nicht prozesserfahrenen Rechtsanwalt - erwartet werden, dass er sich mündlich oder schriftlich näher orientiert und zudem rasch reagiert, wenn er eine zusätzliche Eingabe im Sinne dieser Vorschrift einreichen will. Er kann nicht damit rechnen, dass der Einzelrichter von sich aus Gelegenheit zu einer weiteren Stellungnahme einräumt. Unternimmt er jedoch die von der Sache her gebotenen und zumutbaren Schritte innert kurzer Frist bei der zuständigen Behörde, so darf er erwarten, dass er von dieser auf weitere noch als erforderlich erachtete Vorkehren hingewiesen wird. Das gebietet der Grundsatz von Treu und Glauben, der nicht nur als Prinzip in der Bundesverfassung verankert (<ref-law>), sondern auch als verfassungsmässiges Individualrecht anerkannt ist (<ref-law>) und ebenfalls im Verfahren gilt (<ref-ruling> E. 2b S. 179 ff., mit Hinweisen auch auf das Verbot des überspitzten Formalismus als Aspekt der Rechtsverweigerung; zum Ganzen Jörg Paul Müller, Grundrechte in der Schweiz, 3. Aufl. , Bern 1999, S. 485 ff. und 500 ff.).
e) Der Einzelrichter des Kantonsgerichts hat dem Rechtsanwalt des Beschwerdeführers am 26. Februar 2001 die Stellungnahme der Gegenpartei zugestellt. Am 28. Februar 2001 ist die Sendung beim Rechtsanwalt eingetroffen (Eingangsstempel).
Noch am gleichen Tag hat der Rechtsanwalt dem Einzelrichter schriftlich mitgeteilt, er "... ersuche ... höflich um Gelegenheit, um zu den zahlreichen Noven der (umfangreichen) Stellungnahmen der Gegenpartei, die unzutreffend und/ oder unvollständig sind, Stellung nehmen zu können ...". Damit hat der Rechtsvertreter des Beschwerdeführers rasch, unmissverständlich und zuständigenorts zu erkennen gegeben, dass er von der in <ref-law>/SG vorgesehenen Möglichkeit einer zusätzlichen Eingabe Gebrauch machen wollte.
Sein Ersuchen musste insbesondere auch als "Gesuch" im Sinne von <ref-law>/SG verstanden werden. Nach dem hiervor (E. 2d) Ausgeführten durfte er deshalb nach Treu und Glauben damit rechnen, dass ihn der Einzelrichter auf die Modalitäten einer weiteren Eingabe hinweisen oder ihm eine Frist zur Einreichung einer zusätzlichen Rechtsschrift ansetzen würde. Der Einzelrichter hat jedoch nicht reagiert, sondern einige Zeit später ohne Weiterungen entschieden und bloss festgestellt, der Beschwerdeführer habe die zehntägige Frist verpasst (vgl. oben E. 2b). Dadurch hat er nach dem Dargelegten gegen den Vertrauensgrundsatz verstossen.
f) Die festgestellte Verfassungsverletzung kann im staatsrechtlichen Beschwerdeverfahren nicht geheilt werden, da das Bundesgericht die unterlassenen Verfahrensschritte nicht nachholen kann. Das führt zur Gutheissung der staatsrechtlichen Beschwerde und Aufhebung des angefochtenen Entscheids.
Der Einzelrichter hat dem Beschwerdeführer Gelegenheit zur Einreichung einer zusätzlichen Eingabe einzuräumen, gegebenenfalls über deren Zulassung zu befinden und hernach erneut in der Sache zu entscheiden.
3.- Bei diesem Verfahrensausgang wird der Beschwerdegegner, der auf Abweisung der Beschwerde angetragen hat, soweit darauf einzutreten sei, und in seinen Vermögensinteressen betroffen ist, kostenpflichtig (Art. 156 Abs. 1 OG).
Er hat dem Beschwerdeführer zudem die Parteikosten für das Verfahren vor dem Bundesgericht zu ersetzen (Art. 159 Abs. 2 OG). Dessen Gesuch um Gewährung der unentgeltlichen Rechtspflege wird gegenstandslos.

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen, und der Entscheid des Einzelrichters für Rekurse SchKG am Kantonsgericht St. Gallen vom 2. Mai 2001 wird aufgehoben.
2.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdegegner auferlegt.
3.- Der Beschwerdegegner wird verpflichtet, den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Einzelrichter für Rekurse SchKG am Kantonsgericht St. Gallen schriftlich mitgeteilt.
_
Lausanne, 6. August 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: