Einstellung des Strafverfahrens, hat sich ergeben:
A.- Am 19. Oktober 1999 reichte B._ beim Verhöramt von Appenzell Ausserrhoden eine Strafanzeige ein gegen W._, Landesfähnrich des Kantons Appenzell Innerrhoden, wegen Verletzung des Amtsgeheimnisses. B._ wirft W._ vor, er habe der Appenzellischen Winkelriedstiftung, bei welcher B._ ein Gesuch um einen Kredit eingereicht hatte, über B._ eine Referenz erteilt, welche ihn als Kreditnehmer in ein wenig vertrauensvolles Bild gesetzt hätte. In der Folge habe er den gewünschten Kredit nicht erhalten.
Das Verhöramt stellte das Strafverfahren am 28. Dezember 1999 ein. B._ erhob gegen die Einstellung Rekurs, welchen die Staatsanwaltschaft des Kantons Appenzell Ausserrhoden mit Rekursentscheid vom 31. Januar 2000 abwies.
B.- Mit staatsrechtlicher Beschwerde vom 10. Februar 2000 stellt B._ im Wesentlichen den Antrag, der Rekursentscheid der Staatsanwaltschaft sei aufzuheben. Ausserdem ersucht er um unentgeltliche Rechtspflege.
Die Staatsanwaltschaft nimmt zur Beschwerde Stellung, ohne einen ausdrücklichen Antrag zu stellen.
W._ schliesst auf Abweisung der Beschwerde. Das Verhöramt beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer ersuchte um Durchführung eines zweiten Schriftenwechsels. Nach Art. 93 Abs. 3 OG findet ein solcher jedoch nur ausnahmsweise statt. In der Regel ist ein zweiter Schriftenwechsel nur dann erforderlich, wenn die Behörde, die den angefochtenen Entscheid gefällt hat, in ihrer Vernehmlassung wesentliche Gründe nachschiebt, die sie im Entscheid selbst nicht erwähnt hat. Im vorliegenden Fall nennt indessen die Staatsanwaltschaft in ihrer Vernehmlassung keinen wesentlichen Gesichtspunkt, auf den sie nicht schon im angefochtenen Entscheid verwiesen hat. Auf einen zweiten Schriftenwechsel ist daher zu verzichten.
2.- a) Das Bundesgericht prüft die Zulässigkeit einer staatsrechtlichen Beschwerde von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1; <ref-ruling> E. 1, je mit Hinweisen).
Die Legitimation zur staatsrechtlichen Beschwerde setzt die persönliche Betroffenheit des Beschwerdeführers in eigenen rechtlich geschützten Positionen voraus (Art. 88 OG). Nach ständiger Praxis des Bundesgerichtes ist der durch eine strafbare Handlung angeblich Geschädigte grundsätzlich nicht legitimiert, gegen die Einstellung des Strafverfahrens oder gegen ein freisprechendes Urteil staatsrechtliche Beschwerde zu erheben, weil der Strafanspruch dem Staat zusteht und der Geschädigte an der Verfolgung des Täters nur ein mittelbares oder tatsächliches, aber kein rechtliches Interesse im Sinne von Art. 88 OG hat. Falls ihm im kantonalen Verfahren Parteistellung zukam, kann er jedoch unbekümmert um die fehlende Legitimation in der Sache selbst die Verletzung von Verfahrensrechten geltend machen, deren Missachtung eine formelle Rechtsverweigerung darstellt (<ref-ruling> E. 1a, E. 3b S. 110, 157 E. 2a/aa, je mit Hinweisen).
Der Beschwerdeführer rügt zwar, die Staatsanwaltschaft habe seine Verfahrensrechte verletzt, weil sie auf bestimmte Ausführungen in seinem Rekurs nicht eingetreten sei. Diese Rüge fällt jedoch mit der Rüge willkürlicher Beweiswürdigung zusammen, zu welcher der Beschwerdeführer als angeblich Geschädigter nicht legitimiert ist.
b) Gemäss Art. 8 Abs. 1 lit. c des Bundesgesetzes vom 4. Oktober 1991 über die Hilfe an Opfer von Straftaten (Opferhilfegesetz, OHG; SR 312. 5) ist das Opfer im Sinne des <ref-law> legitimiert, einen kantonalen Entscheid mit staatsrechtlicher Beschwerde anzufechten, der ein Strafverfahren kantonal abgeschlossen hat, sofern es sich bereits vorher am Verfahren beteiligt hat und soweit der Entscheid seine Zivilansprüche betrifft oder sich auf deren Beurteilung auswirken kann. Dem Opfer steht in diesem Sinne eine auf materiellrechtliche Fragen erweiterte Legitimation zur staatsrechtlichen Beschwerde zu, und <ref-law> geht insofern Art. 88 OG als "lex specialis" vor (<ref-ruling> E. 2a S. 105, 157 E. 2c S. 162). Als Opfer im Sinne des OHG gilt jede Person, die durch eine Straftat in ihrer körperlichen, sexuellen oder psychischen Integrität unmittelbar beeinträchtigt worden ist, und zwar unabhängig davon, ob der Täter ermittelt worden ist und ob er sich schuldhaft verhalten hat (<ref-law>).
Der Beschwerdeführer ist durch die angeblichen Straftaten, die er dem Beschwerdegegner vorwirft, weder in seiner körperlichen, sexuellen oder psychischen Integrität verletzt worden. Umstritten ist vielmehr eine ausschliesslich finanzielle Schädigung. Aus <ref-law> ergibt sich deshalb keine besondere Legitimation des Beschwerdeführers zur staatsrechtlichen Beschwerde. Auf die Beschwerde ist im vereinfachten Verfahren nicht einzutreten (Art. 36a Abs. 1 lit. a OG).
3.- Weil die staatsrechtliche Beschwerde von Anfang an aussichtslos war, ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (Art. 152 Abs. 1 OG). Die Gerichtsgebühr ist dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
2.- Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3.- Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird den Parteien, dem Verhöramt und der Staatsanwaltschaft des Kantons Appenzell Ausserrhoden schriftlich mitgeteilt.
_
Lausanne, 28. April 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: