fürsorgerische Freiheitsentziehung, hat sich ergeben:
A.- X._ befindet sich seit dem 24. Mai 2001 in der Psychiatrischen Klinik Z._. Mit Verfügung vom 29. Mai 2001 wurde er von einem Klinikarzt vorsorglich zurückbehalten.
Am 7. Juni 2001 verfügte die Präsidentin der Vormundschaftskommission Z._, dass X._ nach den Bestimmungen der fürsorgerischen Freiheitsentziehung zurückbehalten werde. Nachdem die Psychiatrische Klinik Z._ am 6. Juni 2001 der Gemeinde Z._ mitgeteilt hatte, eine weitere stationäre Behandlung von X._ sei indiziert, verfügte die Vormundschaftskommission Z._ am 22. Juni 2001, dass X._ weiterhin in der Klinik zurückbehalten werde; ferner ordnete sie die Überleitung ins "ordentliche Verfahren des fürsorgerischen Freiheitsentzuges" an. Am 13. Juli 2001 teilte die Vormundschaftskommission X._ mit, sie werde auf ein Entlassungsgesuch erst eintreten, wenn er bereit sei, für einen mindestens halbjährigen Aufenthalt in einer betreuten Wohngruppe einzutreten, wobei ein freier Platz für einen sofortigen Übertritt zur Verfügung stehen müsse; vorausgesetzt sei ferner, dass er sich verpflichte, sich ambulant weiterbehandeln zu lassen und die verordneten Medikamente regelmässig einzunehmen.
B.- Am 31. Juli 2001 verlangte X._, vertreten durch den Verein Y._, beim Verwaltungsgericht von Appenzell Ausserrhoden seine sofortige Entlassung, die von der Vormundschaftskommission mit Schreiben vom 13. Juli 2001 abgelehnt worden sei. Mit Urteil vom 29. August 2001 trat das Verwaltungsgericht auf die "Klage" nicht ein und überwies sie zuständigkeitshalber an die Vormundschaftskommission.
C.- Mit Berufung vom 5. September 2001 beantragt X._, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache zur weiteren Behandlung an dieses zurückzuweisen.
Für das bundesgerichtliche Verfahren sei ihm die unentgeltliche Rechtspflege zu gewähren und ihm ein Rechtsbeistand beizugeben. Das Verwaltungsgericht hat auf Gegenbemerkungen verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- a) Gemäss Art. 44 lit. f OG ist die Berufung in Fällen der fürsorgerischen Freiheitsentziehung zulässig. Das Berufungsrecht beschränkt sich nicht auf die Anordnung der fürsorgerischen Freiheitsentziehung, sondern ist generell zulässig gegen alle gestützt auf Art. 397a - f ZGB ergangenen Entscheide, mithin auch gegen eine Verfügung, mit der ein Entlassungsgesuch abgewiesen (Poudret/Sandoz-Monod, Commentaire de la loi fédérale d'organisation judiciaire, Band II, N. 2.6 zu Art. 44 OG) oder darauf nicht eingetreten worden ist. Insoweit ist auf die Berufung einzutreten.
b) Mit Berufung kann die Verletzung von Bundesrecht geltend gemacht werden. Bundesrecht ist verletzt, wenn ein in einer eidgenössischen Vorschrift ausdrücklich ausgesprochener oder sich daraus ergebender Rechtssatz nicht oder nicht richtig angewendet worden ist (Art. 43 Abs. 1 und 2 OG).
Umstritten ist, ob im Schreiben der Vormundschaftskommission vom 13. Juli 2001 eine Abweisung eines Entlassungsgesuchs zu erblicken ist. Gemäss <ref-law> kann die von einer fürsorgerischen Freiheitsentziehung betroffene Person gegen die Abweisung eines Entlassungsgesuchs innert 10 Tagen nach der Mitteilung schriftlich das Gericht anrufen (<ref-law>). Ob ein im Sinne dieser Bestimmung anfechtbarer Entscheid vorliegt, ist eine bundesrechtliche Frage. Auch insoweit ist auf die Berufung einzutreten.
2.- Zur Begründung seines Nichteintretensentscheides führt das Verwaltungsgericht im Wesentlichen aus, der Berufungskläger habe den Zurückbehaltungsentscheid vom 22. Juni 2001 nicht angefochten. Da er nach der Aktenlage auch kein Entlassungsgesuch bei der Vormundschaftskommission gestellt habe, sei es nicht Sache des Verwaltungsgerichts, erstinstanzlich über das beim Gericht eingereichte Gesuch zu befinden.
Der Berufungskläger bringt hauptsächlich vor, verschiedentlich die Entlassung aus der Klinik verlangt zu haben. Am 13. Juli 2001 habe ihm die Vormundschaftskommission mitgeteilt, sie sei erst bereit, ihn zu entlassen, wenn er bestimmte Bedingungen erfülle. Damit habe die Vormundschaftskommission seine Entlassung konkludent abgewiesen. Das Verwaltungsgericht habe <ref-law> verletzt, wonach bei Abweisung eines Entlassungsgesuchs der Richter angerufen werden kann.
a) Gemäss <ref-law> muss die von einer fürsorgerischen Freiheitsentziehung betroffene Person entlassen werden, sobald ihr Zustand es erlaubt. Hat wie vorliegend eine vormundschaftliche Behörde die Unterbringung oder Zurückbehaltung angeordnet, so befindet sie auch über die Entlassung (<ref-law>). Die betroffene Person oder eine ihr nahestehende Person kann gegen die Abweisung eines Entlassungsgesuchs innert 10 Tagen nach der Mitteilung schriftlich das Gericht anrufen (<ref-law>). Dieses entscheidet in einem einfachen und raschen Verfahren (<ref-law>).
Aus der Berechtigung, bei Abweisung eines Entlassungsgesuchs das Gericht anzurufen (<ref-law>), ergibt sich selbstredend, dass eine Person, der die Freiheit fürsorgerisch entzogen worden ist, jederzeit um ihre Entlassung ersuchen kann. Während die Anrufung des Richters schriftlich zu erfolgen hat (<ref-law>), ist das Entlassungsgesuch an keine Formvorschriften gebunden. Erachtet sich eine Behörde als unzuständig, hat sie das Entlassungsgesuch in analoger Anwendung von <ref-law> an die nach <ref-law> zuständige Behörde weiterzuleiten Deschenaux/Steinauer, Personnes physiques et tutelle,
4. Aufl. 2001 N. 1192).
b) Im Schreiben vom 13. Juli 2001 setzte die Vormundschaftskommission dem Berufungskläger auseinander, dass er - wie sich immer wieder gezeigt habe - überfordert sei, allein zu wohnen, dass er ohne fachliche Betreuung die ambulante medizinische Betreuung stets abgebrochen und die Medikamenteneinnahme verweigert habe, weshalb ihm bis auf weiteres der Bezug einer eigenen Wohnung nicht gestattet werden könne. Sie formulierte die Bedingungen, die es zu erfüllen gilt, damit ihrer Ansicht nach auf ein Entlassungsgesuch eingetreten werden kann. Wird dergestalt einer von der fürsorgerischen Freiheitsentziehung betroffenen Person eröffnet, dass eine Entlassung solange nicht in Frage kommt, als sie bestimmte Bedingungen nicht erfüllt, liegt darin - konkludent - ein abschlägiger Entscheid i.S. von <ref-law>. Unter diesen Umständen ist ohne Belang, ob die von fürsorgerischer Freiheitsentziehung betroffene Person ihren Willen, entlassen zu werden, ausdrücklich äusserte. Daher bestand für das Verwaltungsgericht auch kein Anlass, die "Klage" an die Vormundschaftskommission zu überweisen.
3.- Zusammenfassend ergibt sich, dass die Vorinstanz auf die Klage zu Unrecht nicht eingetreten ist und damit <ref-law> verletzt hat. Die Berufung ist daher gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache zur weiteren Behandlung an die Vorinstanz zurückzuweisen.
Nach dem Ausgang des Verfahrens gehen die Gerichtskosten zu Lasten des Bundes. Insoweit ist das Gesuch um unentgeltliche Rechtspflege gegenstandslos. Unter Hinweis auf den für das kantonale Verfahren gewährte unentgeltlichen Rechtsbeistand sind die entsprechenden Voraussetzungen für das bundesgerichtliche Verfahren ohne weiteres gegeben (Art. 152 Abs. 1 OG). Rechtsanwalt Diggelmann ist dem Berufungskläger als ein unentgeltlicher Rechtsvertreter beizugeben.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird gutgeheissen und der Entscheid des Verwaltungsgerichts von Appenzell Ausserrhoden, II. Abteilung, vom 29. August 2001 aufgehoben. Die Sache wird zur weiteren Behandlung an das Verwaltungsgericht von Appenzell Ausserrhoden zurückgewiesen.
2.- Es wird keine Gerichtsgebühr erhoben.
3.- Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist. Dem Berufungskläger wird für das bundesgerichtliche Verfahren ein unentgeltlicher Rechtsvertreter in der Person von Rechtsanwalt Jürg Diggelmann, Poststrasse 18, 9000 St. Gallen, beigegeben.
4.- Rechtsanwalt Jürg Diggelmann wird aus der Bundesgerichtskasse ein Honorar von Fr. 1'500.-- zugesprochen.
5.- Dieses Urteil wird dem Berufungskläger und dem Verwaltungsgericht von Appenzell Ausserrhoden, II. Abteilung, schriftlich mitgeteilt.
_
Lausanne, 21. September 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: