Nebenfolgen der Ehescheidung (Güterrecht), hat sich ergeben:
A.- Im Sommer 1996 leitete A.K._ gegen B.K._ das Scheidungsverfahren ein. Die Parteien wurden durch das Kantonsgericht von Appenzell Ausserrhoden mit Urteil vom 18. August 1999 geschieden. Das Gericht regelte die Nebenfolgen und traf in güterrechtlicher Hinsicht fünf Anordnungen (Dispositivziff. 7b bis 7e); bezüglich einer während des Scheidungsverfahrens zwangsverwerteten Liegenschaft der Parteien verpflichtete es die Beklagte, dem Kläger Fr. 221'838.-- zu bezahlen (Dispositivziff. 7a).
Auf Appellation beider Parteien und Anschlussappellation des Klägers, die sich (von hier nicht weiter interessierenden Punkten) gegen Dispositivziff. 7 des erstinstanzlichen Urteils richteten, änderte das Obergericht des Kantons Appenzell Ausserrhoden mit Urteil vom 12. Dezember 2000 im Bereich der güterrechtlichen Auseinandersetzung einzig Dispositivziff.
7a des erstinstanzlichen Urteils ab: Bezüglich der zwangsverwerteten Liegenschaft verpflichtete es die Beklagte, ihrem geschiedenen Mann Fr. 70'000.-- zu bezahlen. Die Verfahrenskosten regelte es auf der Basis der beiden Parteien gewährten unentgeltlichen Rechtspflege.
B.- Der Kläger beantragt dem Bundesgericht mit Berufung, das obergerichtliche Urteil aufzuheben, soweit B.K._ verpflichtet werde, ihm Fr. 70'000.-- zu bezahlen, und die Angelegenheit sei zu neuer Entscheidung an das Obergericht zurückzuweisen; eventualiter sei B.K._ zu verpflichten, ihm Fr. 161'838.--, subeventualiter Fr. 137'500.-- zu bezahlen. Er ersucht um Gewährung der unentgeltlichen Rechtspflege.
Das Obergericht hat auf Gegenbemerkungen verzichtet.
Die Beklagte schliesst in ihrer Berufungsantwort/Anschlussberufung auf Abweisung der Berufung und stellt die Begehren, die strittige Forderung aus Güterrecht sei auf Fr. 16'100.-- zu reduzieren und ihr sei die Verfahrenshilfe zu gewähren.
Der Kläger hält in seiner Anschlussberufungsantwort an seinen Berufungsanträgen fest und schliesst auf Abweisung der Anschlussberufung.
C.- Mit Urteilen vom heutigen Tag hat das Bundesgericht zwei staatsrechtlichen Beschwerden von A.K._ keinen Erfolg beschieden. Zunächst ist eine Beschwerde nicht durchgedrungen, die sich gegen den Beschluss des Obergerichts Appenzell Ausserrhoden vom 26. Juni 2001 gerichtet hat, auf das Revisionsgesuch von A.K._ gegen das obergerichtliche Urteil vom 12. Dezember 2000 nicht einzutreten (5P. 304/2001). Sodann ist das Bundesgericht auf die Beschwerde gegen das Urteil des Obergerichts vom 12. Dezember 2000 nicht eingetreten (5P. 107/2001).
Das Bundesgericht zieht in Erwägung:
1.- Es schadet dem Kläger nicht, dass der Aufhebungs- und der Rückweisungsantrag hier nicht genügen würden, weil die rechtserheblichen Feststellungen getroffen sind und das Bundesgericht somit selber entscheiden könnte (BGE 106 II 201 E. 1 S. 203; 104 II 209 E. 1 S. 211). Denn er stellt bezifferte Eventualanträge, weshalb auf die Berufung einzutreten ist (Art. 55 Abs. 1 lit. b OG; BGE 125 III 412 E. 1b S. 414).
Demgegenüber enthält die Anschlussberufung einen rechtsgenüglichen Hauptantrag (Art. 59 Abs. 3 OG). Die Streitwertgrenze ist für beide Rechtsmittel überschritten (Art. 46 OG).
2.- Anfänglich bewohnten die Parteien das Haus Z._ in Y._, das in ihrem hälftigen Miteigentum stand und sie ausgebaut hatten. Am 26. Oktober 1988 verkauften sie dieses Haus und liessen sich in X._ nieder.
Dort hatten sie am 14. Dezember 1987 Bauland zu je 1/2 Miteigentum erworben und erstellten darauf ein Wohnhaus. Der Erlös für das Wohnhaus in Y._ ist in die Liegenschaft in X._ investiert worden. Die Vorinstanz ist für die Vornahme der güterrechtlichen Auseinandersetzung bezüglich dieses Wohnhauses vom Erlös aus der Zwangsverwertung der Liegenschaft ausgegangen, die während des Scheidungsverfahrens durchgeführt wurde. Bei einem durch das Betreibungsamt geschätzten Wert von Fr. 958'000.-- wurde in der Versteigerung ein Erlös von Fr. 1'170'000.-- erzielt. Die Vorinstanz erblickt in diesem Betrag mit Rücksicht auf Art. 211 und 214 Abs. 1 ZGB den Verkehrswert und hat davon den Errungenschaften beider Parteien die Hälfte, nämlich Fr. 585'000.-- zugerechnet.
Von der beanspruchten Hypothek in der Höhe von Fr. 1'580'000.--, für die nur der Kläger persönlich haftete, hat es diesem gegenüber der Beklagten die Hälfte (Fr. 790'000.--) gutgeschrieben und diese Summe um den Betrag von Fr. 135'000.-- vermindert, den die Beklagte aus ihrem Eigengut (Fr. 35'000.--) und mittels Aufnahme eines Darlehens von Fr. 100'000.-- bei ihrer Mutter für die Finanzierung des Wohnhauses in X._ beigesteuert hatte. Von den so errechneten Fr. 655'000.-- hat es die Hälfte des Erlöses aus der Zwangsverwertung, Fr. 585'000.-- ausmachend, abgezogen und dem Kläger die Differenz, nämlich Fr. 70'000.-- als güterrechtlichen Ersatzanspruch gegen die Beklagte zugesprochen.
Die Parteien legen Berechnungen vor, nach denen der güterrechtliche Anspruch des Klägers gegen die Beklagte zwischen Fr. 16'100.-- (Standpunkt der Beklagten) und Fr. 161'838.--, beziehungsweise Fr. 137'500.-- (Forderungen des Klägers) liegt.
Das Bundesgericht wendet das Recht unabhängig von den Begründungen der Parteien im Rahmen des festgestellten Sachverhalts von Amtes wegen an (Art. 63 Abs. 1 Satz 2 und Abs. 2 f. OG). Infolgedessen dürfen alle von den Parteien und dem Obergericht vorgenommenen Qualifikationen und Berechnungen frei überprüft werden, selbst wenn sie nicht mit einschlägigen Gesetzesbestimmungen begründet werden.
3.- Zunächst sind die festgestellten Vermögensgegenstände und Schulden den jeweiligen Gütermassen der Parteien zuzuordnen. Soweit erforderlich, sind sodann die Werte der eingesetzten Positionen festzulegen:
a) Nicht beanstandet wird, dass die Liegenschaft in X._ entsprechend den Miteigentumsquoten hälftig den Errungenschaften der Parteien zuzuordnen ist. Der Zwangsversteigerungserlös tritt an die Stelle der Liegenschaft (lit. b hiernach). Unumstritten ist weiter auch, dass die Hypothekarschuld güterrechtlich mit der Errungenschaft des Klägers verbunden worden ist, weil er das Bankdarlehen allein schuldet und die Zinslast trug; auch ist das aufgenommene Geld für den Erwerb und den Ausbau der Liegenschaft in X._ verwendet worden. Gestützt auf die Vermutung von Art. 209 Abs. 2 ZGB ist schliesslich auch das Darlehen von Fr. 100'000.--, das die Beklagte von ihrer Mutter erhalten und in die Liegenschaft in X._ investiert hat, der Errungenschaft der Beklagten zuzuordnen (zu all dem Hausheer/Reusser/Geiser, N. 27, 29 ff. und 54 f. zu Art. 196 ZGB und N. 20 zu Art. 209 ZGB; nach einem anderen System zuordnend Paul Piotet, Dette hypothécaire et plus-value ou moins-value dans la participation aux acquêts, ZSR 117/1998 I, S. 49 Ziff. 6 und S. 51 f.).
b) Der Kläger vertritt die Ansicht, für die Berechnung der Errungenschaften müsse von über Fr. 1'900'000.-- ausgegangen werden; dieser Betrag sei auch nach den Angaben der Beklagten für den Landkauf und den Bau des Wohnhauses in X._ aufgewendet worden. Auf diese Summe stützt er denn auch seine Berechnung.
Das Scheidungsverfahren ist im Sommer 1996 eingeleitet worden, die Zwangsversteigerung hat am 18. März 1999 stattgefunden und das Obergericht hat die Parteien güterrechtlich mit dem angefochtenen Urteil vom 12. Dezember 2000 auseinandergesetzt.
Wird ein Vermögensgegenstand nach der Einleitung des Scheidungsverfahrens und vor der güterrechtlichen Auseinandersetzung zwangsversteigert, ist in analoger Anwendung von Art. 214 Abs. 2 ZGB in die Berechnung der Errungenschaft der Wert im Zeitpunkt der Zwangsversteigerung einzusetzen.
Wenn kein höherer Wert festgestellt ist, muss auf den Erlös aus der Zwangsversteigerung abgestellt werden (unveröffentlichtes Urteil des Bundesgerichts vom 20. Juli 1995 i.S. B., E. 3; 5C.48/1995). Diese Praxis hat zur Folge, dass der Zwangsversteigerungserlös nicht anders als der Verkaufserlös nach Art. 214 Abs. 2 ZGB in die Errungenschaften einzusetzen ist, obwohl nach Art. 211 und Art. 214 Abs. 1 ZGB der Verkehrswert zum Zeitpunkt der güterrechtlichen Auseinandersetzung, d.h. am Tag der Urteilsfällung massgebend wäre (BGE 121 III 152 E. 3a a.E.).
Nach dem Dargelegten muss der Zwangsversteigerungserlös für die Liegenschaft in X._ den Errungenschaften der Parteien zugeordnet werden, und er gilt zugleich als Verkehrswert.
Die Investitionskosten können aber auch deshalb nicht den Errungenschaften zugerechnet werden, weil sie für deren Ermittlung nicht in Betracht kommen. Denn nach Art. 204 Abs. 2 und Art. 207 Abs. 1 ZGB werden in die güterrechtliche Auseinandersetzung nur im Zeitpunkt der Klageeinleitung vorhandene Werte einbezogen und den jeweiligen Gütermassen zugeordnet (BGE 123 III 289 E. 3a; 121 III 152 E. 3a). Die Investitionen wurden offensichtlich im Zusammenhang mit der Überbauung der Liegenschaft in X._ getätigt und waren im Zeitpunkt der Klageeinleitung nur noch als Wertsubstanz in der Liegenschaft vorhanden, die ja zu den Errungenschaften gehören würde (E. 3a hiervor). Die Investitionskosten spielen nur für die Berechnung der Forderungen unter den Gütermassen eine Rolle (dazu E. 4 und 5b hiernach).
4.- Art. 206 Abs. 1 ZGB gilt auch unter Ehegatten, wenn sie Miteigentümer eines Vermögensgegenstandes sind und wenn der eine dem anderen für dessen Anteil einen unentgeltlichen Beitrag geleistet hat. Gemäss Art. 206 Abs. 1 Halbsatz 1 ZGB wird die Forderung nach dem "Beitrag" errechnet, den "ein Ehegatte zum Erwerb, zur Verbesserung oder zur Erhaltung des Vermögensgegenstandes des anderen ohne entsprechende Gegenleistung beigetragen" hat (zu all dem Hausheer/Reusser/Gei-ser, N. 9 f., 13, 18 und 20 zu Art. 206 ZGB).
Der Anschaffungswert ist für die Beantwortung der Frage entscheidend, ob ein (konjunktureller) Mehrwert im Sinne von Art. 206 Abs. 1 Halbsatz 1 ZGB eingetreten ist.
Dies ist der Fall, wenn der Investitionswert (Anfangswert) unter dem Wert im Zeitpunkt der güterrechtlichen Auseinandersetzung (Endwert) liegt. Der Endwert ist nach der Regel von Art. 214 ZGB zu ermitteln. Somit ist für die Mehrwertberechnung grundsätzlich ebenfalls vom Verkehrswert im Zeitpunkt der güterrechtlichen Auseinandersetzung auszugehen (Tuor/ Schnyder/Schmid, Das Schweizerische Zivilgesetzbuch, 11.
Aufl. 1995, S. 230 f. und 245 unten; Hausheer, in: Basler Kommentar, ZGB Bd. I, N. 17 bis 19 zu Art. 206 ZGB; Haus-heer/Reusser/Geiser, N. 36 f. zu Art. 206 ZGB).
a) Nach dem Dargelegten bildet der Zwangsversteigerungserlös den Endwert (s. auch E. 3b hiervor). Dieser liegt unter den von den Parteien übereinstimmend angegebenen Investitionskosten (dazu E. 5b hiernach), weshalb kein konjunkturell bedingter Mehrwert entstanden sein kann. Diesfalls entspricht die Höhe der Forderung gemäss Art. 206 Abs. 1 Halbsatz 2 ZGB dem "ursprünglichen Beitrag" (dazu Hausheer/Reus-ser/Geiser, N. 9 bis 11, 29 und 41 f. zu Art. 206 ZGB; vgl. BGE 123 III 152 E. 6b S. 160). Mit anderen Worten kann der Kläger von der Beklagten nur denjenigen Betrag fordern, den er in ihren Miteigentumsanteil investiert hat. Die Vorinstanz hat verbindlich festgestellt (Art. 63 Abs. 2 OG), für den Erwerb und die Überbauung der Liegenschaft in X._ seien auch Bankdarlehen in der Höhe von Fr. 1'580'000.-- verwendet worden; der Kläger hat die beim Kauf der Liegenschaft in X._ bestehende Solidarschuld im Interesse beider Parteien erneuert und allein übernommen. Das im Zuge der Überbauung dieses Grundstückes aufgestockte Hypothekardarlehen wurde in beide Miteigentumshälften gleichermassen investiert.
Diese wurden beide grundpfandbelastet. All dies wird von den Parteien nicht in Frage gestellt (Art. 55 Abs. 1 lit. c OG).
Es rechtfertigt sich daher, dem Kläger die Hälfte der eingegangenen Schuld, mithin Fr. 790'000.-- als Forderung gegen die Beklagte anzurechnen. Insoweit hat die Vorinstanz bundesrechtskonform gehandelt.
b) Das Darlehen von Fr. 100'000.--, das die Beklagte von ihrer Mutter erhalten hat, muss ebenso behandelt werden.
Die Hälfte davon hat die Beklagte in den Miteigentumsanteil des Klägers investiert, weshalb ihr eine Forderung von Fr. 50'000.-- gegenüber dem Kläger zusteht. Indem das Obergericht insoweit von den ganzen Fr. 100'000.-- ausgeht und hier (ohne Begründung) keine Halbierung vornimmt, verletzt es Bundesrecht.
5.- Die Vorinstanz hat verbindlich festgestellt, dass die Beklagte für den Kauf des Hauses in Y._ Fr. 35'000.-- aus dem Eigengut geleistet hat. Diese Summe sei in unveränderter Höhe auch in die Liegenschaft in X._ investiert worden. Der (Netto-)Erlös aus dem Verkauf der Liegenschaft in Y._, der nach der Grundstückgewinnsteuererklärung Fr. 5'764.-- betragen habe, sei ebenfalls für den Kauf des Wohnhauses in X._ verwendet worden.
a) Die Beklagte macht ein Versehen (Art. 55 Abs. 1 lit. d und Art. 63 Abs. 2 Satz 2 OG) geltend mit der Begründung, der Betrag von Fr. 5'764.-- entspreche der Grundstückgewinnsteuer.
Sodann sei das Wohnhaus Z._ mit ihren Fr. 35'000.-- und einem Hypothekardarlehen von Fr. 250'000.-- zum Preis von Fr. 285'000.-- gekauft worden. Weil die Liegenschaft am 26. Oktober 1988 für den Betrag von Fr. 725'000.-- verkauft worden sei, müsse von einem Wertsteigerungsfaktor von 2,54 ausgegangen werden mit der Folge, dass der ursprüngliche Betrag von Fr. 35'000.-- um den Gewinn zu erhöhen sei und ihr in diesem Punkt somit Fr. 88'900.-- angerechnet werden müssten.
Darauf ist nicht einzutreten, weil ein allfälliger Mehrwert ohnehin nicht berücksichtigt werden könnte. Das Haus Z._, das ebenfalls in hälftigem Miteigentum stand und zu den Errungenschaften der Parteien gehörte, ist in mehreren Schritten durch das Wohnhaus in X._ ersetzt worden.
Werden die Forderungen der Ehegatten in solchen Fällen bei der Veräusserung des ersetzten Gutes nicht geregelt, so richtet sich die Berechnung der Forderung von Art. 206 ZGB nach dem Wert des zuletzt erworbenen Gegenstandes (Botschaft vom 11. Juli 1979, BBl. 1979 II 1191 ff. Ziff. 222. 522 S. 1315 Abs. 3; Deschenaux/Steinauer/Baddeley, Les effets du mariage, Rz. 1311 S. 531; vgl. unter Verweis auf Art. 197 Abs. 2 Ziff. ZGB Hausheer/Reusser/Geiser, N. 59 zu Art. 206 ZGB). Daher ist die Forderung der Beklagten nach dem Wert des Wohnhauses in X._ zu berechnen.
b) Bundesrechtswidrig geht das Obergericht vor, indem es die Fr. 35'000.--, die die Beklagte aus ihrem Eigengut in die Liegenschaften investiert hat, güterrechtlich gleich wie die darlehensweise erhaltenen Fr. 100'000.-- behandelt.
Denn bezüglich des Betrages von Fr. 35'000.-- hat das Eigengut der Beklagten Ersatzansprüche.
Zunächst ist entsprechend dem bereits Dargelegten davon auszugehen, dass die Fr. 35'000.-- zur Hälfte für den Erwerb und die Überbauung der Miteigentumshälfte des Klägers an der Liegenschaft in X._ verwendet worden sind, hat doch diese Summe Eigenkapital gebildet, ohne das schon die Liegenschaft in Y._ nicht hätte erworben werden können.
Somit steht dem Eigengut der Beklagten zunächst eine Forderung von Fr. 17'500.-- gegenüber der Errungenschaft des Klägers zu, die zum Nennwert einzusetzen ist (E. 4 hiervor).
Die andere Hälfte hat die Beklagte aus ihrem Eigengut in ihre eigene Miteigentumshälfte investiert. Insoweit ist eine Ersatzforderung des Eigenguts der Beklagten gegenüber ihrer eigenen Errungenschaft entstanden. Diese Hälfte der Forderung ist aber nicht im vollen Umfang von Fr. 17'500.-- einzusetzen, weil nach Art. 209 Abs. 3 ZGB ein Minderwertabzug angebracht werden muss. Dieser wird - wie der Mehrwert nach Art. 206 Abs. 1 ZGB - durch Vergleich des Anfangswertes mit dem Endwert errechnet (System der variablen Ersatzforderung; Hausheer/Reusser/Geiser, N. 47 ff. und 51 zu Art. 209 ZGB i.V.m. N. 31 und 33 zu Art. 206 ZGB; H. Hausheer, La participation aux plus-values et aux moins-values selon les articles 206 und 209 CC, in: Le nouveau droit du mariage, CEDIDAC, 2. unveränd. Aufl. 1987, S. 63 f.). Da die Parteien übereinstimmend davon ausgehen, in die Liegenschaft X._ seien gemäss Baukostenabrechnung insgesamt Fr. 1'974'012.-- investiert worden, dürfen sie darauf behaftet werden (z.B. BGE 125 III 193 E. 2b S. 208; 123 III 246 E. 4b a.E. S. 252; 119 II 333 E. 5b S. 336). Infolgedessen ist die Ersatzforderung des Eigenguts der Beklagten gegenüber ihrer Errungenschaft gemäss Art. 209 Abs. 3 ZGB im Verhältnis zwischen dem Zwangsverwertungserlös und dem Investitionswert zu kürzen und wie folgt festzusetzen:
Fr. 1'170'000.--
---------------- x Fr. 17'500.-- = Fr. 10'372. 30
Fr. 1'974'012.--
6.- Das Obergericht hat dem Kläger die Hälfte des aufgenommenen Hypothekardarlehens (Fr. 790'000.--) als Ersatzforderung zugesprochen und davon den halben Zwangsversteigerungserlös (Fr. 585'000.--) abgezogen. Damit verrechnet es einzelne Positionen der klägerischen Errungenschaft und verunmöglicht somit die Berechnung der Vorschläge (Art. 210 ZGB) und deren Liquidation (Art. 215 ZGB), weil es die Passiven ausser Acht lässt. Das gleiche gilt bezüglich des Darlehens, das die Beklagte von ihrer Mutter erhalten hat, weil die Vorinstanz dieses (ohne Vorschlagsermittlung) direkt und erst noch im ganzen Betrag mit der Ersatzforderung des Klägers verrechnet. Schliesslich ist der von der Beklagten aus ihrem Eigengut beigesteuerte Betrag von Fr. 35'000.-- güterrechtlich falsch erfasst und nicht richtig abgerechnet worden. Es empfiehlt sich, zunächst die Errungenschaften und danach die Vor- oder Rückschläge zu ermitteln (lit. a hiernach). Erst am Schluss ist der güterrechtliche Ausgleichsanspruch zu errechnen (lit. b hiernach).
a) Der Wert der Errungenschaft ergibt sich aus der Gegenüberstellung von Aktiven und Passiven (BGE 121 III 152 E. 3b). Zu Letzteren gehören Ersatzschulden gegenüber anderen Gütermassen der Ehegatten und Schulden gegenüber Dritten (Hausheer/Reusser/Geiser, N. 8, 10 und 14 zu Art. 210 ZGB; Tuor/Schnyder/Schmid, a.a.O. S. 233 f.).
aa) Zu den Aktiven der Errungenschaft des Klägers gehört seine Forderung gegenüber der Errungenschaft der Beklagten in der Höhe von Fr. 790'000.-- (E. 4a hiervor). Ebenfalls bei den Aktiven ist der Zwangsversteigerungserlös einzusetzen, wobei angesichts des Umstandes, dass die Liegenschaft in X._ den Ehegatten je hälftig zu Miteigentum gehörte, nur der halbe Erlös, mithin Fr. 585'000.-- in Anschlag gebracht werden kann (E. 3b hiervor). Infolgedessen sind Aktiven im Gesamtbetrag von Fr. 1'375'000.-- vorhanden.
Den Passiven der Errungenschaft des Klägers muss als Schuld zunächst der Pfandausfall von Fr. 593'676.-- zugerechnet werden, der ihm zufolge der Betreibung durch die Bank im Rahmen der Zwangsversteigerung entstanden war. Denn diese Summe schuldete der Kläger in diesem Zeitpunkt der Bank. Nach der Zwangsversteigerung ist der Erlös an die hypothezierende Bank geflossen und hat insoweit den Hypothekarkredit reduziert.
Weil sich der Zwangsversteigerungserlös im massgeblichen Zeitpunkt nicht mehr in den Errungenschaften befindet und trotzdem zu ihnen gehört (E. 3b hiervor), muss auch der entsprechende und abgetragene Teil der Bankschuld zur Errungenschaft des Klägers geschlagen werden. Andernfalls stünde dem real ebenfalls nicht mehr vorhandenen Zwangsversteigerungserlös kein entsprechendes Passivum gegenüber. Da von den Parteien nicht in Frage gestellt wird (Art. 55 Abs. 1 lit. c OG), dass das ursprünglich aufgenommene Darlehen nur zwecks Erhaltung der Liegenschaft aufgestockt worden ist, muss der gesamte der Bank geschuldete Betrag, der sich vor der Zwangsverwertung auf Fr. 1'763'676.-- belief (= Fr. 593'676.-- Pfandausfall plus Fr. 1'170'000.-- Zwangsverwertungserlös), den Passiven der klägerischen Errungenschaft zugerechnet werden.
Zu dieser Position von Fr. 1'763'676.-- sind die Ersatzschulden von Fr. 50'000.-- an die Errungenschaft (E. 4b hiervor) und von Fr. 17'500.-- an das Eigengut der Beklagten (E. 5b hiervor) hinzuzurechnen. Die Passiven betragen demnach insgesamt Fr. 1'831'176.--.
Aus der Subtraktion der Passiven von den Aktiven resultiert für die Errungenschaft des Klägers ein Rückschlag, der nicht berechnet werden muss, weil er ohnehin nicht berücksichtigt werden kann (Art. 210 Abs. 2 ZGB).
bb) Die Aktiven der Errungenschaft der Beklagten setzen sich aus dem halben Zwangsversteigerungserlös (Fr. 585'000.--) und der Forderung von Fr. 50'000.-- gegenüber der klägerischen Errungenschaft (dazu E. 3b und 4b hiervor) zusammen. Zur Ersatzschuld von Fr. 790'000.-- gegenüber der Errungenschaft des Klägers, der mit dem halben Bankdarlehen den Erwerb des Miteigentums der Beklagten finanziert hat (E. 4a hiervor), sind als weitere Passiven die nicht grundpfandlich gesicherte Schuld gegenüber der Mutter von Fr. 100'000.-- (E. 4b hiervor) und schliesslich die Ersatzschuld an ihr Eigengut von Fr. 10'372. 30 (E. 5b hiervor) hinzuzurechnen (Hausheer/Reusser/Geiser, N. 8 zu Art. 210 ZGB). Aus dem Vergleich beider Summen (Aktiven:
Fr. 635'000.--; Passiven: Fr. 900'372. 30) resultiert ein Rückschlag.
b) Da die Parteien ihre Rückschläge selber zu tra-gen haben, bleibt im noch umstrittenen Bereich der güterrechtlichen Auseinandersetzung bloss noch die Ersatzforderung zu liquidieren, die dem Eigengut der Beklagten gegen die Errungenschaft des Klägers zusteht. Der entsprechende Betrag von Fr. 17'500.-- (dazu E. 5b hiervor) steht der Beklagten als güterrechtliche Ausgleichszahlung gegenüber dem Kläger zu, sofern dieser Anspruch nicht an einer prozessrechtlichen Schranke scheitert.
c) Weil kantonal letztinstanzliche Urteile insoweit rechtskräftig werden, als sie vor Bundesgericht nicht angefochten werden (Art. 54 Abs. 2 Satz 2 OG), durften die vom Obergericht als rechtskräftig erklärten güterrechtlichen Anordnungen im erstinstanzlichen Urteil (Dispositivziffer 7b bis e) nicht mehr überprüft werden (Art. 148 Abs. 1 ZGB; BGE 126 III 261 E. 3b S. 264 ab Mitte). Da alle Aktiven und Passiven, soweit sie die Berechnung des Vor- oder Rückschlages beeinflussen, einbezogen werden müssen (Hausheer/Reus-ser/Geiser, N. 13 zu Art. 210 ZGB und N. 5 ff. und 8 ff. zu Art. 215 ZGB), stellt sich die Frage, ob die rechtskräftig entschiedenen Werte für die Vorschlagsberechnung berücksichtigt werden müssen. Im vorliegenden Fall braucht dieser Frage nicht nachgegangen zu werden. Denn die entschiedenen Positionen sind betragsmässig so klein, dass sie an beiden Rückschlägen nichts zu ändern vermöchten.
d) Bundesrecht schränkt die Dispositionsmaxime im Bereich des Ehegüterrechts nicht ein (Leuenberger, in: Praxiskommentar Scheidungsrecht [Herausg. I. Schwenzer], N. 13 zu Art. 139 ZGB und ebenda Liatowitsch, N. 7 f. zu Anhang K); auch kann im Berufungsverfahren kantonales Prozessrecht nicht erörtert werden (Art. 43 und 55 Abs. 1 lit. c a.E. OG). Aus diesen Gründen darf das obergerichtliche Urteil nur insoweit korrigiert werden, als dies die Beklagte mit Anschlussberufung verlangt. Sie hat beantragt, die ihr auferlegte Ausgleichszahlung auf Fr. 16'100.-- zu reduzieren. Infolgedessen ist dem Kläger bloss diese Summe zuzusprechen.
7.- Beide Parteien haben für das vorliegende Verfahren um Gewährung der unentgeltlichen Rechtspflege ersucht. Der Kläger macht seine Bedürftigkeit glaubhaft; seine Anträge erscheinen angesichts der Begründung des angefochtenen Urteils nicht als aussichtslos. Daher ist seinem Gesuch stattzugeben (Art. 152 OG). Dies gilt ebenfalls für die Beklagte, soweit ihr Gesuch nicht gegenstandslos geworden ist. Die Gerichtsgebühr ist dem unterliegenden Kläger (Art. 156 Abs. 1 OG) aufzuerlegen, aber einstweilen auf die Gerichtskasse zu nehmen.
Die den amtlichen Rechtsvertretern der Parteien zu entrichtenden Honorare werden entsprechend Art. 9 des Tarifs für die Entschädigung an die Gegenpartei für das Verfahren vor dem Bundesgericht vom 9. November 1978 (SR 173. 119.1) gekürzt.
Bezüglich des Rechtsvertreters der obsiegenden Beklagten gilt dies nur für den Fall der Uneinbringlichkeit der Parteientschädigung.
Denn die gewährte Verfahrenshilfe entbindet den Kläger nicht von der Parteientschädigungspflicht (Poudret, Commentaire de la loi fédérale d'organisation judiciaire, Bd. V, Bern 1992, N. 6 zu Art. 152 OG, S. 124 Mitte). Für die Kostenfolgen des kantonalen Verfahrens gilt Art. 157 OG ungeachtet der gewährten unentgeltlichen Rechtspflege. Denn es ist nicht auszuschliessen, dass die Parteien dereinst in der Lage sein werden, dem Staat die Verfahrenskosten zurückzuerstatten.
Demnach erkennt das Bundesgericht:
1.- a) Die Anschlussberufung wird gutgeheissen und die Berufung abgewiesen. Dispositivziff. 4 des Urteils des Obergerichts (1. Abteilung) des Kantons Appenzell Ausserrhoden wird aufgehoben und wie folgt neu gefasst:
B.K._ hat A.K._ den Betrag von Fr. 16'100.-- zu bezahlen.
b) Im Übrigen wird das angefochtene Urteil bestätigt.
2.- a) Das Gesuch des Klägers um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihm Rechtsanwalt Daniel Speck, St. Gallen, als amtlicher Rechtsbeistand bestellt.
b) Das Gesuch der Beklagten um Gewährung der unentgeltlichen Rechtspflege wird gutgeheissen, und es wird ihr Fürsprecher Luigi R. Rossi, St. Gallen, als amtlicher Rechtsbeistand bestellt.
3.- Die Gerichtsgebühr von Fr. 3'000.-- wird dem Kläger auferlegt, einstweilen aber auf die Bundesgerichtskasse genommen.
4.- Der Kläger hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 4'500.-- zu entschädigen
5.- Fürsprecher Luigi R. Rossi, St. Gallen, wird aus der Bundesgerichtskasse ein Honorar von Fr. 3'000.-- ausgerichtet.
Für den Fall der Uneinbringlichkeit der Parteientschädigung wird Rechtsanwalt Daniel Speck, St. Gallen, aus der Bundesgerichtskasse ein Honorar von Fr. 3'000.-- ausgerichtet.
6.- Die Akten werden zur Neuverlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
7.- Dieses Urteil wird den Parteien und dem Obergericht (1. Abteilung) des Kantons Appenzell Ausserrhoden schriftlich mitgeteilt.
_
Lausanne, 14. Januar 2002
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: