hat sich ergeben:
A.- Heinrich Heller sen. bewohnte bis zu seinem Tod am 8. Juli 1995 eine Zweizimmerwohnung in der Liegenschaft Fuchsloch 400 in Heiden und führte den angegliederten Landwirtschaftsbetrieb. Hans-Konrad Eisenhut (Kläger) wohnt mit seiner Familie seit über 20 Jahren im gleichen Haus in einer Fünfzimmerwohnung. Seit einer Krankheit im Jahre 1990 war Heinrich Heller sen. vermehrt auf die Hilfe der Mitbewohner angewiesen. Der Kläger und seine Mutter halfen bei der Besorgung der Feld- und Stallarbeiten. Die geschäftlichen Angelegenheiten und die anfallenden Schreibarbeiten erledigte die Mutter des Klägers. Heinrich Heller sen. half dafür beim Kinderhüten und stellte für die Tiere der Familie Eisenhut Futter und den Stall zur Verfügung. Während Heinrich Heller sen. für gewisse Dienstleistungen wie Flickarbeiten und das Mittagessen ein spezielles Entgelt entrichtete, leistete er für die Hilfe bei der Stallarbeit keine Zahlungen. Der Kläger und seine Mutter bezogen jedoch unentgeltlich Milch beim Verstorbenen.
B.- Nach dem Tod von Heinrich Heller sen. kam es zwischen dem Sohn des Verstorbenen, Heinrich Heller-Kesselhut (Beklagter 1), einerseits und dem Kläger und dessen Mutter andererseits zum Streit über die für den Verstorbenen getätigten Geschäfte. Daraufhin verlangte der Kläger vom Beklagten 1 Lohn für die von ihm und seiner Mutter für den Verstorbenen geleisteten Arbeiten. Er liess sich die Ansprüche seiner Mutter abtreten und klagte am 13. Mai 1996 beim Kantonsgericht Appenzell A.Rh. gegen den Beklagten 1. Er verlangte Fr. 128'835.-- nebst Zins und Betreibungskosten. Der Beklagte 1 verkündete den Miterben des Verstorbenen, Monika Haller-Manser (Beklagte 2) und Fredy Manser (Beklagter 3) den Streit. Daraufhin traten diese in den Prozess ein.
C.- Am 23. März 1998 wies das Kantonsgericht die Klage ab. Dieses Urteil bestätigte das Obergericht von Appenzell A.Rh. am 25. Mai 1999. Der Kläger hat gegen diesen Entscheid staatsrechtliche Beschwerde und Berufung eingelegt. Die staatsrechtliche Beschwerde wies das Bundesgericht heute ab, soweit es darauf eintrat. In der Berufung verlangt der Kläger Fr. 128'835.-- nebst Zins und Betreibungskosten. Eventuell sei die Streitsache zur Beweisabnahme an die Vorinstanz zurückzuweisen. Die Beklagten schliessen auf Abweisung der Berufung.

Das Bundesgericht zieht in Erwägung:
1.- a) Das Obergericht hat die Hilfeleistungen des Klägers und seiner Mutter als unentgeltlichen Auftrag qualifiziert und die Lohnforderung abgewiesen. Der Kläger und seine Mutter hätten nur aus Liebhaberei im Bauernbetrieb mitgearbeitet. Auch der Betrieb selbst sei vom Verstorbenen nur aus Liebhaberei geführt worden. Damit fehle das für den Arbeitsvertrag charakteristische Element der Unterordnung unter eine fremde Betriebsorganisation.
b) Der Kläger führt aus, seine Mutter und er hätten mit dem Verstorbenen seit dessen krankheitsbedingter Schwächung im Jahre 1990 konkludent einen Arbeitsvertrag abgeschlossen. Die Arbeit auf einem Bauernhof erfolge immer gegen Entgelt. Wenngleich der Kläger gewisse Arbeiten weitgehend selbständig verrichten konnte, habe ihm der Verstorbene doch immer wieder genaue Anweisungen gegeben. Der Verstorbene habe bestimmt, wann an Feiertagen die Arbeit zu beginnen habe und wann mit der Ernte begonnen oder das Vieh verkauft werden solle. Dieses Weisungsrecht belege, dass sich der Kläger der Organisation des Verstorbenen habe unterordnen müssen. Nach Ansicht des Klägers hat das Obergericht zu Unrecht auf die Abnahme der von ihm diesbezüglich gestellten Beweisanträge verzichtet.
2.- Nach Art 320 Abs. 2 OR gilt ein Arbeitsvertrag auch dann als abgeschlossen, wenn der Arbeitgeber Arbeit in seinem Dienst auf Zeit entgegennimmt, deren Leistung nach den Umständen nur gegen Lohn zu erwarten ist. Nach dieser Bestimmung kann ein Arbeitsvertrag entstehen, selbst wenn die Parteien dies eigentlich gar nicht gewollt haben. Nach Ansicht des Obergerichts liegt indes kein Arbeitsvertrag, sondern ein Auftrag vor, der im Gegensatz zum Arbeitsvertrag nicht zwingend entgeltlich ist.
a) Arbeitsvertrag und Auftrag lassen sich nicht vom Inhalt ihrer Tätigkeit abgrenzen (Vischer, Der Arbeitsvertrag, Schweizerisches Privatrecht Bd. VII/1, III, Basel 1994, S. 32 ff.). Auf die Entgeltlichkeit kann nicht abgestellt werden, da sie einerseits streitig und andererseits in Bezug auf den Auftrag wenig aussagekräftig ist, da der Auftrag sowohl entgeltlich als auch unentgeltlich erfolgen kann. Auch das zeitliche Element eignet sich nicht in jedem Fall zur Abgrenzung, da auch beim Arbeitsvertrag der zeitliche Umfang ausnahmsweise vom Zweck her umschrieben werden kann (<ref-ruling> E. 1 S. 432 f.; Geiser, Neue Arbeitsvertragsformen zwischen Legalität und Illegalität Rz. 3.3 S. 78 f., in Murer: (Hrsg.) Neue Erwerbsformen - veraltetes Arbeits- und Sozialversicherungsrecht?, Bern 1996). Für die Abgrenzung ist grundsätzlich die unterschiedliche rechtliche Subordination massgebend (<ref-ruling> a.a.O., 112 II 41 E. 1a/aa S. 46; Vischer, a.a.O., Staehelin, Zürcher Kommentar N 38 zu Art. 319 OR, Hofstetter, Le mandat et la gestion d'affaires, Traité de droit privé suisse Bd. VII/II,1 Fribourg 1994, S. 19). Nur aufgrund aller Umstände des Einzelfalles lässt sich entscheiden, ob abhängige oder unabhängige Arbeit vorliegt (zu den einzelnen Kriterien vgl. Rehbinder, Berner Kommentar, N. 44 f. zu Art. 319 OR und die Kasuistik bei Staehelin a.a.O. N. 47 zu Art. 319 OR).
b) Dabei kann nicht in erster Linie auf das Weisungsrecht des Arbeitsempfängers abgestellt werden, denn
dieses steht grundsätzlich sowohl dem Arbeitgeber (Art. 321d OR) als auch dem Auftraggeber (Art. 397 OR) zu. Daher ist unerheblich, ob der Verstorbene bestimmte, wann die Arbeit an Feiertagen zu beginnen habe, und ob er sich grössere Entscheidungen selbst vorbehielt. Dies steht der Annahme eines Auftragsverhältnisses nicht entgegen.
c) Nicht aussagekräftig ist auch das Mass der Selbständigkeit des Klägers. Der Arbeitgeber kann dem Arbeitnehmer bei der Verrichtung der Arbeiten nach Belieben mehr oder weniger Freiraum gewähren. Entscheidend ist vielmehr, ob der Kläger seine weitgehend selbständige Tätigkeit innerhalb der Betriebsorganisation unter der Kontrolle des Verstorbenen entfaltete, oder die Arbeitsleistung ausserhalb dieser Organisation gemäss den Weisungen des Verstorbenen erbrachte. Für die Frage der Einordnung in die fremde Betriebsorganisation ist entgegen der Auffassung des Obergerichts unerheblich, ob die Tätigkeit zu Erwerbszwecken oder als Hobby erfolgte. Dieser Punkt ist erst bei der Frage nach der Entgeltlichkeit der geleisteten Arbeit zu berücksichtigen.
d) Nach den Feststellungen des Obergerichts verrichteten der Kläger und seine Mutter seit November 1990 rund 75% der im landwirtschaftlichen Betrieb des Verstorbenen anfallenden Arbeiten. Diese Arbeiten stehen in einem engen Zusammenhang mit dem Betrieb des Verstorbenen. Das Verhältnis der Parteien und auch die erbrachten Arbeitsleistungen lassen sich nur aus dem Zusammenleben mit dem Verstorbenen erklären. Selbst wenn der Kläger die Arbeiten weitgehend selbständig durchführte, fehlt es an der notwendigen Eigenständigkeit der entfalteten Tätigkeit. Auch angesichts der Dauer und Beständigkeit der Beziehungen zwischen den Parteien ist eine Einordnung in den Betrieb des Verstorbenen zu bejahen.
3.- Angesichts der vom Kläger und seiner Mutter erbrachten Leistungen von täglich über 2 Stunden an 7 Wochentagen konnte der Verstorbene nicht davon ausgehen, dass es sich um blosse Gefälligkeiten handle. Zwischen den Beteiligten bestand ein Arbeitsverhältnis, und dem Kläger und seiner Mutter steht grundsätzlich Lohn für die geleistete Arbeit zu. Der angefochtene Entscheid ist daher aufzuheben, und die Sache ist zur neuen Beurteilung an das Obergericht zurückzuweisen, damit es unter Berücksichtigung der gesamten Umstände die Höhe des den Verhältnissen angemessenen Lohnes festsetzt (Art. 322 OR).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird teilweise gutgeheissen, das Urteil des Obergerichts von Appenzell Ausserrhoden vom 25. Mai 1999 wird aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.- Die Gerichtsgebühr von Fr. 5'000.-- wird den Beklagten unter solidarischer Haftbarkeit auferlegt.
3.- Die Beklagten haben den Kläger für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 6'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Obergericht von Appenzell A.Rh., 2. Abteilung, schriftlich mitgeteilt.
_
Lausanne, 4. Februar 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: