Sachverhalt:
A.
Im Jahr 2014 schlossen A._ (Beklagter, Beschwerdeführer) als Arbeitgeber und B._ (Kläger, Beschwerdegegner) als Arbeitnehmer einen schriftlichen Arbeitsvertrag ab. Mit Schreiben vom 23. Juli 2018 kündigte der Beklagte das Arbeitsverhältnis per 31. Oktober 2018. Vom 15. November 2018 bis zum 17. Februar 2019 bezog der Kläger bei der kantonalen Arbeitslosenkasse Appenzell Ausserrhoden Taggelder in der Höhe von brutto Fr. 5'198.60 bzw. netto Fr. 4'799.05.
B.
Am 27. August 2019 erhob der Kläger Klage beim Kantonsgericht Appenzell Ausserrhoden gegen den Beklagten. Er beantragte in der Hauptsache, der Beklagte sei zu verpflichten, ihm Fr. 19'030.60 netto zuzüglich Zins zu bezahlen, unter ausdrücklichem Vorbehalt der Nachklage. Gleichentags beantragte die kantonale Arbeitslosenkasse mit separater Klage, der Beklagte sei zu verpflichten, ihr Fr. 4'799.05 netto zu bezahlen, ebenfalls unter ausdrücklichem Nachklagevorbehalt. Mit Verfügung vom 4. September 2019 wurden die beiden Verfahren vereinigt.
Mit Urteil vom 30. Juni 2020 hiess der Einzelrichter des Kantonsgerichts die Klagen gut. Er verpflichtete den Beklagten, dem Kläger netto Fr. 19'030.60 zuzüglich Zins, und der kantonalen Arbeitslosenkasse Appenzell Ausserrhoden netto Fr. 4'799.05 zu bezahlen. Der Einzelrichter nahm davon Vormerk, dass der Kläger und die Arbeitslosenkasse sich das Nachklagerecht vorbehalten haben.
Die dagegen vom Beklagten erhobene Berufung wies das Obergericht Appenzell Ausserrhoden mit Urteil vom 1. Februar 2021 ab.
C.
Gegen das Urteil des Obergerichts erhob der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte, es sei das Urteil des Obergerichts aufzuheben und seien die Klagen des Beschwerdegegners und der kantonalen Arbeitslosenkasse vollumfänglich abzuweisen. Eventualiter sei das Urteil des Obergerichts aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Der Beschwerdegegner und die kantonale Arbeitslosenkasse beantragten, die Beschwerde sei abzuweisen, soweit auf sie einzutreten sei. Die Vorinstanz hat sich nicht vernehmen lassen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, insbesondere ist auch die Streitwertgrenze von <ref-law> unbestrittenermassen überschritten, und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Die Begründung hat ferner in der Beschwerdeschrift selbst zu erfolgen und der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.2.2; <ref-ruling> E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE <ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.3. Diesen Anforderungen genügt der Beschwerdeführer nicht, wenn er in seiner Beschwerdeschrift auf (weitergehende) Ausführungen in seinen vorinstanzlichen Rechtsschriften verweist. Ein solcher Verweis ist unbeachtlich, denn vor Bundesgericht hat die Begründung in der Beschwerdeschrift selbst zu erfolgen (Erwägung 2.1).
Ebenso kann der Beschwerdeführer nicht gehört werden, wenn er bezüglich der Vertragsverhandlungen und des Ablaufs des Arbeitsverhältnisses seine Sicht der Dinge schildert, und damit über die Feststellungen der Vorinstanz hinausgeht. Er verkennt dabei, dass das Bundesgericht an den von der Vorinstanz festgestellten Sachverhalt grundsätzlich gebunden ist (Erwägung 2.2).
Gleiches gilt, wenn er ausführt, dass "nochmals darauf hinzuweisen" sei, dass der Beschwerdegegner zu keinem Zeitpunkt seine Arbeit angeboten habe. Damit zeigt er offensichtlich nicht rechtsgenüglich auf (Erwägung 2.2), inwiefern der gegenteilige Standpunkt der Vorinstanz, die feststellte, es sei aktenkundig, dass die Rechtsvertreterin des Beschwerdegegners dem Beschwerdeführer mit Schreiben vom 28. November 2018 mitteilte, dass sie im Namen des Beschwerdegegners "unmissverständlich die Arbeit ein weiteres Mal" anbiete, offensichtlich unrichtig wäre. Ebensowenig zeigt der Beschwerdeführer diesbezüglich hinreichend auf, inwiefern die verlangte Sachverhaltskorrektur für den Ausgang des Verfahrens entscheidend wäre (Erwägung 2.2).
3.
Es ist umstritten, ob der Beschwerdeführer und der Beschwerdegegner einen befristeten Arbeitsvertrag mit Maximaldauer (Ansicht des Beschwerdeführers) oder einen befristeten Arbeitsvertrag ohne ordentliche Kündigungsmöglichkeit (Ansicht des Beschwerdegegners) abgeschlossen haben.
3.1. Bereits die Erstinstanz ging im Einzelnen auf diese Frage ein und kam zum Schluss, dass die Parteien einen befristeten Arbeitsvertrag ohne ordentliche Kündigungsmöglichkeit abgeschlossen haben. Die Vorinstanz verwies auf diese Ausführungen und erwog zusammengefasst, dass die Erstinstanz die gestellte Frage in allen Details und unter Berücksichtigung aller Umstände sehr sorgfältig und richtig abgehandelt habe. Die Erstinstanz sei dabei zur richtigen Schlussfolgerung gelangt, dass hier ein befristeter Arbeitsvertrag ohne ordentliche Kündigung vorliege. Selbst wenn die Parteien vereinbart hätten, das Arbeitsverhältnis hätte bei mangelnder Leistungsfähigkeit und Leistungsbereitschaft des Arbeitnehmers ordentlich gekündigt werden können, so wäre diese Vereinbarung nichtig, da sie gegen den Grundsatz der Kündigungsparität verstiesse.
3.2. Dagegen bringt der Beschwerdeführer vor, dass aufgrund der vorliegenden Umstände (fortgeschrittenes Alter des Beschwerdegegners, körperlich anstrengende Tätigkeit, psychische Verfassung, 10-jährige Vertragsdauer) es "schlicht nicht einleuchtend" sei, wenn die Parteien keine ordentliche Kündigungsmöglichkeit vereinbart hätten. Ebenso könne der Umstand, dass die Parteien im Arbeitsvertrag betreffend die Auflösung des Arbeitsvertrages auf das "Arbeitsrecht" verwiesen hätten, nur so verstanden werden, als dass sie auf die ordentliche und fristlose Kündigung im Obligationenrecht hinweisen wollten.
Der Beschwerdeführer wiederholt damit im Wesentlichen seine bereits vorinstanzlich vorgetragenen Argumente, ohne sich aber hinreichend mit den vorinstanzlichen Erwägungen auseinanderzusetzen und ohne rechtsgenüglich aufzuzeigen (Erwägung 2.1), inwiefern die Vorinstanz Bundesrecht verletzt hätte, als sie unter den vorliegenden Umständen des konkreten Einzelfalls zum Schluss kam, dass ein befristeter Arbeitsvertrag ohne ordentliche Kündigungsmöglichkeit vorliegt.
3.3. Der Beschwerdeführer weist darauf hin, dass sich beim vorliegenden Arbeitsvertrag zwei in arbeitsrechtlichen Dingen völlig unerfahrene Personen gegenübergestanden seien. Deshalb dürfe nicht "schematisch und starr" anhand der in Rechtsprechung und Lehre entwickelten Elemente zur Qualifikation eines Arbeitsvertrags beurteilt werden, ob ein befristetes (mit oder ohne Möglichkeit der ordentlichen Kündigung) oder ein unbefristetes Arbeitsverhältnis abgeschlossen worden sei. Vielmehr sei stets vor Augen zu halten, welche Arbeitsverhältnisse in der Praxis tatsächlich gelebt würden. Es sei mithin das "moderne Arbeitsrecht" anzuwenden.
Die Vorinstanz stellte unbestrittenermassen fest, dass sich als Arbeitgeber ein Landwirt und Liegenschaftsbesitzer und als Arbeitnehmer ein Mitarbeiter der Post gegenüberstanden. Sie berücksichtige damit die berufliche Erfahrung der Vertragsparteien in ihrem Entscheid. Weitergehende Informationen zu den arbeitsrechtlichen Kenntnissen der Parteien sind im vorinstanzlichen Entscheid nicht festgestellt, und der Beschwerdeführer verlangt diesbezüglich keine rechtsgenügliche Sachverhaltsergänzung (Erwägung 2.2). Es fehlt damit an einer Sachverhaltsbasis für die vom Beschwerdeführer erhobene Rechtsrüge.
Im Übrigen legt der Beschwerdeführer mit diesen allgemeinen Ausführungen nicht hinreichend dar (Erwägung 2.1), was unter einem "modernen Arbeitsrecht" verstanden werden soll, geschweige denn zeigt er mit diesen Vorbringen rechtsgenüglich auf, inwiefern die Vorinstanz bezüglich der Vertragsqualifikation Bundesrecht verletzt hätte. Auch darauf ist nicht einzutreten.
3.4. Der Beschwerdeführer verweist auf einen "ähnlichen Fall", der vor dem Obergericht des Kantons Zürich entschieden worden sei. Das Obergericht habe dort erwogen, die Parteien hätten in jenem Fall ohne Weiteres voraussehen können, dass der bei Vertragsschluss 72-jährige Arbeitnehmer nicht in der Lage sein werde, den auf acht Jahre befristeten Vertrag während der vollen Dauer gemäss den vereinbarten Vorgaben zu erfüllen. Sie hätten daher bei wesentlicher Störung der gegenseitigen Verpflichtungen eine ordentliche Kündigungsmöglichkeit vorgesehen.
Der vom Beschwerdeführer gezogene Vergleich hinkt: Es geht im vorliegenden Fall nicht um einen 72-jährigen Arbeitnehmer, der einen befristeten Arbeitsvertrag bis zu seinem 80. Lebensjahr vereinbarte, sondern der Beschwerdegegner schloss mit 55 Jahren einen Arbeitsvertrag bis zu seinem ordentlichen Pensionsalter ab. Inwiefern jener Sachverhalt mit den vorliegenden konkreten Umständen des Einzelfalls vergleichbar wäre und inwiefern der Beschwerdeführer aus dem Zürcher Fall etwas zu seinen Gunsten ableiten könnte, ist weder hinreichend dargetan (Erwägung 2.1) noch ersichtlich.
3.5. Damit trägt bereits die Haupterwägung der Vorinstanz, wonach ein befristeter Arbeitsvertrag ohne Kündigungsmöglichkeit vorliegt.
Auf die Eventualerwägung der Vorinstanz, dass ein einseitiges Kündigungsrecht des Beschwerdeführers mangels Kündigungsparität sowieso nichtig wäre, und die dagegen vom Beschwerdeführer erhobenen Vorbringen, braucht daher nicht eingegangen zu werden.
4.
4.1. Die Erstinstanz nahm eine umfassende Beweiswürdigung zur Leistungsfähigkeit und -bereitschaft des Beschwerdegegners vor. Sie verzichtete aber auf die Einholung eines Gutachtens zur weiteren Abklärung der vom Beschwerdeführer geltend gemachten Drogen- und Alkoholabhängigkeit des Beschwerdegegners sowie auf eine Befragung des Zeugen C._ in diesem Zusammenhang.
Dagegen machte der Beschwerdeführer vor der Vorinstanz geltend, der erstinstanzliche Richter hätte den Zeugen anhören und ein Gutachten anfordern müssen. Auch in diesem Zusammenhang verwies die Vorinstanz vorab auf die Ausführungen der Erstinstanz und erwog, dass insbesondere nicht ersichtlich sei, wie ein Gutachter im heutigen Zeitpunkt für die Jahre 2017 und 2018 feststellen sollte, ob der Beschwerdegegner zu jenem Zeitpunkt alkohol- und/oder drogensüchtig gewesen sei, nachdem selbst der Hausarzt des Beschwerdegegners eine derartige Behandlung verneint habe und andere ärztliche Berichte weder dem Hausarzt des Beschwerdegegners noch dem Gericht vorlägen. Selbst wenn der Beschwerdegegner Alkohol und/oder Drogen konsumiert hätte, wäre nicht ersichtlich, dass er nicht doch die vereinbarte Arbeitsleistung hätte erbringen können. Es wäre beispielsweise möglich gewesen, dass er Antabus oder Methadon eingenommen hätte oder ein allfälliger Missbrauch von Alkohol oder Drogen sich nur geringfügig auf die Arbeitsleistung ausgewirkt hätte oder der Beschwerdegegner diese Substanzen nur in einem Ausmass eingenommen hätte, dass keine relevanten Auswirkungen auf die Arbeitsfähigkeit zu verzeichnen gewesen wären.
Auch der Verzicht auf die Zeugeneinvernahme von C._ durch die Erstinstanz sei nicht zu beanstanden. Selbst wenn der Zeuge bestätigen würde, dass der Beschwerdegegner ein Drogenproblem gehabt habe, wie dies der Beschwerdeführer behaupte, wäre damit nicht erwiesen, dass der Beschwerdegegner nicht trotzdem seine Arbeit richtig hätte ausführen können. Der Zeugenantrag des Beschwerdeführers hätte diesbezüglich viel detaillierter gefasst werden müssen und der Zeuge C._ hätte insbesondere auch zum Beweis aufgeführt werden müssen, dass er Aussagen zur Arbeitsqualität und -quantität des Beschwerdegegners hätte machen können. Dies sei nicht geschehen. Auf die Zeugeneinvernahme von C._ sei daher zu verzichten. Selbst wenn aber C._ noch im Sinne des Beschwerdeführers ausgesagt hätte, hätte dies am klaren Beweisergebnis, dass die mangelnde Leistungsfähigkeit und -bereitschaft des Beschwerdegegners gesamthaft nicht nachgewiesen sei, nichts geändert. Ins Gewicht wäre dann nämlich gefallen, dass es sich bei C._ um einen Kollegen des Beschwerdeführers handle. Im Vergleich zu dessen Aussage habe die Bestätigung des Hausarztes des Beschwerdegegners, wonach keine Hinweise auf Konsum harter Drogen vorlägen und der Beschwerdegegner nie wegen Konsum von Suchtmitteln behandelt worden sei, ein viel höheres Gewicht.
4.2. Dagegen behauptet der Beschwerdeführer, dass es zur Feststellung einer Alkohol- und Drogenabhängigkeit sogenannte Langzeitparameter gebe, welche es dem Gutachter ermöglicht hätten, festzustellen, ob der Beschwerdegegner in den Jahren 2017 und 2018 tatsächlich alkohol- und drogensüchtig gewesen sei. In Kombination mit den offerierten Zeugenbefragungen hätte daher festgestellt werden können, dass die Arbeitsleistung und -fähigkeit des Beschwerdegegners beeinträchtigt gewesen sei. "Nicht gefolgt" werden könne der Auffassung der Vorinstanz, wonach selbst für den Fall, dass der Beschwerdegegner Alkohol und Drogen konsumiert hätte, nicht erwiesen wäre, dass er die vereinbarte Arbeitsleistung nicht hätte erbringen können. Das Gutachten in Verbindung mit der Aussage des Zeugen "hätten hierüber sicherlich" Aufschluss geben können. Im Übrigen könne davon ausgegangen werden, dass der Beschwerdegegner, der täglich Alkohol und Drogen konsumiere, seine Arbeitsleistungen nicht ordnungsgemäss habe erbringen können. Es müsse auch nichts heissen, wenn der Hausarzt des Beschwerdegegners bei diesem angeblich keinen Alkohol- und Drogenmissbrauch festgestellt habe. Es dürfte allgemein bekannt sein, dass es schon Fälle gegeben habe, dass z.B. ein Banker jahrelange harte Drogen konsumiert habe und dies weder am Arbeitsplatz noch bei einem Hausarzt aufgefallen sei. Ebenso müsse es nichts heissen, wenn sein früherer Arbeitgeber nichts mitbekommen haben soll. Die Arbeiten beim Beschwerdeführer seien sowohl körperlich wie auch geistig viel anstrengender und anspruchsvoller gewesen, sodass sich ein chronischer Alkohol- und Drogenmissbrauch "deutlich in seiner Arbeitsleistung bemerkbar machen musste bzw. tatsächlich bemerkbar gemacht hat". Schliesslich müsse es auch nichts heissen, dass der Beschwerdegegner bei der erstinstanzlichen Parteibefragung einen positiven Eindruck hinterlassen habe. Es sei wohl ohne Weiteres anzunehmen, dass sich der Beschwerdegegner "ausnahmsweise an diesem Tag" zusammengenommen habe und daher "weder bekifft noch betrunken" beim Gericht erschienen sei. Zu beachten sei, dass der Beschwerdegegner seinen Alkohol- und Drogenkonsum nicht in Abrede gestellt habe. Unter diesen Umständen hätten die kantonalen Instanzen nicht im Sinne einer antizipierten Beweiswürdigung auf die Abnahme des Gutachtens und der Zeugenbefragungen verzichten dürfen. Art. 9 und 29 Abs. 2 BV, <ref-law>, Art. 152 f. ZPO sei verletzt worden.
4.3. Kommt das Gericht aufgrund der bereits abgenommenen Beweise ohne Willkür zum Schluss, seine dadurch gewonnene Überzeugung von der Wahrheit oder Unwahrheit einer Tatsache könne durch die Abnahme weiterer Beweise nicht erschüttert werden, kann es von weiteren Beweiserhebungen absehen (sog. antizipierte Beweiswürdigung; <ref-ruling> E. 5.2.2 S. 80; <ref-ruling> E. 9.3.2). In diesem Vorgehen liegt weder eine Verletzung des Rechts auf Beweis noch des Anspruchs auf rechtliches Gehör (<ref-ruling> E. 5.2.2 S. 80; <ref-ruling> E. 6.3.1). Eine derartige antizipierte Beweiswürdigung kann vor Bundesgericht nur in Frage gestellt werden, wenn gemäss dem strengen Rügeprinzip (<ref-law>) hinreichend dargetan wird, dass die Vorinstanz dadurch in Willkür verfallen ist (<ref-ruling> E. 5.2.2 S. 80; <ref-ruling> E. 4.3.2).
4.4. Willkür vermag der Beschwerdeführer im vorliegenden Fall nicht darzulegen.
4.4.1. Vorab beanstandet er mit seinen Ausführungen die Erwägungen der Vorinstanz nicht hinreichend, dass die Erstinstanz auf die Zeugenaussage von C._ zum angeblichen Alkohol- und Drogenkonsum habe verzichten können. Geschweige denn legt der Beschwerdeführer rechtsgenüglich dar, dass er entgegen der Auffassung der Vorinstanz den Zeugenantrag rechtsgenüglich detailliert gestellt hätte, oder die Vorinstanz in Willkür verfallen wäre, als sie in einer Eventualerwägung zum Schluss kam, dass die Zeugenaussage C._s im Vergleich zu derjenigen des Hausarztes des Beschwerdegegners viel weniger Gewicht zukommen würde.
4.4.2. Auch der Verzicht auf die Einholung des Gutachtens ist nicht willkürlich: Ob noch Jahre nach dem fraglichen Zeitpunkt durch Langzeitparameter festgestellt werden könnte, ob der Beschwerdegegner in den Jahren 2017 und 2018 Drogen- und Alkohol konsumierte, oder ob der Beschwerdegegner seinen (damaligen) Alkohol- und Drogenkonsum gar nicht bestritten habe, wie das der Beschwerdeführer behauptet, braucht nicht entschieden zu werden. Ebenso braucht nicht beurteilt zu werden, wie sich der Beschwerdeführer bei seinem früheren Arbeitgeber oder vor dem erstinstanzlichen Gericht verhalten hat. Denn die Vorinstanz verzichtete auf das Einholen des Gutachtens (und übrigens auch auf die Zeugenaussage), weil trotz Gutachten über den Konsum nicht erwiesen wäre, ob sich der Drogen- und Alkoholkonsum des Beschwerdegegners in relevanter Weise auf dessen Arbeitsbereitschaft und -leistung ausgewirkt hätte.
Vor Bundesgericht ist es daher am Beschwerdeführer, rechtsgenüglich aufzuzeigen, dass die Vorinstanz dadurch in Willkür verfallen wäre (Erwägung 4.3). Dazu behauptet der Beschwerdeführer aber bloss, dass das Gutachten in Kombination mit der Zeugenaussage über die Leistungsfähigkeit "sicherlich" hätte Aufschluss geben können und davon ausgegangen werden könne, dass der Beschwerdegegner, der täglich Alkohol und Drogen konsumiere, seine Arbeitsleistung nicht ordnungsgemäss habe erbringen können. Mit diesen pauschalen, nicht weiter begründeten Ausführungen wird der Entscheid der Vorinstanz nicht als offensichtlich unrichtig ausgewiesen.
Es ist auch nicht ersichtlich, inwiefern es willkürlich wäre, wenn die Vorinstanz zum Schluss kam, dass unter den vorliegenden Umständen durch ein Gutachten im Nachhinein nicht nachgewiesen werden könne, ob sich ein allfälliger Drogen- und Alkoholkonsum in relevanter Weise auf die Leistungsbereitschaft und -fähigkeit des Beschwerdegegners ausgewirkt hätte. Führt doch auch der Beschwerdeführer aus, es habe schon Fälle gegeben, dass ein "Banker jahrelang harte Drogen" konsumiert habe, und "dies weder am Arbeitsplatz noch bei einem (Haus) -arzt aufgefallen" sei. Er geht damit selbst davon aus, dass ein nachgewiesener Alkohol- oder Drogenmissbrauch sich nicht in jedem Fall zwingend auf die Arbeitsbereitschaft und -leistung auswirken muss.
4.4.3. Der Verzicht auf die Befragung des Zeugen und auf die Einholung des Gutachtens sind demnach nicht zu beanstanden.
4.5. Damit bleibt es auch beim Beweisergebnis der Vorinstanz, dass nicht nachgewiesen sei, dass die Leistungsfähigkeit und -bereitschaft des Beschwerdegegners im relevanten Zeitraum vermindert gewesen sei. Es fehlt daher am Sachverhaltsfundament für die Rügen des Beschwerdeführers, dass der Beschwerdegegner aufgrund des Drogen- und Alkoholkonkums nicht mehr leistungsfähig gewesen sei und es daher "unter keinen Umständen mehr zumutbar" gewesen sei, ihn weiter zu beschäftigen. Entsprechend braucht auch nicht beurteilt zu werden, ob der Beschwerdeführer das Arbeitsverhältnis aufgrund der mangelnden Leistungsfähigkeit und -bereitschaft sowie gestützt auf den "übermässigen Alkohol- und Drogenkonsum" des Beschwerdegegners fristlos hätte kündigen können, und ob ein Fall der clausula rebus sic stantibus vorläge.
Im Übrigen zeigte bereits die Vorinstanz auf, dass der Beschwerdeführer dem Beschwerdegegner gar nicht fristlos gekündigt habe und die Voraussetzungen der fristlosen Kündigung "bei Weitem" nicht erfüllt seien. Damit setzt sich der Beschwerdeführer vor Bundesgericht nicht auseinander, zumindest nicht hinreichend (Erwägung 2.1). Inwiefern sodann die Voraussetzungen einer clausula rebus sic stantibus erfüllt wären (vgl. <ref-ruling> E. 2.4), ist weder dargetan noch ersichtlich.
5.
Die Beschwerde ist abzuweisen, soweit darauf überhaupt eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Der obsiegenden kantonalen Arbeitslosenkasse Appenzell Ausserrhoden steht dabei kein Anspruch auf Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht Appenzell Ausserrhoden schriftlich mitgeteilt.
Lausanne, 26. Juli 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Brugger