Sachverhalt: A. A._, geb. 1971, war bei der B._ Gartenbau AG, als Arbeiter angestellt und über die Arbeitgeberin bei der Schweizerischen Unfallversicherungsanstalt (Suva) obligatorisch gegen die Folgen von Unfällen und Berufskrankheiten versichert. Am 18. September 2012 rutschte er bei Gartenarbeiten mit der Motorsäge aus und sägte sich in den Mittelfinger der linken Hand. Dabei erlitt er eine Strecksehnendurchtrennung auf der Höhe des PIP-Gelenks, die gleichentags operativ mit einer Strecksehnennaht sowie einer temporären Arthrodese mittels eines Spickdrahts versorgt wurde. Die Suva erbrachte Versicherungsleistungen in Form von Heilbehandlung und Taggeld. Sechs Wochen nach der Operation kam es zu einer Infektion im Bereich des Spickdrahts, der daraufhin entfernt wurde. Am 6. und 16. November 2012 fanden im Spital C._ operative Revisionen statt, worauf die Beschwerden jeweils rasch zurückgingen. Das Arbeitsverhältnis mit der B._ Gartenbau AG endete am 30. November 2012. Im weiteren Verlauf klagte der Versicherte wiederholt über Schmerzausweitung in andere Finger und bis in die Schulter. Auch wurden immer wieder Rötungen bzw. Schwellungen festgestellt oder Infektionen vermutet. Dies hatte zahlreiche weitere operative Interventionen zur Folge, die jedoch keine oder nur kurzfristige Verbesserungen der Beschwerden und Symptome brachten. Namentlich wurde dem Versicherten am 8. August 2013 der linke Mittelfinger zunächst auf Höhe der Grundphalanx amputiert. Sodann nahm das Spital C._ am 22. November 2013 wegen anhaltender Beschwerden eine Exartikulation im MCP-Gelenk des Mittelfingers vor. A._ liess am 15. April 2014 in der Klinik D._ in Belgrad eine Wundrevision sowie eine Entfernung der Metacarpale III durchführen. Die Suva übernahm die Kosten dieser Operation ausnahmsweise und ohne Präjudiz. Am 18. August 2014 wurde dem Versicherten in Belgrad auch der linke Zeigefinger, inkl. des Metakarpalknochens, amputiert. Am 25. April 2016 liess der Versicherte in Belgrad die Amputation des Daumens der linken Hand vornehmen. Die Suva liess den Versicherten durch die MEDAS Zentralschweiz polydisziplinär begutachten. Im Gutachten vom 24. Mai 2016 (ergänzt durch das Schreiben vom 24. Februar 2017) wurde aus psychiatrischer Sicht die Verdachtsdiagnose einer artifiziellen Störung gestellt. Insgesamt erachteten die Gutachter eine Selbstschädigung des Versicherten als überwiegend wahrscheinlich. Mit Verfügung vom 21. Juli 2017 stellte die Suva fest, dass eine Selbstschädigung durch den Versicherten stattgefunden habe. Unter Ausschluss dieser Selbstschädigung sei der Endzustand spätestens Mitte März 2014 erreicht worden. Daher werde eine weitere Leistungspflicht ab dem 1. April 2014 abgelehnt. Für die verbliebenen Beeinträchtigungen sprach sie dem Versicherten eine Integritätsentschädigung bei einer Integritätseinbusse von 6 % zu, verneinte jedoch den Anspruch auf eine Invalidenrente. Zudem forderte sie die seit 1. April 2014 zu Unrecht erbrachten Taggeldleistungen in der Höhe von Fr. 105'955.80 zurück. Die dagegen gerichtete Einsprache sowie das Gesuch um Erlass der Rückforderung wies die Suva mit Entscheid vom 27. April 2018 ab. B. Das Obergericht Appenzell Ausserrhoden wies die dagegen erhobene Beschwere mit Entscheid vom 29. Oktober 2019 (rektifiziert am 6. Dezember 2019) ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragt, die Sache sei in Aufhebung des angefochtenen Entscheids zu weiteren Abklärungen und neuem Entscheid an das Obergericht oder die Suva zurückzuweisen. Eventualiter sei ihm mindestens eine halbe Invalidenrente der Unfallversicherung sowie eine Gesamt-Integritätsentschädigung für die unfallbedingten Verletzungen zu gewähren. Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt.