Sachverhalt:
A.
A._ (geb. 1955, deutscher Staatsangehöriger) reiste am 26. August 2009 in die Schweiz ein und nahm Wohnsitz im Kanton Luzern. 2015 zog er in den Kanton Schwyz. Er verfügt über eine Aufenthaltsbewilligung EU/EFTA. Nach dem Verlust seiner Arbeitsstelle und dem Bezug von Arbeitslosenentschädigung wurde A._ per 19. November 2018 von der Arbeitslosenkasse ausgesteuert. Am 14. Februar 2019 informierte ihn das Amt für Migration des Kantons Schwyz, sein Aufenthaltsrecht erlösche sechs Monate nach dem Untergang des Anspruchs auf Arbeitslosentaggelder; er habe den Antritt einer neuen Anstellung umgehend zu melden. Da sich A._ in der Folge nicht meldete, gewährte das Amt für Migration A._ am 14. Juni 2019 betreffend Erlöschen der Aufenthaltsbewilligung EU/EFTA das rechtliche Gehör. Nachdem A._ hierauf einen unbefristeten Arbeitsvertrag als landwirtschaftliche Hilfskraft vom 27. Mai 2019 eingereicht hatte, stellte das Amt für Migration das ausländerrechtliche Verfahren am 2. Juli 2019 ein.
Am 17. Juli 2019 meldete sich A._ (wieder) bei der Fürsorgebehörde Gersau, da sein Anstellungsverhältnis in der Landwirtschaft per Ende Juli 2019 gekündigt worden sei. Die Fürsorgebehörde informierte am 22. August 2019 das Amt für Migration, welches A._ am 9. September 2019 erneut das rechtliche Gehör gewährte. Am 17. September 2019 nahm A._ Stellung.
B.
Am 25. September 2019 verfügte das Amt für Migration den Widerruf der Aufenthaltsbewilligung EU/EFTA von A._ und seine Wegweisung aus der Schweiz. Es ordnete an, dass A._ die Schweiz innert vier Wochen seit Rechtskraft der Verfügung zu verlassen habe. Die von diesem erhobenen kantonalen Rechtsmittel blieben erfolglos (Beschluss des Regierungsrats des Kantons Schwyz vom 18. August 2020; Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 21. Dezember 2020).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 17. Februar 2021 beantragt A._ die Aufhebung des Entscheids des Verwaltungsgerichts des Kantons Schwyz vom 21. Dezember 2020 und den Verzicht auf den Widerruf seiner Aufenthaltsbewilligung EU/EFTA. Eventualiter beantragt er die Aufhebung des Entscheids und die Rückweisung an die Vorinstanz zur Neubeurteilung, subeventualiter, dass die Ausreisefrist auf sechs Monate ab Rechtskraft zu verlängern sei. In prozessualer Hinsicht beantragt A._, dass ihm die unentgeltliche Rechtspflege und Verbeiständung durch Advokat Dieter Roth sowie seiner Beschwerde die aufschiebende Wirkung gewährt werde.
Das Verwaltungsgericht, der Regierungsrat und das Amt für Migration des Kantons Schwyz verzichten auf eine Vernehmlassung. Das Staatssekretariat für Migration SEM nimmt Stellung zur Frage, welches Alter für den Anspruch auf Verbleiben gemäss Art. 4 Anhang I des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA; SR 0.142.112.681) in Verbindung mit Art. 2 Abs. 1 lit. a der Verordnung (EWG) Nr. 1251/70 der Kommission vom 29. Juni 1970 über das Recht der Arbeitnehmer, nach Beendigung einer Beschäftigung im Hoheitsgebiet eines Mitgliedstaats zu verbleiben (ABl. Nr. L 142, 1970, S. 24; nachfolgend: Verordnung [EWG] Nr. 1251/70) massgebend ist, ohne einen Antrag in der Sache zu stellen.
Mit Verfügung vom 18. Februar 2021 erkannte das Bundesgericht der Beschwerde die aufschiebende Wirkung zu.
Erwägungen:
1.
1.1. Auf dem Gebiet des Ausländerrechts ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten im Zusammenhang mit Bewilligungen ausgeschlossen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumen (Art. 83 lit. c Ziff. 2 BGG). Ob die jeweiligen Bewilligungsvoraussetzungen erfüllt sind, ist eine Frage der materiellen Beurteilung; für das Eintreten genügt, dass ein entsprechender Anwesenheitsanspruch in vertretbarer Weise geltend gemacht wird (vgl. BGE 136 II 177 E. 1.1). Dies tut der Beschwerdeführer, indem er sich als deutscher Staatsangehöriger aufgrund einer früheren und einer geltend gemachten aktuellen Erwerbstätigkeit auf einen Anspruch aus dem FZA sowie aufgrund seines langjährigen Aufenthalts in der Schweiz auf Art. 8 EMRK beruft.
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) eingereicht und richtet sich gegen einen Endentscheid einer letzten, oberen kantonalen Instanz (Art. 86 Abs. 1 lit. d und Abs. 2 BGG). Der Beschwerdeführer ist zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf die Beschwerde ist einzutreten, soweit sie die Aufenthaltsbewilligung des Beschwerdeführers betrifft.
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 143 IV 241 E. 2.3.1; 140 III 115 E. 2). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Sie hat deshalb substanziiert darzulegen, weswegen diese Voraussetzungen gegeben sein sollen; wird sie dieser Anforderung nicht gerecht, bleibt es beim vorinstanzlich festgestellten Sachverhalt (BGE 140 III 16 E. 1.3.1). Bringt eine Partei vor Bundesgericht Tatsachen vor, die nicht Gegenstand des angefochtenen Entscheids waren, kann das Bundesgericht diese nur berücksichtigen, wenn erst der angefochtene Entscheid dazu Anlass gegeben hat (Art. 99 Abs. 1 BGG). Für das Bundesgericht gänzlich unbeachtlich sind hingegen Tatsachen und Beweismittel, die erst nach dem angefochtenen Entscheid stattgefunden haben bzw. entstanden sind (echte Noven; vgl. BGE 144 V 35 E. 5.2.4; 143 V 19 E. 1.2; 139 III 120 E. 3.1.2; 139 II 7 E. 4.2). Die Sachverhaltsfeststellung bzw. Beweiswürdigung erweist sich nur dann als willkürlich (Art. 9 BV), wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Gerichten gezogenen Schlüsse nicht mit der eigenen Darstellung des Beschwerdeführers übereinstimmen, belegt keine Willkür (BGE 140 III 264 E. 2.3; 137 III 226 E. 4.2; 136 III 552 E. 4.2; Urteil 2C_1144/2018 vom 10. März 2020 E. 6.1).
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). In Bezug auf die Verletzung der verfassungsmässigen Rechte gilt nach Art. 106 Abs. 2 BGG eine gesteigerte Rüge- und Substanziierungspflicht (BGE 143 II 283 E. 1.2.2; 139 I 229 E. 2.2; 138 I 274 E. 1.6).
3.
Dem Beschwerdeführer wurde gestützt auf das FZA eine Aufenthaltsbewilligung EU/EFTA erteilt. Die Vorinstanz ist der Auffassung, dass diese Aufenthaltsbewilligung erloschen sei. Ihr zufolge ist der Beschwerdeführer weder als Arbeitnehmer gemäss Art. 6 Anhang I FZA einzustufen, noch erfüllt er die Voraussetzungen für ein Verbleiberecht nach Art. 4 Anhang I FZA. Der Beschwerdeführer bestreitet dies.
Einen Aufenthaltsanspruch nach internem Recht macht der Beschwerdeführer nicht geltend. Es ist auch nicht ersichtlich, dass ihm ein solcher zustünde. Weitere Ausführungen hierzu erübrigen sich.
4.
4.1. Ein Arbeitnehmer, der Staatsangehöriger einer Vertragspartei des FZA ist (Vertragsausländer) und mit einem Arbeitgeber des Aufnahmestaates ein Arbeitsverhältnis mit einer Dauer von mindestens einem Jahr eingeht, erhält eine Aufenthaltserlaubnis mit einer Gültigkeitsdauer von fünf Jahren, gerechnet ab dem Zeitpunkt der Erteilung der Erlaubnis (EU/EFTA-B-Bewilligung). Diese wird automatisch um mindestens fünf Jahre verlängert. Bei der ersten Verlängerung kann die Gültigkeitsdauer beschränkt werden, wenn der Inhaber seit mehr als zwölf aufeinanderfolgenden Monaten unfreiwillig arbeitslos ist; die Dauer der Bewilligungsverlängerung darf ein Jahr nicht unterschreiten (vgl. Art. 6 Abs. 1 Anhang I FZA). Einem Arbeitnehmer, der mit einem Arbeitgeber des Aufnahmestaates ein Arbeitsverhältnis mit einer Dauer von mehr als drei Monaten und weniger als einem Jahr eingegangen ist, wird eine Aufenthaltserlaubnis mit einer Gültigkeitsdauer erteilt, die der Dauer des Arbeitsvertrags entspricht (Art. 6 Abs. 2 Anhang I FZA; EU/EFTA-L-Bewilligung). Zudem sieht Art. 4 Abs. 1 Anhang I FZA vor, dass die Staatsangehörigen einer Vertragspartei und ihre Familienangehörigen nach Beendigung ihrer Erwerbstätigkeit ein Recht auf Verbleib im Hoheitsgebiet der anderen Vertragspartei haben, das allerdings gemäss Abs. 2 unter den Voraussetzungen von Verordnung (EWG) Nr. 1251/70 und Richtlinie 75/34/EWG (ABl. Nr. L 14, 1975, S. 10) steht.
4.2. Die Auslegung des freizügigkeitsrechtlichen Arbeitnehmerbegriffs und des damit verbundenen Status erfolgt in Übereinstimmung mit der unionsrechtlichen Rechtsprechung, wie sie vor der Unterzeichnung des Freizügigkeitsabkommens (21. Juni 1999) bestand (Art. 16 Abs. 2 FZA). Neuere Entscheide des Gerichtshofs der Europäischen Union (EuGH) berücksichtigt das Bundesgericht im Interesse einer parallelen Rechtslage, soweit keine triftigen Gründe dagegen sprechen (vgl. BGE 147 II 1 E. 2.3; 143 II 57 E. 3.6; 139 II 393 E. 4.1.1 mit Hinweisen). Als freizügigkeitsrechtlicher Arbeitnehmer gilt gemäss der Rechtsprechung, wer während einer bestimmten Zeit Leistungen für eine andere Person nach deren Weisungen erbringt und als Gegenleistung hierfür eine Vergütung erhält (BGE 141 II 1 E. 2.2.3 mit Hinweisen). Grundsätzlich kommt es dabei weder auf den zeitlichen Umfang der Aktivität noch auf die Höhe des Lohnes oder die Produktivität der betroffenen Person an. Erforderlich ist jedoch quantitativ wie qualitativ eine echte und tatsächliche wirtschaftliche Tätigkeit. Die Beurteilung, ob eine solche besteht, muss sich auf objektive Kriterien stützen und allen Umständen Rechnung tragen, welche die Art der Tätigkeit und des fraglichen Arbeitsverhältnisses betreffen (BGE 141 II 1 E. 2.2.4; 131 II 339 E. 3, je mit Hinweisen). Zu berücksichtigen sind praxisgemäss etwa der gegebenenfalls unregelmässige Charakter der verrichteten Leistungen, ihre beschränkte Dauer oder die geringe Vergütung, die dem Ausländer dafür ausgerichtet wird (BGE 131 II 339 E. 3.4; Urteile 2C_933/2019 vom 18. November 2020 E. 4.2.2; 2C_289/2017 vom 4. Dezember 2017 E. 4.2.2). So hat das Bundesgericht etwa entschieden, dass eine Teilzeitbeschäftigung, die ein monatliches Einkommen von bloss ungefähr Fr. 600 bis Fr. 800 einbringt, als marginal und nebensächlich anzusehen ist und folglich kein Arbeitsverhältnis im Sinne von Art. 6 Abs. 1 Anhang I FZA darstellt (Urteil 2C_1137/2014 vom 6. August 2015 E. 4.4; vgl. für weitere Beispiele zur Abgrenzung Urteile 2C_933/2019 vom 18. November 2020 E. 4.3; 2C_617/2019 vom 6. Februar 2020 E. 3.2 und 4.3; 2C_716/2018 vom 13. Dezember 2018 E. 3.3; 2C_289/2017 vom 4. Dezember 2017 E. 4.2.2; 2C_1061/2013 vom 14. Juli 2015 E. 4.4).
4.3.
4.3.1. Gemäss den Feststellungen der Vorinstanz hat der Beschwerdeführer zwischen April und August 2020 als Chauffeur für Pro Senectute und das Schweizerische Rote Kreuz monatlich ein Einkommen zwischen Fr. 160.50 (Juni 2020) und Fr. 635.10 (Mai 2020), total Fr. 2'115.50, erzielt. Aus der bescheidenen Höhe der Entschädigung und dem Charakter der geleisteten Fahrdienste (sehr unregelmässig, auf Abruf, grundsätzlich Freiwilligenarbeit) schloss die Vorinstanz, der Beschwerdeführer übe weder quantitativ noch qualitativ eine echte und tatsächliche wirtschaftliche Tätigkeit aus.
4.3.2. Der Beschwerdeführer bezeichnet die tatsächlichen Feststellungen der Vorinstanz als offensichtlich unrichtig. Die Vorinstanz habe nur seine Tätigkeit zwischen April und August 2020, nicht seine Fahrdienste ab November 2019 gewürdigt. Die Vorinstanz habe überdies die konkreten Umstände unberücksichtigt gelassen. Der Beschwerdeführer habe nämlich aufgrund des Bezugs zweier Altersrenten und eines Guthabens der 2. Säule von Fr. 25'000.-- gar kein grosses Einkommen erzielen müssen, um seinen Lebensunterhalt zu decken. Eine kleine Teilzeiterwerbstätigkeit habe genügt. Zudem sei der Umfang der Fahrdienste für ältere Personen wegen des Corona-Lockdowns im Frühling 2020 geringer ausgefallen als erwartet. Schliesslich sei auch die gesundheitliche Situation des Beschwerdeführers nicht genügend berücksichtigt worden. Es sei bei ihm nämlich Ende September 2020 ein metastasierendes Adenokarzinom, ein lokal-invasives Rektumkarzinom mit Leber- und Lungenmetastasen, eine hypertensive Herzkrankheit sowie ein C2-Abusus (Alkoholmissbrauch) diagnostiziert worden. Im September 2020 habe er sich einer Koloskopie (Dickdarmspiegelung) unterziehen müssen und sei am 5. Oktober 2020 am Darm operiert worden. Danach habe er eine Chemo- und Immuntherapie machen müssen. Aus diesen Gründen habe er seine Erwerbstätigkeit nicht weiter ausbauen können.
4.3.3. Entgegen den Ausführungen des Beschwerdeführers ist die tatsächliche und rechtliche Würdigung der Vorinstanz nicht zu beanstanden.
Dass die Vorinstanz in ihrer Würdigung auf die Fahrdienste zwischen April und August 2020 fokussiert hat, liegt daran, dass ihr der Beschwerdeführer seinerseits nur für diese Zeit eine Aufstellung der empfangenen Entgelte vorgelegt hatte. Der Beschwerdeführer macht denn auch gar nicht geltend, dass der Umfang dieser Tätigkeit zwischen November 2019 und März 2020 grösser gewesen wäre. Im Gegenteil hatte er vor der Vorinstanz sogar noch ausgeführt, die Fahrdienste hätten "zuerst etwas anlaufen" müssen und "dann während des Corona-Lockdowns im März / April 2020 etwas stagniert". Die Entgelte erreichten freilich auch in den lockdown-freien Folgemonaten nur eine bescheidene Höhe (vgl. oben E. 4.3.1). Zudem deutet die Unregelmässigkeit der Fahrdienste klar darauf hin, dass es sich nur um eine marginale Tätigkeit handelt, wie schon die Vorinstanz zutreffend ausgeführt hat. Die blosse Hoffnung, die Fahrdienste in Zukunft allenfalls ausbauen zu können, lässt die Fahrdienste noch nicht als echte und tatsächliche wirtschaftliche Tätigkeit erscheinen. Eine konkrete Aussicht auf den Ausbau der Tätigkeit ergibt sich aus den Feststellungen der Vorinstanz jedenfalls nicht. Ob der erhoffte Ausbau der Tätigkeit zuletzt auch an seiner Krebserkrankung scheiterte, wie der Beschwerdeführer vor Bundesgericht behauptet, spielt unter diesen Umständen keine Rolle.
Für die Frage, ob der Beschwerdeführer als Arbeitnehmer nach Art. 6 Abs. 1 Anhang I FZA freizügigkeits- und aufenthaltsberechtigt ist, ist es irrelevant, ob er in Anbetracht der bezogenen Altersrenten und seiner Ersparnisse auf zusätzliche Einkünfte angewiesen war. Die finanziellen Mittel des Beschwerdeführers wären zu berücksichtigen, falls er einen Aufenthaltsanspruch ohne Erwerbstätigkeit nach Art. 24 Anhang I FZA geltend machen würde. Dies tut er jedoch zu Recht nicht (mehr), zumal aufgrund der von ihm bezogenen Ergänzungsleistungen nicht davon auszugehen ist, dass er die Voraussetzungen von Art. 24 Abs. 1 lit. a Anhang I FZA erfüllt (vgl. Art. 16 Abs. 2 der Verordnung vom 22. Mai 2002 über den freien Personenverkehr zwischen der Schweiz und der Europäischen Union und deren Mitgliedstaaten, zwischen der Schweiz und dem Vereinigten Königreich sowie unter den Mitgliedstaaten der Europäischen Freihandelsassoziation [VFP; SR 142.203]; Titel bis zum 31. Dezember 2020: Verordnung vom 22. Mai 2002 über die schrittweise Einführung des freien Personenverkehrs zwischen der Schweizerischen Eidgenossenschaft und der Europäischen Union und deren Mitgliedstaaten sowie unter den Mitgliedstaaten der Europäischen Freihandelsassoziation, VEP; BGE 135 II 265 E. 3.7; Urteil 2C_914/2020 vom 11. März 2021 E. 5.10).
4.4. Für den Fall, dass seine aktuelle Tätigkeit als Fahrer keine Arbeitnehmereigenschaft begründet, bringt der Beschwerdeführer vor, dass er mit dem Ende der Tätigkeit als landwirtschaftliche Hilfskraft per Ende Juli 2019 unfreiwillig arbeitslos geworden sei. Es widerspreche Art. 6 Abs. 6 Anhang I FZA, wenn ihm gestützt auf Art. 61a des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer und über die Integration (AIG; SR 142.20) die Aufenthaltsbewilligung entzogen werde. In diesem Zusammenhang wirft er der Vorinstanz eine offensichtlich unrichtige Feststellung des Sachverhalts und eine Verletzung der Begründungspflicht (Art. 29 Abs. 2 BV) vor. Konkret habe die Vorinstanz seine Tätigkeit als landwirtschaftliche Hilfskraft vom 27. Mai bis Ende Juli 2019 nicht hinreichend gewürdigt. Überdies sei das Schreiben vom 17. September 2019, in welchem der Beschwerdeführer angegeben hatte, derzeit keiner Erwerbstätigkeit nachzugehen und sich aktuell nicht aktiv um eine Stelle zu bemühen, vor dem Hintergrund zu sehen, dass ihn die Sozialhilfebehörde gedrängt habe, sich die Altersrenten bereits frühzeitig auszahlen zu lassen. Er habe die Erwerbstätigkeit nie freiwillig aufgegeben.
4.4.1. Das rechtliche Gehör (Art. 29 Abs. 2 BV) verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt (BGE 146 II 335 E. 5.1; 136 I 229 E. 5.2). Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken (BGE 146 IV 297 E. 2.2.7; 146 II 335 E. 5.1; 143 III 65 E. 5.2; 138 I 232 E. 5.1).
4.4.2. Die Vorinstanz hat sich den Würdigungen des Regierungsrats angeschlossen, sie aber lediglich teilweise wiedergegeben (vgl. angefochtenes Urteil E. 4.1 und 4.2). Der Regierungsrat hatte in seinem Beschwerdeentscheid erkannt, dass das Aufenthaltsrecht des Beschwerdeführers sechs Monate nach der Aussteuerung vom 19. November 2018 - d.h. per 19. Mai 2019 - erloschen sei. Das am 27. Mai 2019 neu begründete Arbeitsverhältnis als landwirtschaftliche Hilfskraft vermöge hieran nichts zu ändern. Erstens bestünden aufgrund der zeitlichen Sachverhaltsabfolge und der fehlenden Belege und Angaben zur Auflösung des Arbeitsverhältnisses gewisse Zweifel an der Ernsthaftigkeit des abgeschlossenen Arbeitsvertrags. Zweitens wäre die am 27. Mai 2019 wiedererlangte Arbeitnehmerstellung ohnehin bereits am 17. September 2019 wieder erloschen, weil der Beschwerdeführer am 17. September 2019 bestätigt habe, dass er infolge Frühpensionierung keiner Erwerbstätigkeit mehr nachgehe und sich auch nicht um eine Arbeitsstelle bemühe. Damit habe der Beschwerdeführer in diesem Zeitpunkt seine Erwerbstätigkeit freiwillig aufgegeben und nach eigenen Angaben auch nicht von seinem Recht auf Aufenthalt zum Zweck der Stellensuche Gebrauch gemacht (vgl. Beschwerdeentscheid des Regierungsrats des Kantons Schwyz vom 18. August 2020 E. 3.1).
4.4.3. Es ist nicht per se unzulässig, wenn eine Rechtsmittelinstanz auf die Begründung ihrer Vorinstanz verweist, sofern die Begründung der Vorinstanz genügt und vor der Rechtsmittelinstanz keine neuen tatsächlichen oder rechtlichen Vorbringen erfolgen, auf welche die Rechtsmittelinstanz eingehen müsste (BGE 142 II 20 E. 4.1; 141 IV 244 E. 1.2.3). Vom Instrument der Verweisung ist aber nur zurückhaltend Gebrauch zu machen (vgl. BGE 141 IV 244 E. 1.2.3). Das Vorgehen der Vorinstanz ist vor diesem Hintergrund jedenfalls nicht unbedenklich. Neue tatsächliche Vorbringen, welche die Feststellungen des Regierungsrats infrage gestellt hätten, blieb der Beschwerdeführer vor der Vorinstanz allerdings schuldig. Insbesondere reichte er auch vor der Vorinstanz keine Belege ein und machte er keine näheren Angaben zur Auflösung des Arbeitsverhältnisses per Ende Juli 2019. Eine Gehörsverletzung lässt sich der Vorinstanz unter diesen Umständen nicht vorwerfen. Es kann sich lediglich noch die Frage stellen, ob die Sachverhaltsfeststellung des Regierungsrats offensichtlich unrichtig war.
4.4.4. Die von der Vorinstanz bestätigten Zweifel des Regierungsrats an der Ernsthaftigkeit des Arbeitsverhältnisses als landwirtschaftliche Hilfskraft erscheinen angesichts der kurzen Dauer dieser Tätigkeit und der fehlenden Angaben und Belege jedenfalls nicht als offensichtlich unrichtig (vgl. auch Urteil 2C_390/2013 vom 10. April 2014 E. 4.4, wo das Bundesgericht Tätigkeiten von zwei respektive drei Monaten als nicht genügend erachtete). Für die Tatsachen, die seine Arbeitnehmereigenschaft begründen, trägt der Beschwerdeführer die Beweislast, da er daraus sein Aufenthaltsrecht ableitet (Art. 8 ZGB, der im öffentlichen Recht analog gilt; vgl. BGE 144 II 332 E. 4.1.3). Bestehen Zweifel an diesen Tatsachen und können sie mangels Beweismitteln nicht festgestellt werden, hat der Beschwerdeführer die Folgen dieser Beweislosigkeit zu tragen. Es ist also zu seinem Nachteil davon auszugehen, dass die angebliche Tätigkeit als landwirtschaftliche Hilfskraft keine echte und tatsächliche wirtschaftliche Tätigkeit darstellte.
4.5. Damit bleibt zu prüfen, ob sich der Beschwerdeführer aufgrund seiner früheren Beschäftigungen noch auf den Arbeitnehmerstatus berufen kann.
4.5.1. Nach Art. 6 Abs. 6 Anhang I FZA verliert ein Vertragsausländer bei unfreiwilliger Beendigung der Erwerbstätigkeit nicht unmittelbar seinen Arbeitnehmerstatus und damit sein Aufenthaltsrecht. Ein Vertragsausländer kann diesen Status aber verlieren, wenn er entweder (1) freiwillig arbeitslos geworden ist oder (2) aufgrund seines Verhaltens feststeht, dass keinerlei ernsthafte Aussichten (mehr) darauf bestehen, dass er in absehbarer Zeit eine andere Arbeit finden wird oder (3) sein Verhalten gesamthaft als rechtsmissbräuchlich bezeichnet werden muss, da er seine Bewilligung (etwa) gestützt auf eine fiktive bzw. zeitlich kurze Erwerbstätigkeit einzig zum Zweck erworben hat, von günstigeren Sozialleistungen als im Heimat- oder einem anderen Vertragsstaat zu profitieren (BGE 141 II 1 E. 2.2.1 mit Hinweisen). Ist der ursprünglich unfreiwillig arbeitslos gewordene Vertragsausländer 18 Monate arbeitslos geblieben und hat er seinen Anspruch auf Arbeitslosengelder ausgeschöpft, ist praxisgemäss von fehlenden Aussichten auf eine neue Stelle auszugehen (vgl. BGE 147 II 1 E. 2.1.3; Urteile 2C_755/2019 vom 6. Februar 2020 E. 4.4.1; 2C_390/2013 vom 10. April 2014 E. 4.3). Mit Art. 61a Abs. 4 AIG sollte diese Praxis zum FZA im nationalen Recht kodifiziert werden (vgl. Botschaft vom 4. März 2016 zur Änderung des Ausländergesetzes, BBl 2016 3007, 3075 Ziff. 6.2.2; vgl. auch Urteil 2C_986/2020 vom 5. November 2021 E. 6.1).
4.5.2. Der Beschwerdeführer wurde per 19. November 2018 (angefochtenes Urteil E. 3.3; laut Beschwerdeführer: 30. November 2018) ausgesteuert, da er den Höchstanspruch auf 380 Taggelder der Arbeitslosenversicherung ausgeschöpft hatte. Danach trat er nach dem Gesagten keine Arbeitsstelle mehr an, die ihn von neuem als Arbeitnehmer im Sinne von Art. 6 Anhang I FZA hätte erscheinen lassen. Gemäss Art. 61a Abs. 4 AIG erlosch sein Aufenthaltsrecht folglich am 19. Mai 2019. Wie sich aus den Feststellungen der Vorinstanz ergibt (vgl. angefochtenes Urteil E. 4.3.1), hatte das letzte Arbeitsverhältnis des Beschwerdeführers im September 2018, mithin also bloss zwei Monate vor der Aussteuerung und rund acht Monate vor dem gesetzmässigen Erlöschen der Aufenthaltsbewilligung geendet. Allerdings hatte dieses letzte Arbeitsverhältnis seinerseits lediglich fünf Monate gedauert und war der Beschwerdeführer bereits zuvor wiederholt längere Zeit (zuletzt von September 2016 bis Mai 2018) arbeitslos und abwechslungsweise auf Arbeitslosengelder sowie nach der Aussteuerung wiederholt auf wirtschaftliche Sozialhilfe angewiesen gewesen. Unter diesen Umständen ist auch im Licht der Praxis des Bundesgerichts zu Art. 6 Abs. 6 Anhang I FZA nicht zu beanstanden, dass die Vorinstanz und die Unterinstanz davon ausgingen, es hätten schon im Mai 2019 keinerlei ernsthafte Aussichten (mehr) darauf bestanden, dass der Beschwerdeführer in absehbarer Zeit eine andere Arbeit finden würde.
Dieser Standpunkt wurde durch die Angaben des Beschwerdeführers in seinem Schreiben von 17. September 2019 noch bestätigt. Es mag zutreffen, dass der Beschwerdeführer die Stellensuche zumindest auch deshalb aufgegeben hatte, weil er Altersrenten beantragt hatte. Für die Aufrechterhaltung des Arbeitnehmerstatus nach unfreiwilligem Verlust der Arbeitsstelle ist es jedoch unerlässlich, dass der Vertragsausländer gewillt bleibt, eine neue Arbeitsstelle zu finden, und realistische Erfolgsaussichten bestehen. Fehlt es hieran, ist zu prüfen, ob dem Beschwerdeführer der Verbleib allenfalls nach Art. 4 Anhang I FZA zu gestatten ist. So oder anders ist nicht ersichtlich, inwiefern die Aufforderung der Sozialhilfebehörde, er solle seine Altersrenten frühzeitig beziehen, dem Beschwerdeführer die Stellensuche verunmöglicht haben soll.
4.6. Nach dem Gesagten ist freizügigkeitsrechtlich nicht zu beanstanden, dass die Vorinstanz dem Beschwerdeführer den Arbeitnehmerstatus aberkannt hat. Ob Art. 61a Abs. 4 AIG und Art. 23 VFP mit Art. 6 Abs. 6 Anhang I FZA in Konflikt stehen, wie der Beschwerdeführer behauptet, braucht deshalb an dieser Stelle nicht geklärt zu werden.
5.
Der Beschwerdeführer beruft sich eventualiter auf ein Verbleiberecht nach Art. 4 Anhang I FZA.
5.1. Das Verbleiberecht nach Beendigung der Erwerbstätigkeit steht nach Art. 4 Abs. 2 Anhang I FZA unter anderem unter den Voraussetzungen der Verordnung (EWG) Nr. 1251/70. Gemäss Art. 2 Abs. 1 lit. a der Verordnung (EWG) Nr. 1251/70 steht das Recht, im Hoheitsgebiet eines Mitgliedstaates zu verbleiben, einem (ehemaligen) Arbeitnehmer zu, "der zu dem Zeitpunkt, an dem er seine Beschäftigung aufgibt, das nach der Gesetzgebung dieses Staates vorgeschriebene Alter für die Geltendmachung einer Altersrente erreicht hat, dort mindestens in den letzten 12 Monaten eine Beschäftigung ausgeübt und sich dort seit mindestens drei Jahren ständig aufgehalten hat".
5.2. Streitig ist, welches das "nach der Gesetzgebung dieses Staates vorgeschriebene Alter für die Geltendmachung einer Altersrente" ist. Die Vorinstanz und mit ihm das SEM halten dafür, dass damit das ordentliche AHV-Rentenalter - hier also 65 Jahre (Art. 21 Abs. 1 lit. a des Bundesgesetzes vom 20. Dezember 1946 über die Alters- und Hinterlassenenversicherung [AHVG; SR 831.10]) - gemeint sei. Der Beschwerdeführer ist der Auffassung, dass "das gesetzlich vorgeschriebene" Alter bereits mit Vollendung des 63. Altersjahres erreicht sei, da Art. 40 Abs. 1 AHVG ab diesem Zeitpunkt den Vorbezug von Altersrenten zulasse.
5.3. Das Bundesgericht hatte noch keine Gelegenheit, diese Frage zu beantworten (vgl. aber immerhin BGE 146 II 145 E. 3.2.8, wo es in Bezug auf die analoge Bestimmung Art. 2 Abs. 1 lit. a der Richtlinie 75/34/EWG des Rates vom 17. Dezember 1974 über das Recht der Staatsangehörigen eines Mitgliedstaats, nach Beendigung der Ausübung einer selbständigen Tätigkeit im Hoheitsgebiet eines anderen Mitgliedstaates zu verbleiben [ABl. L 14 vom 20. Januar 1975 S. 10] davon ausging, dass das ordentliche Rentenalter von 65 Jahren überschritten sein muss). Aufgrund der Besonderheiten des vorliegenden Einzelfalls muss sie auch hier nicht in allgemeiner Weise beantwortet werden.
5.3.1. Der Beschwerdeführer vollendete am 29. August 2018 das 63. und am 29. August 2019 das 64. Altersjahr. Wie aus den Akten hervorgeht (Art. 105 Abs. 2 BGG), verpflichtete die Fürsorgebehörde Gersau den Beschwerdeführer Ende 2018 in Anbetracht seines Alters, "die Frühpensionierung bei der Ausgleichskasse bis zum 15. April 2019 zu beantragen," falls er im März 2019 immer noch auf wirtschaftliche Sozialhilfe angewiesen sei (vgl. Auszug aus dem Protokoll der Sitzung der Fürsorgebehörde Gersau vom 13. Dezember 2018, Beschluss Ziff. 10). Sie stützte sich dabei auf die SKOS-Richtlinien. Der Beschwerdeführer stellte am 13. Februar 2019 einen Antrag auf Vorbezug der AHV-Rente nach Vollendung des 64. Altersjahres, d.h. ab dem 1. September 2019. Die Ausgleichskasse / IV-Stelle Schwyz bewilligte diesen Antrag mit Verfügung vom 17. Mai 2019 (vgl. Verfügung der Ausgleichskasse / IV-Stelle Schwyz vom 17. Mai 2019, act. 114 des Migrationsamts des Kantons Schwyz; Art. 105 Abs. 2 BGG).
5.3.2. Die Vorinstanz erwog, im Beschluss der Fürsorgebehörde könne keine Zusicherung eines Aufenthaltsrechts gesehen werden. Zudem habe das Amt für Migration dem Beschwerdeführer mitgeteilt, dass das Verbleiberecht das Erreichen des ordentlichen Rentenalters voraussetze (vgl. angefochtenes Urteil E. 4.2.4). Die Vorinstanz verneinte deshalb einen Anspruch des Beschwerdeführers auf Vertrauensschutz.
5.3.3. Es trifft zu, dass der Beschluss der Fürsorgebehörde keine Zusicherung eines Aufenthaltsrechts enthielt. Diese Behörde wäre für eine solche Zusicherung auch offensichtlich gar nicht zuständig gewesen. Es ist daher nicht zu beanstanden, dass die Vorinstanz im Beschluss der Fürsorgebehörde keine Grundlage für Vertrauensschutz gesehen hat (vgl. zu den Voraussetzungen für Vertrauensschutz BGE 146 I 105 E. 5.1.1 mit Hinweisen). Allerdings ist dem Beschwerdeführer zuzugestehen, dass ihn der Beschluss der Fürsorgebehörde faktisch in eine Zwangslage versetzte, musste er doch damit rechnen, keine Sozialhilfe mehr zu erhalten, wenn er die AHV-Rente nicht vorbeziehen würde. Vor diesem Hintergrund wäre es im speziell gelagerten Fall des Beschwerdeführers mit Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV) nicht zu vereinbaren, das Verbleiberecht zu verneinen, weil er im Zeitpunkt der Aufgabe der Beschäftigung zwar das zum Rentenvorbezug berechtigende 63. Altersjahr (vgl. Art. 40 Abs. 1 AHVG), aber noch nicht das 65. Altersjahr vollendet hatte.
5.4. Nach dem Gesagten ist im Lichte der besonderen Zwangslage des Beschwerdeführers mit Blick auf Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV) davon auszugehen, dass "das nach der Gesetzgebung dieses Staates vorgeschriebene" Rentenalter als erreicht zu gelten hatte, als der Beschwerdeführer den Arbeitnehmerstatus verlor. Auch die übrigen Voraussetzungen von Art. 2 Abs. 1 lit. a der Verordnung (EWG) Nr. 1251/70 sind erfüllt. Der Beschwerdeführer hält sich seit mehr als drei Jahren ständig in der Schweiz auf. Wie sich aus den vorstehenden Erwägungen ergibt (vgl. insb. E. 4.5), verlor der Beschwerdeführer den Arbeitnehmerstatus zwar im Mai 2019, hatte ihn jedoch zuvor seit seiner Ankunft in der Schweiz - und damit auch in den zwölf Monaten bis zur endgültigen Aufgabe der Erwerbstätigkeit - innegehabt. Entgegen der Ansicht der Vorinstanz schadet es dem Beschwerdeführer nicht, dass er zuletzt und auch zwischendurch vorübergehend unfreiwillig arbeitslos gewesen war. Denn solche vorübergehende Unterbrechungen der Erwerbstätigkeit gelten für die Zwecke von Art. 2 Abs. 1 lit. a der Verordnung (EWG) Nr. 1251/70 als Beschäftigungszeit (vgl. Urteil 2C_1034/2016 vom 13. November 2017 E. 2.2 und 4.3; vgl. auch BGE 144 II 121 E. 3.6.3; SEM, Weisungen VFP, Januar 2021, Ziff. 10.3.2). Dem Beschwerdeführer steht folglich gestützt auf Art. 4 Abs. 1 und 2 Anhang I FZA ein Verbleiberecht zu.
6.
Die Beschwerde erweist sich als begründet und ist gutzuheissen. Das angefochtene Urteil ist aufzuheben und dem Beschwerdeführer ist gestützt auf Art. 4 Abs. 1 und 2 Anhang I FZA eine Aufenthaltsbewilligung auszustellen. Es sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Schwyz hat dem Rechtsvertreter des Beschwerdeführers eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 BGG). Dadurch wird das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung gegenstandslos. Zur Neuverlegung der Kosten- und Entschädigungsfolgen ist die Sache an die Vorinstanz zurückzuweisen (Art. 67 und 68 Abs. 5 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 21. Dezember 2020 wird aufgehoben. Die Sache wird an das Migrationsamt des Kantons Schwyz zur Verlängerung der Aufenthaltsbewilligungen EU/EFTA zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Kanton Schwyz hat dem Parteivertreter des Beschwerdeführers eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4.
Die Sache wird zur Neuverlegung der Kosten- und Entschädigungsfolgen an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 23. November 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler