Sachverhalt:
A.
A.a. A._ (geboren 1977), nigerianischer Staatsangehöriger, heiratete am 7. Dezember 2005 in Nigeria die Schweizerin D._ (geboren 1984) und reiste daraufhin am 21. Mai 2006 in die Schweiz ein. Zwecks Familiennachzug erhielt er eine Aufenthaltsbewilligung, welche zuletzt bis am 20. Mai 2010 verlängert wurde. Am 6. Mai 2010 wurde die Ehe geschieden. Mit Verfügung vom 6. Dezember 2012 wies das Migrationsamt des Kantons Zürich (Migrationsamt) das Gesuch von A._ um Verlängerung der Aufenthaltsbewilligung ab und setzte ihm zum Verlassen der Schweiz eine Ausreisefrist bis zum 28. Februar 2013. Dagegen erhob A._ Rekurs.
A.b. Während des laufenden Rekursverfahrens heiratete A._ am 14. Mai 2013 die in der Schweiz niedergelassene, deutsche Staatsangehörige B._ (geboren 1963), worauf er am 25. Juni 2013 eine Aufenthaltsbewilligung EU/EFTA zum Verbleib bei seiner Ehefrau erhielt. Daraufhin zog er mit Schreiben vom 10. Juli 2013 den vorgenannten Rekurs zurück. Die Rekursinstanz bzw. Sicherheitsdirektion des Kantons Zürich (Sicherheitsdirektion) verfügte anschliessend am 11. Juli 2013 angesichts des Rekursrückzugs die Abschreibung des Verfahrens "als erledigt".
B.
Am 13. Februar 2018 ging bei der Kantonspolizei Zürich eine Drittanzeige gegen die Eheleute A._ und B._ wegen des Verdachts einer Scheinehe ein. Anlässlich der darauf folgenden Untersuchung ergab sich, dass sich B._ vom 13. Mai 2017 bis zum 29. September 2018 in Nigeria aufgehalten hatte. Aus diesem Grund stellte das Migrationsamt mit Verfügung vom 27. März 2019 fest, dass deren Niederlassungsbewilligung erloschen war und wies sie an, die Schweiz bis zum 31. Mai 2019 zu verlassen. Mit Verfügung vom 30. Juli 2019 verweigerte das Migrationsamt zudem die Verlängerung der Aufenthaltsbewilligung von A._ und wies letzteren an, die Schweiz bis zum 29. Oktober 2019 zu verlassen. Die dagegen je von A._ und B._ erhobenen Rekurse wurden in einem Verfahren vereinigt und mit Rekursentscheid vom 14. Mai 2020 abgewiesen, wobei den Rekurrierenden eine Ausreisefrist bis zum 10. August 2020 gesetzt wurde. Die anschliessende Beschwerde erwies sich gemäss Urteil des Verwaltungsgerichts des Kantons Zürich vom 3. Dezember 2020 als erfolglos.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 25. Januar 2021 beantragten A._ (Beschwerdeführer) und B._ (Beschwerdeführerin; beide zusammen Beschwerdeführer) die Aufhebung des vorinstanzlichen Urteils. Das Migrationsamt sei anzuweisen, die Aufenthaltsbewilligung des Beschwerdeführers zu verlängern und der Beschwerdeführerin eine Aufenthaltsbewilligung zu erteilen.
Mit Präsidialverfügung vom 26. Januar 2021 wurde der Beschwerde in öffentlich-rechtlichen Angelegenheiten antragsgemäss die aufschiebende Wirkung zuerkannt.
D.
Mit Schreiben vom 20. Oktober 2021 liess das Migrationsamt dem Bundesgericht eine Abmeldeerklärung der Beschwerdeführer zukommen, wonach diese per 18. Oktober 2021 nach Deutschland weggezogen sind und ihren Wohnsitz in der Schweiz aufgegeben haben. Mit Verfügung vom 5. November 2021 lud der Instruktionsrichter unter Beilage einer Kopie dieser Dokumente die Beschwerdeführer ein, dem Bundesgericht bis zum 25. November 2021 mitzuteilen, ob sie an der vorgenannten Beschwerde in öffentlich-rechtlichen Angelegenheiten festhalten wollten. Diese Verfügung wurde unter Beilage der eingangs genannten Dokumente auch den übrigen Verfahrensbeteiligten, der Vorinstanz und dem Staatssekretariat für Migration schriftlich mitgeteilt.
E.
Der Rechtsvertreter der Beschwerdeführer teilte dem Bundesgericht mit Schreiben vom 25. November 2021 mit, dass an der Beschwerde festgehalten werde.

Erwägungen:
1.
1.1. Mit ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten verlangten die Beschwerdeführer die Gewährung einer Aufenthaltsbewilligung zwecks Verbleib in der Schweiz. Beschwerdeberechtigt ist jedoch nur, wer über ein schutzwürdiges Interesse an der Aufhebung oder Änderung des angefochtenen Urteils verfügt (<ref-law>). Dieses Interesse muss vorbehältlich hier nicht zutreffender Ausnahmen auch zum Zeitpunkt, an welchem das Bundesgericht über den Streitfall entscheidet, noch vorhanden sein (<ref-ruling> E. 1.1). Fällt das schutzwürdige Interesse während des Verfahrens dahin, wird die Streitsache gegenstandslos (<ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.1; Urteile 2C_762/2020 vom 9. Juni 2021 E. 1.2; 2C_622/2016 vom 31. März 2017 E. 3.1).
1.2. Vorliegend ist unbestritten, dass die Beschwerdeführer die Schweiz definitiv verlassen haben, weshalb sie über kein aktuelles Rechtsschutzinteresse an der Behandlung der Beschwerde mehr verfügen. Das Schreiben ihres Rechtsvertreters, wonach sie an der Beschwerde festhalten, ändert daran nichts. Das vorliegende Verfahren ist somit gegenstandslos.
2.
In diesem Fall schreibt der Instruktionsrichter als Einzelrichter das Verfahren als erledigt ab (<ref-law>) und entscheidet mit summarischer Begründung über die Prozesskosten aufgrund der Sachlage vor Eintritt des Erledigungsgrundes (<ref-law> i.V.m. <ref-law>). Diesbezüglich ist in erster Linie auf den mutmasslichen Ausgang des Prozesses abzustellen. Dabei ist nicht auf alle Rügen einzeln und detailliert einzugehen. Die Kostenentscheidung ist kein Urteil in der Sache und heikle Rechtsfragen sind weder zu entscheiden noch zu präjudizieren (Urteile 2C_762/2020 vom 9. Juni 2021 E. 2.1; 2C_622/2016 vom 31. März 2017 E. 3.1).
3.
3.1. Vorliegend ist unbestritten, dass die Beschwerdeführerin sich vom Mai 2017 bis September 2018 in Nigeria aufhielt, weshalb ihre Niederlassungsbewilligung gestützt auf Art. 61 Abs. 2 AuG (ab 1. Januar 2019: AIG) erloschen ist. Vorinstanzlich wurde festgestellt, dass sie nur in sehr geringem Ausmass unselbständig erwerbstätig ist und einen sehr geringen Lohn erzielt; auch geht sie keiner selbständigen Erwerbstätigkeit nach. Gegenüber diesen Feststellungen übt die Beschwerdeführerin nur appellatorische Sachverhaltskritik (vgl. dazu <ref-ruling> E. 2.3). Gestützt auf diesen Sachverhalt hat die Vorinstanz zu Recht erwogen, die Beschwerdeführerin gelte nicht als Arbeitnehmerin im Sinne des FZA und damit als nicht erwerbstätig (vgl. Art. 6 Abs. 1 Anhang I FZA; Urteil 2C_988/2020 vom 29. April 2021 E. 3.3 mit zahlreichen Hinweisen). Im Weiteren hat sie zutreffenderweise erwogen, dass die Beschwerdeführerin nicht über die nötigen finanziellen Mittel verfügt, um ein Aufenthaltsrecht ohne Erwerbstätigkeit in Anspruch nehmen zu können (vgl. Art. 2 Abs. 2 und Art. 24 Abs. 1 und 2 Anhang I FZA). Demzufolge ist davon auszugehen, dass die Beschwerdeführerin keinen Anspruch auf Erteilung einer Aufenthaltsbewilligung hat.
3.2. Nachdem die Beschwerdeführerin mutmasslich über kein Aufenthaltsrecht in der Schweiz verfügt, kann der Beschwerdeführer seinerseits kein Aufenthaltsrecht aus der Ehe mit ihr respektive dem FZA ableiten (vgl. Art. 7 lit. d FZA i.V.m. Art. 3 Abs. 1 und 2 lit. a Anhang I FZA). Zudem kann er auch aufgrund seiner ersten Ehe mit der Schweizerin D._ (vgl. lit. A. oben) mutmasslich kein Aufenthaltsrecht gestützt auf Art. 50 Abs. 1 lit. a AuG (in der bis zum 31. Dezember 2018 gültigen Fassung; ab 1. Januar 2019 mit revidiertem Wortlaut: AIG) beanspruchen. Nach summarischer Prüfung hat die Vorinstanz zu Recht erwogen, die Verfügung des Migrationsamtes vom 6. Dezember 2012, wonach die seinerzeitige Ehegemeinschaft weniger als drei Jahre gedauert habe, sei infolge Rückzug des Rekurses (vgl. lit. A. oben) in Rechtskraft erwachsen. Die Schlussfolgerung der Vorinstanz, wonach der Beschwerdeführer sich bezüglich Aufenthaltsrecht nicht auf seine erste Ehe berufen kann, ist deshalb nicht zu beanstanden.
4.
Nach dem Gesagten ergibt sich, dass die vorliegende Beschwerde in öffentlich-rechtlichen Angelegenheiten nach summarischer Prüfung mutmasslich abzuweisen gewesen wäre. Die Gerichtskosten des bundesgerichtlichen Verfahrens werden deshalb in reduzierter Höhe den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt (Art. 65, Art. 66 Abs. 1 und 5 BGG). Ein Anspruch auf Parteientschädigung besteht nicht (<ref-law>).

Demnach erkennt der Einzelrichter:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird als gegenstandslos abgeschrieben.
2.
Die Gerichtskosten des bundesgerichtlichen Verfahrens im Betrag von Fr.1'000.-- werden den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 26. Januar 2022
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: Beusch
Der Gerichtsschreiber: Quinto