Sachverhalt:
A.
A.a. A._ (1973; Staatsangehöriger Serbiens) reiste am 1. September 2011 in die Schweiz ein und stellte am 5. September 2011 im Kanton Aargau ein Gesuch um Erteilung einer Aufenthaltsbewilligung zwecks Aufnahme einer Erwerbstätigkeit. Dabei legte er einen bis am 15. Januar 2019 gültigen slowenischen Pass vor, weshalb das Migrationsamt des Kantons Aargau ihm eine Aufenthaltsbewilligung EU/EFTA erteilte. Nach einem Wohnungswechsel nach Uzwil/SG stellte ihm das Migrationsamt des Kantons St. Gallen eine bis 31. Oktober 2016 gültige Aufenthaltsbewilligung EU/EFTA aus.
Am 17. April 2012 stellte A._, der sich erneut als slowenischer Staatsangehöriger ausgab, ein Gesuch um Familiennachzug für seine mazedonische Ehefrau B._ (geb. 1977) und die gemeinsame Tochter C._ (geb. 2011). Dem Familiennachzugsgesuch wurde am 19. April 2012 entsprochen und die Ehefrau sowie das gemeinsame Kind erhielten die Aufenthaltsbewilligung EU/EFTA im Rahmen des Familiennachzuges. Im 2012 kamen D._ und im 2015 E._ zur Welt. Beide sind mazedonische Staatsangehörige und erhielten im Rahmen des Familiennachzuges ebenfalls eine Aufenthaltsbewilligung EU/EFTA, ebenfalls gültig bis zum 31. Oktober 2016.
A.b. A._ stellte am 28. September 2016 beim Migrationsamt für sich und seine Kinder ein Gesuch um vorzeitige Erteilung der Niederlassungsbewilligung. Unter anderem legte er einen serbischen Pass bei, welcher am 29. Juni 2009 ausgestellt wurde und am 29. Juni 2019 ablief. Während des Gesuchsverfahrens wurde das Arbeitsverhältnis von A._ mit seiner damaligen Arbeitgeberin aufgelöst, weshalb er sein Gesuch um Erteilung der Niederlassungsbewilligung zurückzog. Das Migrationsamt verlangte in der Folge im Oktober und November 2016 weitere Unterlagen (u.a. originales Reisedokument aus Slowenien). A._ reichte am 7. November 2016 eine Bescheinigung der Republik Slowenien vom 4. November 2016 ein, wonach er kein slowenischer Staatsangehöriger sei. Weitere Abklärungen des Migrationsamtes bzw. des Bundesamtes für Polizei (Fedpol) ergaben, dass A._ kein slowenischer Staatsangehöriger und der Pass gefälscht ist. In der Folge verzeigte das Migrationsamt A._ am 2. Dezember 2016 bei der Polizei. Nachdem dieser mit Strafbefehl vom 2. Mai 2017 wegen Fälschung von Ausweisen, wegen rechtswidrigen Aufenthalts, wegen Erwerbstätigkeit ohne Bewilligung und wegen Täuschung der Behörden zu einer Geldstrafe und einer Busse verurteilt worden war, wurde A._ mit Urteil vom 22. Januar 2018 vom Bezirksgericht Zofingen von Schuld und Strafe freigesprochen. Das Urteil ist rechtskräftig; das Obergericht des Kantons Aargau trat auf eine Berufung am 6. Dezember 2018 nicht ein.
A.c. Am 25. April 2017 verfügte das Migrationsamt nach Gewährung des rechtlichen Gehörs die Nichtverlängerung der Aufenthaltsbewilligung EU/EFTA von A._ und seiner Familie. Der Rekurs dagegen wurde aufgrund des Strafverfahrens sistiert. Nach dem strafrechtlichen Freispruch hob das Migrationsamt am 4. März 2019 seine Verfügungen vom 25. April 2017 wiedererwägungsweise auf. Das Rekursverfahren wurde abgeschrieben.
B.
Am 12. Juli 2019 verfügte das Migrationsamt - nach nochmaliger Prüfung des slowenischen Passes durch die Kantonspolizei - erneut die Nichtverlängerung der Aufenthaltsbewilligung EU/EFTA und wies A._ aus der Schweiz weg. Zur Begründung führte es im Wesentlichen aus, dass ausländerrechtlich trotz des strafrechtlichen Freispruchs weiterhin von einer Täuschung der Behörden auszugehen sei. Mangels einer EU-Vertragsstaatsangehörigkeit seien die Voraussetzungen für die Erteilung einer Aufenthaltsbewilligung EU/EFTA von Anfang an nie gegeben gewesen. Die Rückkehr ins Heimatland könne ihm zugemutet werden. Mit Verfügung vom 5. August 2019 verlängerte das Migrationsamt auch die Aufenthaltsbewilligungen EU/EFTA von B._ und den drei Kindern nicht mehr. Die gegen die beiden Verfügungen erhobenen Rekurse wies das Sicherheits- und Justizdepartement am 13. November 2019 mit zwei separaten Entscheiden ab. Das Verwaltungsgericht des Kantons St. Gallen vereinigte die beiden Beschwerden und wies diese mit Entscheid vom 28. Mai 2020 ab.
C.
Vor Bundesgericht beantragen A._ und B._ und die Kinder C._, D._ und E._, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 28. Mai 2020 aufzuheben und ihnen die Aufenthaltsbewilligungen zu verlängern sowie eventualiter die Sache zur Neubeurteilung an die Vorinstanz bzw. an den Beschwerdegegner zurückzuweisen.
D.
Das Verwaltungsgericht, das Sicherheits- und Justizdepartement und das Migrationsamt beantragen unter Verweis auf die kantonalen Entscheide die Abweisung der Beschwerde.
E.
Antragsgemäss erteilte der Präsident der II. öffentlich-rechtlichen Abteilung mit Verfügung vom 3. Juli 2020 der Beschwerde aufschiebende Wirkung.

Erwägungen:
1.
Angefochten ist ein letztinstanzlicher kantonaler Entscheid auf dem Gebiet des Ausländerrechts, welcher grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt (Art. 82 lit. a i.V.m. <ref-law>). Die Beschwerdeführer haben Beschwerde gegen die gestützt auf Art. 23 VFP (SR 142.203) verfügte Nichtverlängerung einer ursprünglich fehlerhaften Bewilligung erhoben. Nach <ref-law> ist die Beschwerde unzulässig gegen Entscheide betreffend ausländerrechtliche Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Zu prüfen ist deshalb, ob den Beschwerdeführern ein Anspruch auf eine Bewilligung zukommt.
2.
2.1. Der Beschwerdeführer 1 ist als serbischer Staatsangehöriger - unbestrittenermassen - nicht Staatsangehöriger eines Mitgliedstaates des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen; FZA, SR 0.142.112.681). Insofern fehlen die Voraussetzungen für eine darauf gestützt Verlängerung und er kann keinen Anspruch daraus ableiten.
2.2. Auch nach dem Ausländer- und Integrationsgesetz vom 16. Dezember 2005 (AIG; SR 142.20; bis 31. Dezember 2019: AuG [AS 2007 5437]) besteht kein Anspruch. Selbst wenn man davon ausginge, dass der Beschwerdeführer 1 eine Aufenthaltsbewilligung nach <ref-law> gehabt hätte, besteht nach <ref-law> kein Anspruch, da danach die Aufenthaltsbewilligung nur verlängert werden kann. Es handelt sich dabei um eine Ermessens- und keine Anspruchsbewilligung.
2.3. Schliesslich lässt sich fragen, ob der Beschwerdeführer, was er im Übrigen nicht in der gebotenen Rüge- und Substantiierungspflicht (<ref-law>) vorbringt, gestützt auf Art. 8 EMRK in seinem Aspekt "Recht auf Achtung des Privatlebens" einen Anspruch hat, da er bereits seit längerem in der Schweiz lebt (vgl. <ref-ruling> E. 3.4 ff.). Allerdings ist u.a. Voraussetzung dafür, dass der Beschwerdeführer rechtmässig in der Schweiz gelebt hat (<ref-ruling> E. 3.9 S. 278). Dies trifft nicht zu: Die Anwesenheit des Beschwerdeführers gestützt auf das FZA war nicht rechtmässig, da er kein Staatsangehöriger eines FZA-Mitgliedstaates war. Die Aufenthaltsberechtigung nach FZA ergibt sich direkt aus dem Staatsvertrag, die Bewilligung ist lediglich deklaratorisch, weshalb die Aufenthaltsberechtigung unabhängig vom Vorliegen einer Bewilligung besteht oder nicht besteht (<ref-ruling> E. 2.2). Sind die Aufenthaltsvoraussetzungen nicht erfüllt, so wird der Aufenthalt nicht rechtmässig dadurch, dass eine Bewilligung erteilt worden ist (vgl. Urteil 2C_688/2017 vom 29. Oktober 2018 E. 3.3 mit Hinweis auf das Urteil des EuGH C-325/09 vom 21. Juli 2011, Dias, Rn. 54 f). Insofern steht ihm auch nach Art. 8 EMRK kein Anspruch zu.
2.4. Die Ehefrau und die Kinder machen keinen eigenständigen Rechtsanspruch geltend. Es ist auch keiner ersichtlich. Auch aus dem Familiennachzug lässt sich kein Anspruch ableiten, denn dieser fusst auf einer bestehenden Aufenthaltsberechtigung des Ehemanns und Vaters, welche aber - wie gesehen - nicht existiert.
3.
Zusammenfassend ergibt sich, dass die Beschwerdeführer keinen Anspruch geltend machen können. Diesbezüglich ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig (<ref-law>) und ist auf sie nicht einzutreten. Damit haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen, und es sind keine Parteientschädigungen geschuldet (Art. 66 Abs. 1, 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern 1 und 2 unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung II, und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 28. Juni 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Errass