Sachverhalt:
A.
A.a. Der 1955 geborene A._ war seit dem 1. April 2013 als Berater und Geschäftsführer für die B._ GmbH tätig, bei welcher er einziger Gesellschafter war. Mit Schreiben vom 15. Juli 2015 löste die Arbeitgeberin das Arbeitsverhältnis per 15. September 2015 auf. A._ meldete sich gleichentags zur Arbeitsvermittlung an und stellte am 21. September 2015 Antrag auf Arbeitslosenentschädigung. Nachdem der Gesuchsteller die Arbeitslosenkasse des Kantons Zürich darüber orientiert hatte, dass er seine Anteile an der B._ GmbH an einen Dritten übertragen hatte, richtete ihm diese ab Oktober 2015 Taggeldleistungen aus. Der Versicherte verlegte im August 2017 seinen Wohnsitz in den Kanton Luzern, weshalb ein Kassenwechsel erfolgte Er meldete sich am 12. Januar 2018 von der Arbeitsvermittlung ab, da er erneut von der B._ GmbH angestellt worden sei.
A.b. Am 7. Januar 2019 stellte A._ erneut einen Antrag auf Leistungen der Arbeitslosenversicherung, nachdem die B._ GmbH das Arbeitsverhältnis aus betriebsbedingten Gründen per 31. Dezember 2018 wieder gekündigt hatte. Die Arbeitslosenkasse des Kantons Luzern überprüfte in der Folge die Anspruchsberechtigung und kam zur Erkenntnis, der Versicherte habe seine arbeitgeberähnliche Stellung bei der B._ GmbH nie aufgegeben. Mit Verfügung vom 5. Juli 2019 verneinte die Arbeitslosenkasse des Kantons Zürich den Anspruch auf Arbeitslosenentschädigung ab 1. Oktober 2015 und forderte die in der Zeit vom 1. Oktober 2015 bis 31. Juli 2017 ausbezahlten Taggelder im Betrage von Fr. 122'801.30 zurück. Auf Einsprache hin wurde die Rückforderung auf den Zeitraum vom 15. Oktober 2015 bis 31. Juli 2017 und damit auf Fr. 120'669.75 reduziert und die Einsprache im Weiteren abgewiesen.
B.
Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 29. Januar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das kantonale Urteil sei insoweit aufzuheben, als die vom 16. Oktober 2015 bis 31. Juli 2017 ausbezahlten Taggelder der Arbeitslosenversicherung im Betrage von Fr. 120'669.75 zurückzuerstatten seien.
Das Bundesgericht führte keinen Schriftenwechsel durch.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Sachverhaltsfeststellung und Beweiswürdigung der Vorinstanz ist nicht schon dann offensichtlich unrichtig (willkürlich), wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es genügt somit nicht, dass eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Willkür liegt insbesondere vor, wenn die Vorinstanz offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder solche grundlos ausser Acht gelassen hat (vgl. <ref-ruling> E. 4.2 mit Hinweisen; Urteil 8C_24/2020 vom 19. Februar 2020 E. 1.2 mit Hinweis). Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips klar und detailliert aufzuzeigen. Auf ungenügend begründete Rügen oder blosse appellatorische Kritik am angefochtenen Entscheid, womit lediglich die eigene Sichtweise wiedergegeben wird, wie die Akten tatsächlich zu würdigen und welche rechtlichen Schlüsse daraus zu ziehen seien, geht das Bundesgericht nicht ein (<ref-ruling> E. 1.4; <ref-ruling> E. 5.1; Urteil 8C_24/2020 vom 19. Februar 2020 E. 1.2 mit Hinweis).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht zu Recht die Rückforderung der Arbeitslosenkasse von in der Zeit vom 15. Oktober 2015 bis zum 31. Juli 2017 ausgerichteter Arbeitslosenentschädigung im Umfang von Fr. 120'669.75 schützte.
Der Argumentation in der Beschwerde folgend ist letztinstanzlich nicht mehr strittig, dass der Beschwerdeführer im genannten Zeitraum bei der B._ GmbH weiterhin in einer faktischen Organstellung stand und somit grundsätzlich keinen Anspruch auf Taggelder der Arbeitslosenversicherung hatte. Er macht jedoch geltend, die Beschwerdegegnerin habe ihre Beratungs- und Aufklärungspflicht verletzt.
3.
3.1.
3.1.1. Gemäss <ref-law> sind die Versicherungsträger und Durchführungsorgane der einzelnen Sozialversicherungen verpflichtet, im Rahmen ihres Zuständigkeitsbereiches die interessierten Personen über ihre Rechte und Pflichten aufzuklären (Abs. 1). Jede Person hat Anspruch auf grundsätzlich unentgeltliche Beratung über ihre Rechte und Pflichten, wobei <ref-law> eine allgemeine und permanente Aufklärungspflicht der Versicherungsträger und Durchführungsorgane stipuliert, die nicht erst auf persönliches Verlangen der interessierten Personen zu erfolgen hat (<ref-ruling> E. 4.1; Urteil [des Eidgenössischen Versicherungsgerichts] C 138/05 vom 3. Juli 2006 E. 3.1 mit Hinweisen, in: ARV 2006 S. 295). Dafür zuständig sind die Versicherungsträger, denen gegenüber die Rechte geltend zu machen oder die Pflichten zu erfüllen sind. Nach der gleichzeitig mit dem ATSG am 1. Januar 2003 in Kraft gesetzten Ausführungsbestimmung des <ref-law> klären die in Art. 76 Abs. 1 lit. a-d AVIG genannten Durchführungsstellen die Versicherten über ihre Rechte und Pflichten auf, insbesondere über das Verfahren der Anmeldung und über die Pflicht, Arbeitslosigkeit zu vermeiden und zu verkürzen (Abs. 1).
3.1.2. <ref-law> beschlägt ein individuelles Recht auf Beratung durch den zuständigen Versicherungsträger. Jede versicherte Person kann vom Versicherungsträger im konkreten Einzelfall eine unentgeltliche Beratung über ihre Rechte und Pflichten verlangen (<ref-ruling> E. 4.1). Sinn und Zweck der Beratungspflicht ist, die betreffende Person in die Lage zu versetzen, sich so zu verhalten, dass eine den gesetzgeberischen Zielen des jeweiligen Erlasses entsprechende Rechtsfolge eintritt (<ref-ruling> E. 4.3; Urteile 8C_475/2009 vom 22. Februar 2010 E. 2.1, in: SVR 2010 UV Nr. 28 S. 113, und I 714/06 vom 20. April 2007 E. 4.1, in: SVR 2008 IV Nr. 10 S. 30; KURT PÄRLI/LEA MOHLER, in: Basler Kommentar, Allgemeiner Teil des Sozialversicherungsrechts, 2020, N. 24 zu <ref-law> mit Hinweisen; ULRICH MEYER, Grundlagen, Begriff und Grenzen der Beratungspflicht der Sozialversicherungsträger nach <ref-law>, in: Sozialversicherungsrechtstagung 2006, S. 9 ff., insb. S. 14 u. 25).
3.1.3. Eine ungenügende oder fehlende Wahrnehmung der Beratungspflicht kommt gemäss konstanter (<ref-ruling> E. 2b/aa; <ref-ruling> E. 3b; Urteil 8C_383/2010 vom 28. September 2010 E. 5.1.3 mit diversen Hinweisen) und unter der Herrschaft des <ref-law> weitergeltender Rechtsprechung (<ref-ruling> E. 5) einer falsch erteilten Auskunft des Versicherungsträgers gleich. Dieser hat in Nachachtung des Vertrauensprinzips hierfür einzustehen, sofern sämtliche Voraussetzungen des öffentlich-rechtlichen Vertrauensschutzes erfüllt sind (<ref-ruling> E. 5.2.1; Urteil 8C_438/2018 vom 10. August 2018 E. 3.4 mit Hinweisen).
3.2. Nach <ref-law> in Verbindung mit <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Zu Unrecht bezogene Geldleistungen, die auf einer formell rechtskräftigen Verfügung beruhen, können, unabhängig davon, ob die zur Rückforderung Anlass gebenden Leistungen förmlich oder formlos verfügt worden sind, nur zurückgefordert werden, wenn entweder die für die Wiedererwägung (wegen zweifelloser Unrichtigkeit und erheblicher Bedeutung der Berichtigung) oder die für die prozessuale Revision (wegen vorbestandener neuer Tatsachen oder Beweismittel) bestehenden Voraussetzungen erfüllt sind (<ref-ruling> E. 5.2). Im Verfahren betreffend Rückforderung zu viel bezahlter Arbeitslosenentschädigung steht somit die Frage im Zentrum, ob der Beschwerdeführer Leistungen zu Unrecht erhalten hat und bejahendenfalls, ob auf die bisherigen Leistungsabrechnungen aufgrund eines Rückkommenstitels zurückgekommen werden kann.
4.
Das kantonale Gericht kam nach Würdigung der Akten zum Schluss, der Beschwerdeführer habe auch nach Übertragung der Stammanteile der B._ GmbH in Zusammenhang mit der Führung der Gesellschaft weiterhin die Funktionen eines faktischen Organs ausgeübt, weshalb durch den Handelsregistereintrag nicht habe belegt werden können, dass die faktische Geschäftsführung tatsächlich übertragen worden war. Aufgrund dieser Tatsachen bestehe ein erhebliches Missbrauchsrisiko. Die Vorinstanz verneinte wegen einer andauernden arbeitgeberähnlichen Stellung den Anspruch auf Arbeitslosenentschädigung. Weiter stellte sie fest, die Beschwerdegegnerin habe nach Eingang des Antrags auf Arbeitslosenentschädigung am 7. Oktober 2015 erkannt, dass der Beschwerdeführer bei der B._ GmbH in einer arbeitgeberähnlichen Stellung stand. Mit Schreiben vom 8. Oktober 2015 habe sie ihn auf die Auswirkungen des Handelsregistereintrags auf den Anspruch auf Arbeitslosenentschädigung aufmerksam gemacht. Damit sei sie ihrer Aufklägungs- und Beratungspflicht gemäss Art. 27 Abs. 1 und 2 ATSG ausreichend und rechtzeitig nachgekommen. Dies treffe auch auf den weiteren Verlauf zu. Bis zum Zeitpunkt des Wegzugs in den Kanton Luzern habe der Versicherungsträger bei einem genügenden durchschnittlichen Mass an Aufmerksamkeit nicht erkennen können, dass der Beschwerdeführer seinen Leistungsanspruch gefährde, da die Beschwerdegegnerin nicht über die enge Verflechtung des Versicherten mit seiner ehemaligen Unternehmung informiert war. Zu Nachforschungen nach allfälligen entsprechenden Umständen habe erst die Wiederanstellung bei der B._ GmbH im Januar 2018 und die nachfolgende erneute Anmeldung zum Leistungsbezug am 7. Januar 2019 Anlass gegeben. Deshalb habe auch keine entsprechende Beratungspflicht verletzt werden können. Da der Bezug von Arbeitslosentaggeldern vom Oktober 2015 bis Juli 2017 zweifellos unrechtmässig erfolgt sei, habe die Beschwerdegegnerin wiedererwägungsweise auf ihre Verfügungen zurückkommen können, womit der Beschwerdeführer für die ausgerichteten Leistungen im Umfang von Fr. 120'669.75 rückerstattungspflichtig wurde. Die Rückforderungsverfügung vom 5. Juli 2019 sei innert Jahresfrist seit der Information über eine mögliche weiterbestehende arbeitgeberähnliche Stellung des Beschwerdeführers im April 2019 erlassen worden.
5.
Der Beschwerdeführer macht insbesondere geltend, die Verwaltung habe ihre Beratungspflicht in Bezug auf sein Verhältnis zur B._ GmbH und die damit verbundenen Konsequenzen für seinen Anspruch auf Arbeitslosenentschädigung verletzt, weshalb keine Rückerstattungspflicht bestehe.
5.1. Gemäss <ref-ruling> E. 4.3 bezweckt die Beratungspflicht gemäss <ref-law>, betroffene Personen darauf aufmerksam zu machen, dass ein gewisses Verhalten eine der Voraussetzungen des Leistungsanspruches gefährden kann. Zu verstehen sind darunter Handlungen wie die rechtzeitige Anmeldung oder die Wahrnehmung der Schadenminderungspflicht (KURT PÄRLI/LEA MOHLER, a.a.O., N. 24 zu <ref-law>). Die Beratungspflicht besteht indessen nicht uneingeschränkt. Es kann von einem Versicherungsträger nicht gefordert werden, dass er über eine in der allgemeineren Weise und Voraussicht hinausgehende Form bezüglich aller Eventualitäten zu informieren hat (KURT PÄRLI/LEA MOHLER, a.a.O., N. 25 zu <ref-law> mit Hinweis). Es genügt ein durchschnittliches Mass an Aufmerksamkeit. Zu Nachforschungen hinsichtlich allfälliger Umstände, welche die Anspruchsberechtigung in Frage hätten stellen können, ist die Verwaltung nicht verpflichtet (<ref-ruling> E. 7.2).
5.2. Die Vorbringen des Beschwerdeführers vermögen an der Beurteilung des kantonalen Gerichts nichts zu ändern.
5.2.1. Nach letztinstanzlich verbindlicher Feststellung der Vorinstanz (vgl. E. 1.2 hievor) war die nach der Auflösung des Arbeitsverhältnisses und der Übertragung der Stammanteile beibehaltene Verflechtung des Beschwerdeführers mit der B._ GmbH an den Beratungsgesprächen mit der Beschwerdegegnerin kein Thema. Insbesondere sei unerwähnt geblieben, dass er im Rahmen seiner behaupteten Suche nach einer Arbeitsstelle Projekte akquirierte, diese im Nachgang vom neuen Geschäftsführer genehmigen liess und schliesslich diese Projektarbeit im Rahmen und unter dem Titel eines Zwischenverdienstes bei der B._ GmbH übernahm. Diese Feststellung ist weder willkürlich noch sonstwie rechtsverletzend. Insbesondere kann der vom Beschwerdeführer vorgebrachte Umstand, dass er am 21. September 2015 mit seinem Berater bei der regionalen Arbeitsvermittlung (RAV) telefonierte, nichts über den Inhalt des Gesprächs aussagen. Wie die Vorinstanz hingegen richtig feststellte, belegt das Schreiben vom 8. Oktober 2015, dass der Beschwerdeführer von der Beschwerdegegnerin über die Auswirkung des mit dem Handelsregistereintrag belegten arbeitgeberähnlichen Verhältnisses auf seinen Anspruch auf Leistungen der Arbeitslosenversicherung orientiert wurde. Diese ist somit ihrer Beratungspflicht nachgekommen.
5.2.2. Gemäss angefochtenem Urteil wurde der Beschwerdeführer am 9. November 2016 ausdrücklich gefragt, inwieweit er bei der B._ GmbH noch weiter involviert sei. Auch bei dieser Gelegenheit habe dieser nicht offen gelegt, wie die Einsätze konkret ausgestaltet gewesen seien und wie er weiterhin mit seiner ehemaligen Unternehmung verflochten sei. Insbesondere habe die Beschwerdegegnerin nicht gewusst, dass es sich bei der B._ GmbH um eine "Einmann-Gesellschaft" handle. Entsprechendes ist aus dem Handelsregistereintrag nicht ersichtlich. Damit habe der Versicherungsträger mit einem durchschnittlichen Mass an Aufmerksamkeit nicht erkennen können, dass der Beschwerdeführer seinen Leistungsanspruch mit seinem Verhalten gefährde. Entsprechend habe die Beschwerdegegnerin auch keine Beratungspflicht getroffen. Daran vermögen auch die verschiedenen vom Beschwerdeführer vorgebrachten Beispiele, bei welchen Gelegenheiten die für ihn zuständigen Mitarbeiter der Beschwerdegegnerin seines Erachtens hätten hellhörig werden und vertiefte Abklärungen über seinen Status treffen müssen, nichts zu ändern. Es handelt sich dabei um eine eigene Beweiswürdigung durch den Beschwerdeführer. Eine solche vermag jedoch die Sachverhaltsfeststellungen der Vorinstanz nicht als willkürlich zu qualifizieren (E. 1.2 hievor). In der Beschwerde wird nicht aufgezeigt, inwiefern eine Rechtsverletzung durch das kantonale Gericht vorliegt. Eine solche ist denn auch nicht ersichtlich. Eine Verletzung der sich aus <ref-law> ergebenden Auskunfts- und Beratungspflicht liegt nicht vor.
5.3. Der Beschwerdeführer macht im Weiteren geltend, die Rückforderung sei bei Erlass der Verfügung vom 5. Juli 2019 bereits verwirkt gewesen.
5.3.1. Gemäss Art. 25 Abs. 2 erster Satz ATSG erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Bei den genannten Fristen handelt es sich um Verwirkungsfristen (<ref-ruling> E. 3.2.2, 140 V 521 E. 2.1). Unter der Wendung "nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat" ist der Zeitpunkt zu verstehen, in dem die Verwaltung bei Beachtung der gebotenen und zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen, oder mit andern Worten, in welchem sich der Versicherungsträger hätte Rechenschaft geben müssen über Grundsatz, Ausmass und Adressat des Rückforderungsanspruchs (<ref-ruling> E. 2.1 mit Hinweisen).
5.3.2. Wie dargelegt, hatte die Beschwerdegegnerin bis zum Wegzug des Beschwerdeführers in den Kanton Luzern per Ende Juli 2017 bei der von ihr geforderten Aufmerksamkeit keinen Anlass, den Leistungsanspruch eingehender zu prüfen. Im April 2019 wurde sie von der Arbeitslosenkasse des Kantons Luzern darüber in Kenntnis gesetzt, dass der Beschwerdeführer auch nach der Übergabe der Stammanteile der B._ GmbH und der Löschung im Handelsregister im September 2015 weiterhin in einer arbeitgeberähnlichen Stellung verblieb. Wie das kantonale Gericht zu Recht feststellte, erfolgte die Rückforderungsverfügung vom 5. Juli 2019 daher rechtzeitig, zumal die Wahrung der absoluten Fünfjahresfrist ausser Frage steht. Die Beschwerde ist folglich abzuweisen.
6.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Staatssekretariat für Wirtschaft (SECO) schriftlich mitgeteilt.
Luzern, 12. Mai 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer