Sachverhalt:
A.
Die B._ AG (nachfolgend auch: Gesellschaft) war der Ausgleichskasse Zug als beitragspflichtige Arbeitgeberin angeschlossen. A._ war vom 18. Dezember 2007 bis zur Auflösung der Gesellschaft zuerst als Präsident des Verwaltungsrates, später als Verwaltungsratsmitglied mit Einzelunterschrift im Handelsregister eingetragen. Am 18. April 2016 wurde über die Gesellschaft der Konkurs eröffnet. Mit Abschluss des Konkursverfahrens am 7. November 2017 wurde sie im Handelsregister gelöscht. Der Ausgleichskasse Zug (nachfolgend: Ausgleichskasse) wurde basierend auf ihren Beitragsverfügungen vom 2. Dezember 2016 für ausstehende Sozialversicherungsbeiträge am 2. November 2017 ein Verlustschein im Betrag von Fr. 50'213.80 ausgestellt. Mit Verfügung vom 29. November 2017 und Einspracheentscheid vom 26. Oktober 2018 verpflichtete die Ausgleichskasse A._ als ehemaligen Verwaltungsrat der Gesellschaft zur Bezahlung von Schadenersatz in der Höhe von Fr. 50'213.80.
B.
Das Verwaltungsgericht des Kantons Zug wies die von A._ dagegen erhobene Beschwerde mit Urteil vom 29. Mai 2020 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, es sei das Urteil des Verwaltungsgerichts Zug vom 29. Mai 2020 in Sachen Schadenersatz gemäss <ref-law> aufzuheben und er sei von der Verpflichtung, Schadenersatz zu bezahlen, freizusprechen. Eventualiter sei das Urteil teilweise aufzuheben und das massgebende Einkommen um die Zahlungen von "Management Fees" an C._ zu reduzieren und zwar im Jahre 2014 um Fr. 151'646.30 und im Jahre 2015 um Fr. 150'000.-. Dabei seien auf Verzugszins- und sonstige Forderungen ab dem Zeitpunkt der Revision, spätestens aber mit der Einsprache gegen die Schadenersatzverfügung zu verzichten. Es sei dem Urteil in Bezug auf die Beitragserhebung aufschiebende Wirkung zu erteilen.
Während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet, beantragt die Ausgleichskasse unter Beilage von weiteren Unterlagen die Abweisung der Beschwerde. Mit weiterer Eingabe vom 10. Dezember 2020 reicht auch A._ zusätzliche Unterlagen ein.

Erwägungen:
1.
1.1. Die II. sozialrechtliche Abteilung ist zuständig für den Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> und Art. 35 lit. a des Reglements vom 20. November 2006 für das Bundesgericht [BGerR; SR 173.110.131]).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 mit Hinweisen).
2.
Nach <ref-law>, welcher sinngemäss auch im Bereich der Invalidenversicherung (<ref-law>), der Erwerbsersatzordnung (<ref-law>; SR 834.1), der Arbeitslosenversicherung (<ref-law>; SR 837.0) und der Familienzulagen (Art. 25 lit. c des Bundesgesetzes vom 24. März 2006 über die Familienzulagen [Familienzulagengesetz, FamZG; SR 836.2]) Anwendung findet, hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen (Abs. 1). Ist der Arbeitgeber eine juristische Person, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden. Mehrere nach <ref-law> Schadenersatzpflichtige haften solidarisch (Abs. 2).
3.
3.1. Das kantonale Gericht hat den Schaden für entgangene, von der Gesellschaft für die Jahre 2014 und 2015 geschuldete Sozialversicherungsbeiträge (samt Verwaltungskosten, Verzugszinsen sowie Mahn- und Betreibungskosten) auf Fr. 50'213.80 festgelegt. Es legte der Berechnung die unbestrittenen Löhne des Beschwerdeführers (2014: Fr. 178'500.-; 2015 Fr. 66'000.-) sowie die Lohnauszahlungen an C._ im Jahr 2014 von Fr. 151'646.30 und im Jahr 2015 von Fr. 150'000.- zugrunde. Weiter hat die Vorinstanz eine Verletzung der Beitragszahlungspflicht (<ref-law>; <ref-law> [SR 831.101]) durch die Arbeitgeberin und damit eine Widerrechtlichkeit sowie ein Verschulden des Beschwerdeführers bejaht; sein Verhalten (prioritäre Behandlung der Lohnzahlungen vor der Beitragsentrichtung) sei insgesamt zumindest als grobfahrlässig zu qualifizieren, Rechtfertigungs- oder Schuldausschlussgründe würden nicht vorliegen. Schliesslich hat sie einen (adäquaten) Kausalzusammenhang zwischen dem Schaden und der Widerrechtlichkeit angenommen. Folglich bestätigte sie die Schadenersatzpflicht im Betrag von Fr. 50'213.80.
3.2. Der Beschwerdeführer macht dagegen zur Hauptsache geltend, auf den Zahlungen an C._ seien keine Sozialversicherungsbeiträge geschuldet, seien doch die Verwaltungsratszahlungen an diesen nicht der B._ AG zuzurechnen; bei Berücksichtigung dieses Umstandes seien praktisch sämtliche geschuldeten Beiträge bezahlt worden. Ferner bringt der Beschwerdeführer vor, er habe stets die Aufsicht darüber gehabt, ob die Beitragszahlungen bezahlt worden seien, er habe keine Vorschriften missachtet. Zudem treffe ihn kein Verschulden, da er den Schaden weder absichtlich noch grobfahrlässig verursacht habe; vielmehr liege - wenn überhaupt - eine leichte Fahrlässigkeit vor.
3.3. Die Beschwerdegegnerin verweist im Wesentlichen auf die vorinstanzlichen Erwägungen, bringt jedoch ergänzend insbesondere vor, es sei aktenwidrig, dass die Verwaltungsratszahlungen an C._ bereits über die D._ AG abgerechnet worden seien.
4.
4.1. Es ist vorab auf die Frage einzugehen, ob auf die Zahlungen an C._ Sozialversicherungsbeiträge gemäss <ref-law> geschuldet sind. Das rechtfertigt sich, weil dies noch nicht Gegenstand einer materiellen gerichtlichen Überprüfung war, somit eine vergleichbare Konstellation vorliegt, in der die Organe des Arbeitgebers einen nach der Konkurseröffnung zugestellten Bescheid über rückständige Beiträge nicht anfechten konnten (Urteil 9C_381/2018 vom 6. Dezember 2018 E. 4.2 mit Hinweisen; Urteil des Eidg. Versicherungsgerichts H 253/02 vom 23. Januar 2003 E. 5.1).
4.1.1. Bereits im vorinstanzlichen Verfahren machte der Beschwerdeführer geltend, C._ sei nie Verwaltungsrat der B._ AG gewesen und habe deshalb auch kein Verwaltungsratshonorar beziehen können. Bei den Überweisungen habe es sich um konzerninternen Liquiditätsausgleich ("Cash-Pooling") gehandelt. Dem hielt d ie Vorinstanz entgegen, die Revisoren hätten im Bericht vom 24. November 2016 festgestellt, über das Konto xxx "Management Fees" (der B._ AG) seien dem damals in Deutschland wohnhaft gewesenen C._ Verwaltungshonorare in der Höhe von Fr. 151'646.30 für das Jahr 2014 und von Fr. 150'000.- für das Jahr 2015 ausbezahlt worden. Auf die Nachfrage beim Beschwerdeführer, warum sie nicht abgerechnet worden seien, habe dieser mitgeteilt, C._ sei in Österreich abrechnungspflichtig gewesen, was jedoch mangels eines Formulars A1 nicht habe bestätigt werden können. Das kantonale Gericht kam zum Schluss, es sei zwar nicht aus zuschliessen, dass Cash-Pooling-Vorgänge auch im Konzern der B._ AG üblich gewesen seien. Ein diesbezüglicher Zusammenhang mit den Zahlungen an C._ persönlich sei jedoch keineswegs ersichtlich. Aus den Akten ergäben sich keine Anhaltspunkte dafür.
4.1.2. Die Frage, ob die B._ AG C._ Verwaltungsratshonorare für die Tätigkeit bei der B._ AG ausbezahlte oder ob diese Zahlungen im Rahmen eines Cash-Poolings von der B._ AG anstelle der D._ AG an C._ bezahlt wurden, betrifft die Feststellung des Sachverhaltes. Diese ist daher für das Bundesgericht grundsätzlich verbindlich (vgl. E. 1.2).
Was der Beschwerdeführer gegen die vorinstanzlichen Feststellungen vorbringt, vermag sie nicht als offensichtlich falsch oder auf einer Rechtsverletzung beruhend erscheinen lassen. So trägt er selber vor, er habe keine Veranlassung gehabt, anlässlich der Revision auf das "Cash-Pooling" näher einzugehen. Er habe damals damit argumentiert, C._ sei nicht dem schweizerischen Sozialversicherungsrecht unterstellt. Im Übrigen beschränkt er sich im Wesentlichen auf das Vorbringen, er habe sinngemäss auf das "Cash-Pooling" hingewiesen bzw. er habe explizit darauf hingewiesen, dass "die B._ AG und D._ AG zu einem Konzerngefüge gehören und nicht nur eine gemeinsame Steuerverrechnung durchgeführt haben, sondern auch die Auszahlung von Honorarnoten und Gehältern gemeinsam durchgeführt haben". Mit diesen Ausführungen gibt der Beschwerdeführer lediglich eine eigene Sachverhaltsinterpretation wieder, welche nicht dazu führen kann, dass die detailliert begründeten vorinstanzlichen Feststellungen als offensichtlich falsch zu betrachten wären. Als ausschlaggebendes Element ist zu beachten, dass die Zahlungen an C._ unbestrittenerweise im Konto xxx "Management Fees" verbucht worden waren. Das ist gemäss allen üblichen Kontorahmen ein Aufwandkonto. Demgegenüber bezeichnet Cash-Pooling, wie in den nicht weiter bestrittenen vorinstanzlichen Erwägungen richtig ausgeführt wurde, einen konzerninternen Liquiditätsausgleich durch ein zentrales Finanzmanagement, das den Konzernunternehmen überschüssige Liquidität entzieht bzw. Liquiditätsunterdeckungen durch Kredite ausgleicht. Es handelt sich dabei somit um reine Bilanztransaktionen, welche - abgesehen von den Zinsfolgen - grundsätzlich keine erfolgswirksamen Auswirkungen haben. Es ist daher nicht nachvollziehbar, inwiefern eine Zahlung im Rahmen eines Cash-Poolings bei der die Zahlung leistenden Gesellschaft zu einer Aufwandbuchung führen könnte. Wenn die Gesellschaft "Management Fees" als Aufwand verbucht hat, so signalisiert das vielmehr - vorbehalten einer unrechten Verbuchung oder einer geldwerten Leistung der Gesellschaft an einen Nahestehenden, beispielsweise an eine Schwester- oder Tochtergesellschaft -, dass sie tatsächlich Auslagen für derartige Leistungen zu ihren Gunsten hatte. Das gilt auch hier, nachdem der Beschwerdeführer nicht geltend macht, es handle sich bei den verbuchten Zahlungen um eine solche geldwerte Leistung, und seine Behauptung, es habe sich um Liquiditätsausgleich gehandelt, die Verbuchungsweise nicht zu erklären vermag. Insoweit gibt die Beschwerde keinen Grund von der vorinstanzlichen Sachverhaltsfeststellung abzuweichen, wonach nicht von Zahlungen im Rahmen eines Cash-Poolings auszugehen ist.
Soweit der Beschwerdeführer im Weiteren vorbringt, C._ sei nie als Verwaltungsrat der B._ AG im Handelsregister eingetragen gewesen, übersieht er, dass die formelle Organeigenschaft des Bezügers eines Entgelts für Leitungsfunktionen nicht Voraussetzung für die Qualifikation dieses Entgeltes als beitragspflichtiger Lohn darstellt. Massgebend ist vielmehr, ob die Zahlung für eine - als unselbständig zu qualifizierende - Tätigkeit zu Lasten der Gesellschaft entrichtet wurde. Auch diesbezüglich ist vorliegend in erster Linie relevant, dass die Gesellschaft selber die Zahlungen an C._ im Konto xxx "Management Fees" als Aufwand verbucht hat. Auf diese selbstgewählte Verbuchungsweise ist die Gesellschaft - bereits aufgrund des Massgeblichkeitsprinzips - zu behaften. Das hat zur Folge, dass davon auszugehen ist, C._ habe für die Gesellschaft - oder im Auftrag der Gesellschaft für eine Gruppengesellschaft - Managementdienstleistungen erbracht, für welche er von ihr entschädigt wurde. Die, im Übrigen in der Beschwerde nicht weiter belegte, Behauptung, C._ sei für Leistungen entschädigt worden, die er der D._ AG erbracht hatte, mag daran nichts zu ändern: Wesentlich ist, dass die Leistungen durch die Gesellschaft entschädigt worden sind. Die Vorinstanz hat denn auch zu Recht darauf hingewiesen, dass als "Management Fees" (im Konzernverhältnis) Entgelte bezeichnet werden, die eine Holdinggesellschaft (bzw. richtigerweise [irgend]eine Konzerngesellschaft) für (Management-) Tätigkeiten zugunsten von anderen Konzerngesellschaften bezieht. Für die vorliegende Konstellation, in welcher von der Holdinggesellschaft als "Management Fees" bezeichnete Vergütungen an eine natürliche Person bezahlt und erfolgswirksam verbucht wurden, weist dies darauf hin, dass der Empfänger für Managementdienstleistungen, welche er für die bezahlende Gesellschaft zu Gunsten einer anderen Konzerngesellschaft erbracht hatte, entschädigt wurde. Der Beschwerdeführer führt somit auch in dieser Hinsicht nichts an, was dazu führen könnte, die konkreten Verhältnisse anders zu beurteilen.
Der Beschwerdeführer bringt schliesslich vor, die Ausgleichskasse habe zweimal Sozialversicherungsbeiträge auf den Verwaltungsratshonorarzahlungen an C._ verlangt, einerseits über die Beitragserhebung bei der D._ AG in Liq. und andererseits über die Beitragserhebung bei der B._ AG. Dies bestreitet die Beschwerdegegnerin unter Verweis auf die eingereichte Lohnbescheinigung 2015 der D._ AG vom 14. Januar 2016 und den Bericht über die Arbeitgeberkontrolle bei der D._ AG vom 24. August 2016 als aktenwidrig. Die Einreichung dieser neuen Unterlagen durch die Ausgleichskasse ist als zulässig zu beurteilen (<ref-law>), nachdem sie in der Aufforderung zur Vernehmlassung zu diesem Sachverhaltsumstand ausdrücklich befragt wurde (<ref-law>). Die Behauptung des Beschwerdeführers einer doppelten Abrechnung ist damit widerlegt. Zudem kann er entgegen seinen Ausführungen nichts zu seinen Gunsten aus der Schadenersatzverfügung vom 19. April 2017 betreffend die D._ AG ableiten, ergibt sich daraus doch nichts Abweichendes.
4.1.3. Die Vorinstanz hielt zum Einwand, C._ unterstehe nicht dem schweizerischen, sondern dem österreichischen Sozialversicherungsrecht, fest, die zur Beweisführung aufgelegten Dokumente würden sich als unbehelflich erweisen, lasse sich doch daraus die Entrichtung von sozialversicherungsrechtlichen Abgaben in Österreich nicht entnehmen. Dazu bringt der Beschwerdeführer vor Bundesgericht vor, er habe sich auf diesen Standpunkt gestellt, weil ihm C._ dies mitgeteilt habe. Ob die Einkünfte überhaupt dem schweizerischen oder österreichischen Sozialversicherungsrecht unterstellt seien, sei von zweitrangiger Bedeutung. Eine Unterstellung von C._ unter das Sozialversicherungsrecht in Österreich ist somit nicht ersichtlich. Mit seinem Vorbringen vermag der Beschwerdeführer daher nicht aufzuzeigen, dass die Sachverhaltsfeststellung der Vorinstanz unrichtig war. Im Übrigen belegen auch die vom Beschwerdeführer nachträglich im bundesgerichtlichen Verfahren aufgelegten Dokumente nichts anderes. Es kann daher offen bleiben, ob es sich bei diesen nicht ohnehin um unzulässige Noven gemäss <ref-law> handelt.
4.1.4. Basierend auf der vorgenannten, für das Bundesgericht verbindlichen (vgl. E. 1.2) Sachverhaltsfeststellung kam die Vorinstanz zum Schluss, dass die fraglichen Zahlungen bei der AHV-pflichtigen Lohnsumme der Gesellschaft anzurechnen seien. Mit dieser rechtlichen Würdigung setzt sich der Beschwerdeführer nicht weiter auseinander, weshalb es damit sein Bewenden hat (vgl. E. 1.2).
4.1.5. Betragsmässig ist die aufgerechnete Lohnsumme für C._ nicht bestritten. Damit ist festzuhalten, dass die Vorinstanz zu Recht eine Verletzung der Beitragspflicht im Umfang von Fr. 50'213.80 festgestellt und die Widerrechtlichkeit bejaht hat.
4.2. Das kantonale Gericht hat festgehalten, das Verhalten des Beschwerdeführers sei insgesamt zumindest als grobfahrlässig zu bezeichnen. Mit dieser Feststellung setzt sich der Beschwerdeführer inhaltlich nicht auseinander. Zwar macht er geltend, es sei ihm häufig gar kein finanzieller Spielraum geblieben, um der Beitragspflicht nachzukommen, und letztlich habe er auch noch auf 63 % seines Lohnes verzichtet, damit die Arbeitgeberin die Begleichung der Sozialversicherungsbeiträge vornehmen konnte. Er habe alles ihm Mögliche und Zumutbare für die Begleichung der Sozialversicherungsbeiträge unternommen. Diese Vorbringen vermögen jedoch nicht zu entkräften, dass er - wie ihm die Vorinstanz vorhielt - der Auszahlung von Lohnzahlungen vor der Beitragsentrichtung offensichtlich Priorität einräumte. Angesichts der in Frage stehenden Summe der Auszahlungen und des Umstandes, dass der Beschwerdeführer selber ausführt, er habe stets die Aufsicht über die Bezahlung der Sozialversicherungsbeiträge gehabt, ist der Vorwurf des grobfahrlässigen Verhaltens ohne Weiteres zu bestätigen. Daran vermag entgegen seiner Auffassung nichts zu ändern, dass er die Lohnbescheinigungen für die Jahre 2014 und 2015 fristgerecht eingereicht hatte, waren diese doch nach dem vorstehend Ausgeführten widerrechtlich unvollständig.
4.3. Was schliesslich den von der Vorinstanz festgestellten adäquaten Kausalzusammenhang zwischen dem festgestellten Schaden und der Widerrechtlichkeit anbelangt, bringt der Beschwerdeführer vor, die Ausgleichskasse habe eine grobe Pflichtwidrigkeit begangen, indem sie regelmässig - wenn gleich nicht immer - Zahlungsaufschübe gewährt und Zahlungsvereinbarungen abgeschlossen habe. Es ist weder nachvollziehbar, inwiefern das Entgegenkommen der Ausgleichskasse zu Gunsten der Gesellschaft grob pflichtwidrig gewesen sein soll, noch inwiefern dadurch der adäquate Kausalzusammenhang zwischen dem Schaden und der Widerrechtlichkeit beeinflusst wurde.
5.
Die Beschwerde ist daher abzuweisen und das angefochtene Urteil ist zu bestätigen.
6.
Mit dem Entscheid in der Hauptsache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
7.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von insgesamt Fr. 4000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. August 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli