Sachverhalt:
A.
A._ fungierte vom März 2002 bis Oktober 2005 als Geschäftsführer und vom Oktober 2005 bis Dezember 2015 als Verwaltungsrat der B._ AG, welche der Ausgleichskasse Zug angeschlossen war. Im Februar 2017 wurde das Unternehmen infolge Konkurses im Handelsregister gelöscht. Mit - im Amtsblatt des Kantons Zug publizierter - Verfügung vom........ 2017 verpflichtete die Ausgleichskasse A._ zur Leistung von Schadenersatz für entgangene Sozialversicherungsbeiträge der Jahre 2009 bis 2014 in der Höhe von insgesamt Fr. 42'884.65. Am 13. Juni 2017 mahnte die Ausgleichskasse, nachdem sie vom neuen Wohnort von A._ Kenntnis erhalten hatte, zur Zahlung der ausstehenden Schadenersatzforderung. Auf dessen Einwendungen vom 20. Juni 2017 hin sandte sie ihm eine neue Verfügung gleichen Inhalts, datierend vom 21. Juni 2017. Die dagegen erhobene Einsprache wurde mit Einspracheentscheid vom 29. Januar 2018 als unzulässig eingestuft, da die Verfügung vom 7. April 2017 rechtmässig und ohne Formmängel eröffnet worden und auf die gegen die folglich als nichtig zu qualifizierende Verfügung vom 21. Juni 2017 gerichtete Einsprache nicht einzutreten sei. Das daraufhin beschwerdeweise angerufene Verwaltungsgericht des Kantons Zug hob den angefochtenen Einspracheentscheid mit der Begründung auf, die Ausgleichskasse habe ihre Verfügung vom 7. April 2017 zwar in gültiger Form eröffnet; durch den erneuten Erlass am 21. Juni 2017 sei die dreissigtägige Einsprachefrist jedoch wiederhergestellt worden, weshalb die Ausgleichskasse auf die innert Frist angetragene Einsprache hätte eintreten müssen (Urteil vom 24. Mai 2018, in Rechtskraft erwachsen). In der Folge wurde die Verfügung vom 7. April 2017 mit Einspracheentscheid vom 27. August 2019 bestätigt.
B.
Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Zug ab (Urteil vom 22. März 2021).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das angefochtene Urteil sowie der Einspracheentscheid der Ausgleichskasse vom 27. August 2019 und die Verfügung vom 21. Juni 2017 seien mit der Feststellung aufzuheben, die Schadenersatzforderung sei verjährt; eventualiter sei die Angelegenheit zur Feststellung der behaupteten Schadenersatzforderung an die Vorinstanz zurückzuweisen. Ferner sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Das kantonale Gericht und die Ausgleichskasse schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. Mit Eingabe vom 25. August 2021 hält A._ an seinen Anträgen fest.
D.
Mit Verfügung vom 16. Juni 2021 ordnete der Instruktionsrichter bis zum Entscheid über das Gesuch um aufschiebende Wirkung einen Vollzugsstopp an.

Erwägungen:
1.
Da sich das Leistungsbegehren des Beschwerdeführers in Form des Antrags auf Aufhebung des angefochtenen Urteils sowie des Einspracheentscheids der Beschwerdegegnerin vom 27. August 2019 und damit der Schadenersatzforderung im Betrag von Fr. 42'884.65 in prozessualer Hinsicht als zulässig erweist, entfällt das im Hinblick auf das ebenfalls gestellte Feststellungsbegehren erforderliche rechtlich geschützte Interesse (vgl. u.a. Urteil 6B_1459/2019 vom 15. Juni 2020 E. 2.2 mit Hinweisen).
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.2. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. <ref-law>), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
3.
3.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie eine Pflicht des Beschwerdeführers zur Leistung von Schadenersatz in der Höhe von Fr. 42'884.65 (Einspracheentscheid vom 27. August 2019) bejahte. Im Zentrum steht dabei die Frage, ob das kantonale Gericht die Schadenersatzforderung der Beschwerdegegnerin zu Recht als nicht verjährt betrachtet hat.
3.2.
3.2.1. Im angefochtenen Urteil wurden die Grundlagen der Arbeitgeberhaftung (<ref-law>; Art. 14 Abs. 1 und Art. 51 Abs. 1 AHVG in Verbindung mit <ref-law>) und die dazu ergangene Rechtsprechung zutreffend dargelegt. Es betrifft dies insbesondere die Voraussetzungen der subsidiären Haftung der Organe eines Arbeitgebers (Schaden, Widerrechtlichkeit, Verschulden und adäquater Kausalzusammenhang zwischen vorwerfbarem Verhalten und eingetretenem Schaden). Richtig wiedergegeben hat die Vorinstanz auch die Verjährungsbestimmung des <ref-law> in der hier anwendbaren, bis Ende 2019 gültig gewesenen Fassung, wonach der Schadenersatzanspruch zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, spätestens aber fünf Jahre nach Eintritt des Schadens verjährt; diese Fristen können gemäss Satz 2 der Bestimmung unterbrochen werden (vgl. auch die auf 1. Januar 2020 in Kraft getretene Neuregelung; ferner Urteil 9C_400/2020 vom 19. Oktober 2020 E. 3). Darauf wird verwiesen.
3.2.2. Korrekt erwogen wurde durch das kantonale Gericht namentlich, dass die relative zweijährige Verjährungsfrist in Gang gesetzt wird, wenn die Ausgleichskasse die für den Erlass einer Schadenersatzverfügung notwendige Kenntnis über Existenz, Beschaffenheit und wesentliche Merkmale des Schadens sowie die Person des Ersatzpflichtigen hat bzw. haben muss (<ref-ruling> E. 5a mit Hinweisen). In diesem Sinne zumutbare Kenntnis eines Teilschadens genügt (<ref-ruling> E. 3c/bb; Urteil 9C_131/2008 vom 28. Mai 2009 E. 3.3.1, zusammengefasst in: SZS 2010 S. 46). Da die ausstehende Beitragsforderung Grundlage für die Höhe des Schadens bildet, kann die Schadenskenntnis erst angenommen werden, sobald die Ausgleichskasse in der Lage ist, die voraussichtliche Höhe des infolge der unbezahlt gebliebenen Beiträge zu erwartenden Verlusts abzuschätzen (Urteil 9C_260/2021 vom 6. Dezember 2021 E. 4.1.1 mit Hinweisen).
Anzufügen ist, dass sich für die einzelnen Konstellationen, in denen der Ausgleichskasse ein Schaden entsteht, in der Praxis Regelzeitpunkte entwickelt haben, in welchen die Schadenskenntnis üblicherweise angenommen wird. Es sind dies namentlich die Zustellung des definitiven Pfändungsverlustscheins, die Auflage des Kollokationsplans sowie die Einstellung des Konkursverfahrens mangels Aktiven (Urteil 9C_260/2021 vom 6. Dezember 2021 E. 4.1.2 mit diversen Hinweisen). Im Falle des Regelzeitpunkts des Kollokationsplans ist dessen im Schweizerischen Handelsamtsblatt (SHAB) zu veröffentlichende Auflage (samt Inventar) massgeblich, wobei auf die tatsächliche Einsichtnahme auf dem Konkursamt abzustellen ist oder, sofern darauf verzichtet wird, auf das Ende der Auflagefrist (<ref-ruling>). Die fristauslösende Schadenskenntnis kann ausnahmsweise schon vor dem jeweiligen Regelzeitpunkt gegeben sein. Rechtsprechungsgemäss wird diesbezüglich jedoch ein strenger Massstab angelegt und nicht nur eine Vermutung sondern die gesicherte Kenntnis des entstandenen Schadens verlangt. Eine Vorverlegung auf die Zeit vor Auflegung des Kollokationsplans rechtfertigt sich etwa bei Verweigerung oder Widerruf einer Nachlassstundung, bei Nichtgenehmigung eines Nachlassvertrags mit Vermögensabtretung oder wenn eine Ausgleichskasse anlässlich der Gläubigerversammlung vernimmt, dass ihre Forderung auf jeden Fall ungedeckt bleiben wird (Urteil 9C_260/2021 vom 6. Dezember 2021 E. 4.1.2.1; ferner <ref-ruling> E. 3c/bb; Urteile 9C_407/2011 vom 26. Juli 2011 E. 2.2, 9C_325/2010 vom 10. Dezember 2010 E. 2.1.2, in: SVR 2011 AHV Nr. 13 S. 42, und 9C_131/2008 vom 28. Mai 2009 E. 3.3.1 mit Hinweisen, zusammengefasst in: SZS 2010 S. 46).
4.
4.1. Das kantonale Gericht hat in Bezug auf die Verjährung festgestellt, gemäss Vermerk im Schweizerischen Handelsamtsblatt vom Oktober 2016 habe die Auflagefrist des die B._ AG betreffenden Kollokationsplans zwanzig Tage ab erfolgter Publikation betragen. Die relative zweijährige Verjährungsfrist von <ref-law> sei daher - im Sinne des Regelzeitpunkts - im damaligen Moment respektive nach Ablauf der zwanzigtägigen Frist ausgelöst und mit Erlass der Schadenersatzverfügung vom 7. April 2017 durch die Beschwerdegegnerin gewahrt worden. In der Folge hätten sowohl das gegen die Verfügung angehobene Beschwerdeverfahren, welches in das Urteil der Vorinstanz vom 24. Mai 2018 gemündet habe, als auch der Einspracheentscheid der Beschwerdegegnerin vom 27. August 2019 und der darauf folgende Beschwerdeprozess jeweils verjährungsunterbrechend gewirkt.
4.2. Diese Schlussfolgerung steht im Einklang mit der vorangehend zitierten Rechtslage und ist daher zu bestätigen. Insbesondere liegt unbestrittenermassen keine der bei einem Kollokationsplan genannten Konstellationen vor, die es rechtfertigten, ausnahmsweise eine Vorverlegung der Schadenskenntnis anzunehmen. Zutreffend erkannt hat die Vorinstanz insbesondere, dass der - vom Beschwerdeführer in diesem Zusammenhang auch letztinstanzlich ins Feld geführte - Zeitpunkt der Ausstellung von drei Pfändungsverlustscheinen im März 2015 nicht geeignet ist, die für die Auslösung der relativen zweijährigen Verjährungsfrist hier notwendige, "gesicherte" Schadenskenntnis herbeizuführen. Die darin ausgewiesenen Ausstände in der Höhe von Fr. 7601.70, Fr. 2956.20 und Fr. 2916.65 entsprechen offenkundig nicht dem letztlich geltend gemachten Schaden (von Fr. 42'884.65), dessen voraussichtlicher Betrag entgegen dem in der Beschwerde vertretenen Standpunkt damals auch nicht abschätzbar war. Die im Weiteren in der Beschwerde angeführten, jedoch nicht näher dokumentierten Rechnungen der Beschwerdegegnerin vom 12. Dezember 2014 über eine Summe von insgesamt rund Fr. 27'000.- werden erstmals im aktuellen Verfahrensstadium erwähnt, weshalb es sich dabei ohnehin um unzulässige unechte Noven handelt (e) (<ref-law>).
Als unbehelflich erweist sich ferner der Einwand des Beschwerdeführers, die Schadenersatzverfügung vom 7. April 2017 sei, da ihm gegenüber nicht formgültig zugestellt, als mangelhaft eröffnet einzustufen und könne daher die Verjährung nicht unterbrechen. Selbst wenn der damalige Verwaltungsakt der Beschwerdegegnerin - entgegen dem Urteil der Vorinstanz vom 24. Mai 2018 - als ungültig zu qualifizieren wäre (das damalige Urteil stellt, da nicht verfahrensabschliessend, einen Zwischenentscheid im Sinne von <ref-law> dar, der mangels Voraussetzungen gemäss Art. 93 Abs. 1 lit. a und b BGG vom Beschwerdeführer beim Bundesgericht nicht hätte angefochten werden können, weshalb nunmehr eine dagegen gerichtete Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> grundsätzlich als zulässig zu betrachten wäre), hätte die Beschwerdegegnerin die zweijährige Verjährungsfrist jedenfalls, was der Beschwerdeführer auch selber einräumt, mit Erlass der Schadenersatzverfügung vom 21. Juni 2017 gewahrt. Die Verjährung wurde sodann sowohl durch das gegen die Verfügung vom 21. Juni 2017 geführte Einspracheverfahren als auch die gegen die Einspracheentscheide vom 29. Januar 2018 und 27. August 2019 angehobenen Beschwerdeprozesse gehemmt (vgl. dazu insbesondere Urteil 9C_400/2020 vom 19. Oktober 2020 E. 3 mit Hinweisen), weshalb sie so oder anders nicht eingetreten ist.
5.
5.1. Die längere fünfjährige Verjährungsfrist gemäss <ref-law> beginnt im Falle der Verwirkung der Beitragsforderung mit deren Eintritt und im Falle der Uneinbringlichkeit, sobald die Beiträge wegen der Zahlungsunfähigkeit des Arbeitgebers nicht mehr im ordentlichen Verfahren nach <ref-law> erhoben werden können, in der Regel mit der Ausstellung eines Pfändungsverlustscheins oder mit der Konkurseröffnung über den Arbeitgeber (<ref-ruling> E. 2.2 mit Hinweisen).
5.2. Der betreffende Zeitpunkt ist vorliegend mit der Vorinstanz, auf die Ausstellung der erwähnten drei Pfändungsverlustscheine vom 24. März 2015 festzusetzen. Dem wird seitens des Beschwerdeführers nicht opponiert. Infolge mehrmaligen Unterbrechens ist auch diese Frist noch nicht abgelaufen.
6.
Was die übrigen Voraussetzungen der subsidiären Haftung als Arbeitgeberorgan nach <ref-law> anbelangt, werden diese - zu Recht - nicht bestritten. Namentlich die Höhe des Schadens stellte der Beschwerdeführer bis anhin nicht in Frage, obgleich diese bereits mit Schadenersatzverfügung vom 21. Juni 2017, welcher eine detaillierte Auflistung der Schadenspositionen beilag, respektive spätestens mit Erlass des Einspracheentscheids vom 27. August 2019, anlässlich dessen sich die Beschwerdegegnerin eingehend mit der Schadenssumme befasste, erläutert wurde. Die entsprechenden Vorbringen sind novenrechtlich verspätet und daher unbeachtlich (<ref-law>). Daran ändert der Umstand nichts, dass der Beschwerdeführer im vorinstanzlichen Beschwerdeverfahren ohne anwaltlichen Beistand war, hätte es ihm doch offen gestanden - und enthält seine Eingabe vom 19. Dezember 2020 zuhanden des kantonalen Gerichts denn auch einen derartigen Hinweis -, einen solchen in einem früheren Stadium des Prozesses beizuziehen.
7.
Das Gesuch um aufschiebende Wirkung wird mit dem heutigen Urteil gegenstandslos.
8.
Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3500.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Februar 2022
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Stadelmann
Die Gerichtsschreiberin: Fleischanderl