Sachverhalt:
A.
A.a. Der 1960 geborene A._, verheiratet und Vater zweier Kinder, war zuletzt von August 1998 bis 28. Februar 2001 als Hilfsarbeiter in der Bäckerei B._ AG tätig. In der Folge sprach ihm die IV-Stelle des Kantons Zürich auf Grund der Diagnosen "generalisiertes Angstsyndrom und dissoziative Bewegungsstörung" sowie "Verdacht auf essentiellen Tremor" mit Wirkung ab 1. April 2001 auf der Basis eines Invaliditätsgrades von 100 % eine ganze Invalidenrente (samt Zusatz- und Kinderrente) zu (Verfügung vom 5. September 2001). Am 10. August 2004 und 11. Februar 2010 teilte sie dem Versicherten unveränderte Rentenverhältnisse mit. Gestützt auf eine am 21. April 2010 vor Ort durchgeführte Abklärung wurde A._ mit Verfügung vom 20. Juli 2010 zudem rückwirkend ab 1. August 2008 eine Hilflosenentschädigung leichten Grades zuerkannt.
A.b. Nachdem A._ und seine Familie im Laufe des Jahres 2012 vom Kanton Zürich in den Kanton Schwyz umgezogen waren, leitete die IV-Stelle Schwyz im November 2012 ein Revisionsverfahren ein. Dabei wurde insbesondere eine vom 14. Mai bis 19. Juni 2013 dauernde Observation des Versicherten veranlasst (Ermittlungsbericht vom 15. Juli 2013, Stellungnahmen der zur Bekämpfung des Versicherungsmissbrauchs [BVM] beigezogenen Spezialisten vom 19. Juli 2013 und des Regionalen Ärztlichen Dienstes [RAD] vom 25. Juli 2013). Auf dieser Grundlage sistierte die IV-Stelle die Hilflosenentschädigung wegen Verdachts auf unrechtmässigen Leistungsbezug per sofort (Verfügung vom 26. Juli 2013). Ferner liess sie A._ in der PMEDA Polydisziplinäre Medizinische Abklärungen, Klinik im Park, Zürich, begutachten (Expertise vom 23. Januar 2015), wozu der RAD sich am 3. Februar 2015 äusserte. Mit Verfügung vom 6. Februar 2015 wurden die bisher ausgerichteten Rentenleistungen sistiert. Nach Durchführung des Vorbescheidverfahrens verfügten die IV-Organe am 10. November 2015 die Aufhebung der Rente rückwirkend per 1. April 2001 und der Hilflosenentschädigung rückwirkend per 1. August 2008. Gleichzeitig wurde darauf hingewiesen, dass die während der letzten fünf Jahre zu Unrecht bezogenen Leistungen zurückzuerstatten seien. Mit Verfügungen vom 24. November 2015 forderte die Verwaltung ab 1. November 2010 ausgerichtete Hilflosenentschädigung im Gesamtbetrag von Fr. 15'324.- sowie Rentenleistungen von insgesamt Fr. 121'100.- zurück.
B.
Das Verwaltungsgericht des Kantons Schwyz vereinigte die sowohl gegen die Aufhebungs- wie auch gegen beide Rückforderungsverfügungen angehobenen Beschwerdeverfahren. Mit Entscheid vom 3. Februar 2016 hiess es die Rechtsvorkehren insoweit im Sinne der Erwägungen gut, als es die Verfügungen vom 10. und 24. November 2015 (betreffend Invalidenrente) mit der Feststellung abänderte, dass die IV-Stelle den Beginn der rückwirkenden Aufhebung der Invalidenrente neu festzulegen und die zurückzufordernden Rentenleistungen entsprechend neu zu bemessen habe. Im Übrigen wies es die Beschwerden (namentlich betreffend Hilflosenentschädigung) ab (Dispositiv-Ziff. 1 und 2).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids sei ihm ab sofort und rückwirkend ab dem Datum der Sistierung die sistierte Invalidenrente in unveränderter Höhe auszurichten und es sei von einer Rückforderung der Hilflosenentschädigung abzusehen. Eventualiter sei die Angelegenheit zur Ergänzung des Sachverhalts, zur Neuprüfung und zur erneuten Entscheidung an die Vorinstanz bzw. an die IV-Stelle zurückzuweisen. Subeventualiter sei ihm die Rente erst ab Sistierungsdatum abzuerkennen und auf die Rückforderung früher ausgerichteter Rentenleistungen vollumfänglich zu verzichten.

Erwägungen:
1.
Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 44 mit Hinweisen).
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist vorab zulässig gegen Endentscheide, welche das Verfahren abschliessen (<ref-law>), und gegen Teilentscheide im Sinne von <ref-law>. Zwischenentscheide sind - abgesehen von Entscheiden über die Zuständigkeit und über Ausstandsbegehren (<ref-law>) - nur dann (ausnahmsweise) anfechtbar, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können, oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. a und b BGG). Es obliegt der beschwerdeführenden Partei darzutun, dass die Eintretensvoraussetzungen gemäss <ref-law> erfüllt sind, es sei denn, deren Vorliegen springe geradezu in die Augen (<ref-ruling> E. 2.3.1 S. 632 und E. 2.4.2 S. 633; Urteil 5A_422/2013 vom 8. August 2013 E. 4.1).
2.2. Ein Rückweisungsentscheid schliesst das Verfahren rechtsprechungsgemäss nicht ab und ist somit nach der Regelung des BGG kein Endentscheid. Auch Rückweisungsentscheide, mit denen eine materielle Grundsatzfrage entschieden wird, sind keine Teilentscheide im Sinne von <ref-law>, da es sich dabei nicht um Entscheide über Begehren handelt, die unabhängig von den anderen Fragen beurteilt werden können. Es handelt sich dabei um Zwischenentscheide, die (nur, aber immerhin) unter den Voraussetzungen von <ref-law> selbstständig angefochten werden können (<ref-ruling> E. 4.2 S. 481 f.).
2.3. Das kantonale Gericht hat die Beschwerde des Versicherten gemäss Dispositiv-Ziffern 1 und 2 seines Entscheids insoweit im Sinne der Erwägungen teilweise gutgeheissen, als es in Abänderung der Verfügungen vom 10. und 24. November 2015 (betreffend Invalidenrente) festhält, die Beschwerdegegnerin habe den Beginn der rückwirkenden Aufhebung der Invalidenrente und gestützt darauf die zurückzufordernden Rentenleistungen neu festzulegen. Damit verpflichtet es die Beschwerdegegnerin, an welche die Angelegenheit in diesem Punkt laut den - Bindungswirkung entfaltenden (vgl. u.a. Urteil 9C_916/2015 vom 21. Januar 2016 E. 3.2 mit Hinweisen) - Entscheiderwägungen zurückzuweisen ist, nach Massgabe seiner Vorgaben zu verfahren.
2.3.1. Beim angefochtenen Entscheid handelt es sich somit, soweit die Rentenfrage betreffend, um einen Zwischenentscheid im Sinne von <ref-law> (vgl. E. 2.2 hievor). Die letztinstanzliche Beschwerde ist daher diesbezüglich nur unter den Voraussetzungen von Art. 93 Abs. 1 lit. a und b BGG zulässig (E. 2.1 hievor), was der Beschwerdeführer übersieht.
2.3.1.1. Die Eintretensfrage auf der Grundlage von <ref-law> ist offensichtlich zu verneinen. Insbesondere ist nicht ersichtlich, inwiefern durch einen sofortigen bundesgerichtlichen Endentscheid ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren entfiele.
2.3.1.2. Der Beschwerdeführer legt sodann nicht dar, inwiefern die Rückweisung für ihn einen nicht wieder gutzumachenden Nachteil rechtlicher Natur im Sinne von <ref-law> bewirken könnte. Er entsteht regelmässig nicht bloss aus dem Umstand, dass eine Sache an eine untere Instanz zu neuem Entscheid zurückgewiesen wird. Daran ändert nichts, dass das Verfahren dadurch verlängert und verteuert wird (vgl. <ref-ruling> E. 5.2.2 S. 483). Denn das Bundesgericht soll sich grundsätzlich nur einmal mit einem Fall befassen müssen und diesen hierbei insgesamt beurteilen können. Deshalb sind Ausnahmen von diesem Grundsatz restriktiv zu handhaben, zumal die Parteien keiner Rechte verlustig gehen, wenn der Zwischenentscheid prinzipiell noch zusammen mit den Endentscheid anfechtbar ist (vgl. <ref-law>; <ref-ruling> E. 3.6 S. 326 f.; Urteil 8C_393/2014 vom 24. September 2014 E. 4.2). Ebenso wenig vermag die Tatsache, dass die Vorinstanz die durch die Beschwerdegegnerin verfügte Aufhebung der auf 1. April 2001 zugesprochenen Invalidenrente gestützt auf die Erkenntnisse des Observationsberichts vom 15. Juli 2013 (samt Stellungnahmen der BVM-Spezialisten vom 19. Juli 2013 und des RAD vom 25. Juli 2013) sowie der PMEDA-Expertise vom 23. Januar 2015 (samt RAD-Bericht vom 3. Februar 2015) als grundsätzlich rechtmässig beurteilt und die Sache lediglich noch zur Abklärung und Festlegung des genauen Zeitpunkts der relevanten Verbesserung des Gesundheitszustands an die Verwaltung zurückgewiesen hat,einen solchen Nachteil zu bewirken. Der angefochtene Zwischenentscheid bindet zwar die Beschwerdegegnerin bei dem von ihr neu zu fällenden Entscheid, und ebenso die Vorinstanz, die den Zwischenentscheid erlassen hat, nicht aber das Bundesgericht: Er wird zusammen mit einem allfällig neu zu fällenden Endentscheid anfechtbar sein (<ref-law>; vgl. <ref-ruling> E. 5.2.3 S. 484). Dem Beschwerdeführer verbleibt somit die Möglichkeit, seine Argumente gegen das Vorgehen des kantonalen Gerichts in einem späteren bundesgerichtlichen Beschwerdeverfahren gegen einen Endentscheid der Vorinstanz vorzubringen (vgl. auch Felix Uhlmann, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 11 zu <ref-law>).
2.3.2. Auf die Beschwerde ist daher, soweit darin auf die Invalidenrente Bezug genommen wird, nicht einzutreten.
2.3.3. Sollte das in Ziffer 1 der Anträge des Beschwerdeführers gestellte Begehren um sofortige (Weiter-) Ausrichtung der Rentenleistungen als Ersuchen um vorsorgliche Massnahmen bzw. aufschiebende Wirkung zu interpretieren sein, ist darauf nach dem Dargelegten ebenfalls nicht näher einzugehen.
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 1.3 S. 67 f. und 313 E. 2 S. 315, je mit Hinweisen).
4.
4.1. Streitig und zu prüfen ist, ob das kantonale Gericht die durch die Beschwerdegegnerin am 10. November 2015 verfügte Aufhebung der mit Verfügung vom 20. Juli 2010 rückwirkend per 1. August 2008 zugesprochenen Hilflosenentschädigung und deren Rückforderung zu Recht bestätigt hat.
4.2. Im angefochtenen Entscheid wurden die diesbezüglich massgeblichen Rechtsgrundlagen, namentlich zur Rückkommensvoraussetzung der prozessualen Revision (<ref-law>), zutreffend dargelegt, worauf verwiesen wird.
5.
5.1. Die Vorinstanz ist in sorgfältiger Würdigung der umfassend wiedergegebenen Aktenlage zum Schluss gelangt, es seien keine Anhaltspunkte erkennbar, welche die Beweiskraft insbesondere des Observationsberichts vom 15. Juli 2013 (samt Stellungnahmen der BVM-Spezialisten vom 19. Juli 2013 und des RAD vom 25. Juli 2013) sowie der PMEDA-Expertise vom 23. Januar 2015 (samt Stellungnahme des RAD vom 3. Februar 2015) zu schmälern vermöchten. Gestützt darauf sei als erstellt anzusehen, dass beim Beschwerdeführer im Begutachtungszeitpunkt keine eine Hilflosigkeit im invalidenversicherungsrechtlichen Sinne begründende Diagnose vorgelegen habe. Vielmehr habe der Versicherte eine bewusstseinsnahe demonstrative Darbietung von Einschränkungen gezeigt bzw. nicht vorhandene Symptome vorgetäuscht. Tremor und Ataxie seien vom Beschwerdeführer im Rahmen von Untersuchungen klar verdeutlichend dargestellt worden und hätten sich in vermeintlich unbeobachteten Situationen bei Ablenkung oder auch im Alltag nicht (Simulation) oder zumindest nicht in einschränkendem, invalidenversicherungsrechtlich relevantem Ausmass (Aggravation) objektivieren lassen. Das kantonale Gericht hat im Weiteren mit Blick auf die dem Beschwerdeführer mit Verfügung vom 20. Juli 2010 rückwirkend ab 1. August 2008 zugesprochene Hilflosenentschädigung leichten Grades erkannt, dass die Voraussetzungen einer prozessualen Revision angesichts der Erkenntnisse des Observationsberichts vom 15. Juli 2013in Verbindung mit den diese bestätigenden medizinischen Schlussfolgerungen des PMEDA-Gutachtens vom 23. Januar 2015 als erfüllt zu betrachten seien. Die entsprechenden Ergebnisse sprächen eindeutig dafür, dass die vom Beschwerdeführer (und seinen Familienangehörigen) im Rahmen der am 21. April 2010 vor Ort durchgeführten Abklärung geltend gemachte Angewiesenheit auf eine lebenspraktische Begleitung von Beginn weg nicht gegeben gewesen sei. Der Umstand, dass der Versicherte erwiesenermassen ohne Begleitung Dritter unterwegs sein könne und in der Lage sei, Auto zu fahren sowie soziale Kontakte ohne Beisein von Familienangehörigen zu pflegen, erweise sich als unvereinbar mit dem behaupteten Bedarf an lebenspraktischer Begleitung. Da die Beschwerdegegnerin davon im Zeitpunkt der Zusprechung der Hilflosentschädigung keine Kenntnis gehabt habe und (vor der Observation) auch nicht hatte haben können, stellten die diesbezüglichen Feststellungen neue erhebliche Tatsachen dar, welche eine prozessuale Revision der Verfügung vom 20. Juli 2010 rechtfertigten.
Vor diesem Hintergrund seien - so das vorinstanzliche Gericht zusammenfassend - die am 10. November 2015 rückwirkend auf 1. August 2008 verfügte Aufhebung der Hilflosenentschädigung und die darauf basierende Rückforderung der ab 1. November 2010 ausgerichteten Leistungen mit Verfügung der Beschwerdegegnerin vom 24. November 2015, zumal in betraglicher Hinsicht unbestritten geblieben, nicht zu beanstanden.
5.2. Der Beschwerdeführer vermag nicht darzutun, inwiefern diese gestützt auf die konkrete Beweislage getroffenen Feststellungen der Vorinstanz offensichtlich unrichtig sein oder auf einer anderweitigen Verletzung von Bundesrecht beruhen sollten.
5.2.1. Als nicht stichhaltig erweist sich namentlich das Vorbringen, die wegen Verdachts auf unrechtmässigen Leistungsbezug mit Verfügung vom 26. Juli 2013 vorgenommene Sistierung der Hilflosenentschädigung sei lediglich gestützt auf die "Faktenlage der Observation" erfolgt, ohne dass diese durch eine - rechtsprechungsgemäss erforderliche - fachärztliche Aktenbeurteilung verifiziert worden sei. Der Versicherte übersieht diesbezüglich, dass der Ermittlungsbericht vom 15. Juli 2013 im Nachgang dem RAD vorgelegt worden war, welcher mit Stellungnahme vom 25. Juli 2013 die sofortige Einstellung der Hilflosenentschädigung und im Übrigen das Abwarten der in die Wege geleiteten interdisziplinären Begutachtung empfahl. Aufgehoben wurde die Hilflosenentschädigung letztlich erst mit Verfügung der Beschwerdegegnerin vom 10. November 2015, nachdem die PMEDA-Expertise vom 23. Januar 2015 und die Stellungnahme des RAD vom 3. Februar 2015 die Observationsergebnisse aus medizinischer Sicht bestätigt hatten.
5.2.2. Im Weiteren äussert sich der Beschwerdeführer ausführlich zu der im Gutachten der PMEDA dargestellten medizinischen Situation, wobei sich seine Ausführungen zur Hauptsache in einer - unzulässigen (vgl. E. 3 hievor) - allgemein gehaltenen, appellatorischen Kritik an der darauf basierenden vorinstanzlichen Beweiswürdigung erschöpft. So wird in der Beschwerde etwa mehrmals moniert, die besagte Expertise sei entgegen der Betrachtungsweise des kantonalen Gerichts weder schlüssig noch nachvollziehbar. Vielmehr hätten sich die daran beteiligten medizinischen Experten einseitig und voreingenommen auf die im Observationsbericht vom 15. Juli 2013 wiedergegebenen und durch die BVM-Spezialisten in ihrer Stellungnahme vom 19. Juli 2013 ausgewerteten Erhebungen abgestützt. Der Versicherte verkennt dabei, dass es gerade Aufgabe der Gutachter war, die anhand der Observierung ermittelten Informationen auf ihren medizinischen Plausibilitäts- und Wahrheitsgehalt hin zu überprüfen. Nach der Rechtsprechung können die Ergebnisse einer zulässigen Observation denn auch nur zusammen mit einer (fach-) ärztlichen Beurteilung geeignet sein, eine genügende Basis für Sachverhaltsfeststellungen betreffend den Gesundheitszustand und die Arbeitsfähigkeit der versicherten Person zu bilden (<ref-ruling> E. 6.2.2 S. 76; Urteil 8C_608/2014 vom 14. Januar 2015 E. 5.1). Anhaltspunkte dafür, dass die Ärzte sich im Rahmen ihrer gutachtlichen Explorationen unreflektiert von den betreffenden Ermittlungsresultaten hätten beeinflussen lassen, bestehen keine. Ebenso wenig verfängt ferner der Einwand, die Gutachter seien kaum oder überhaupt nicht auf die die Berentung auslösende Diagnose eines generalisierten Angstsyndroms und einer dissoziativen Bewegungsstörung eingegangen bzw. es fehle an einer Verknüpfung der klinischen Situation der einzelnen Fachrichtungen mit den zur Rente führenden Krankheiten. In der zusammenfassenden Konsensbeurteilung wurden im Gegenteil die vorangegangenen psychiatrischen Bewertungen ausführlich geschildert und nachvollziehbar dargelegt, weshalb auf diese aus aktueller Sicht nicht mehr abgestellt werden könne ("..., da der gesamte Beschwerdevortrag hier deutliche bewusstseinsnahe demonstrative Züge trägt und eine sich dem hier AMDP-konform erhobenen Befund mitteilende, objektive namhafte psychische Beeinträchtigung nicht zu erkennen ist."). Schliesslich betont der Beschwerdeführer verschiedentlich, die begutachtenden Ärzte wie auch die Vorinstanz stellten einseitig die angeblichen (Verhaltens-) "Inkonsistenzen" während der Begutachtung in den Vordergrund. Namentlich in den internistischen und neurologischen Untersuchungen seien "unzulässige subjektive Interpretationen von Beobachtungen und Befunden" vorgenommen worden, sodass es ärztlicherseits an einer medizinisch gebotenen und neutralen Beschreibung fehle. Dem ist lediglich entgegenzuhalten, dass der Versicherte selber es bezeichnenderweise unterlässt, näher auf die beschriebenen Widersprüche einzugehen bzw. dafür eine einleuchtende Begründung anzuführen. Weiterungen dazu erübrigen sich.
5.3. Der angefochtene Entscheid hält nach dem Gesagten, soweit im vorliegenden Verfahren zu überprüfen (vgl. E. 2 hievor), vor Bundesrecht stand, woran auch die übrigen Ausführungen in der Beschwerde nichts ändern.
6.
Als unterliegende Partei hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Mai 2016
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Fleischanderl