Sachverhalt: A. A.a. Der 1960 geborene A._, verheiratet und Vater zweier Kinder, war zuletzt von August 1998 bis 28. Februar 2001 als Hilfsarbeiter in der Bäckerei B._ AG tätig. In der Folge sprach ihm die IV-Stelle des Kantons Zürich auf Grund der Diagnosen "generalisiertes Angstsyndrom und dissoziative Bewegungsstörung" sowie "Verdacht auf essentiellen Tremor" mit Wirkung ab 1. April 2001 auf der Basis eines Invaliditätsgrades von 100 % eine ganze Invalidenrente (samt Zusatz- und Kinderrente) zu (Verfügung vom 5. September 2001). Am 10. August 2004 und 11. Februar 2010 teilte sie dem Versicherten unveränderte Rentenverhältnisse mit. Gestützt auf eine am 21. April 2010 vor Ort durchgeführte Abklärung wurde A._ mit Verfügung vom 20. Juli 2010 zudem rückwirkend ab 1. August 2008 eine Hilflosenentschädigung leichten Grades zuerkannt. A.b. Nachdem A._ und seine Familie im Laufe des Jahres 2012 vom Kanton Zürich in den Kanton Schwyz umgezogen waren, leitete die IV-Stelle Schwyz im November 2012 ein Revisionsverfahren ein. Dabei wurde insbesondere eine vom 14. Mai bis 19. Juni 2013 dauernde Observation des Versicherten veranlasst (Ermittlungsbericht vom 15. Juli 2013, Stellungnahmen der zur Bekämpfung des Versicherungsmissbrauchs [BVM] beigezogenen Spezialisten vom 19. Juli 2013 und des Regionalen Ärztlichen Dienstes [RAD] vom 25. Juli 2013). Auf dieser Grundlage sistierte die IV-Stelle die Hilflosenentschädigung wegen Verdachts auf unrechtmässigen Leistungsbezug per sofort (Verfügung vom 26. Juli 2013). Ferner liess sie A._ in der PMEDA Polydisziplinäre Medizinische Abklärungen, Klinik im Park, Zürich, begutachten (Expertise vom 23. Januar 2015), wozu der RAD sich am 3. Februar 2015 äusserte. Mit Verfügung vom 6. Februar 2015 wurden die bisher ausgerichteten Rentenleistungen sistiert. Nach Durchführung des Vorbescheidverfahrens verfügten die IV-Organe am 10. November 2015 die Aufhebung der Rente rückwirkend per 1. April 2001 und der Hilflosenentschädigung rückwirkend per 1. August 2008. Gleichzeitig wurde darauf hingewiesen, dass die während der letzten fünf Jahre zu Unrecht bezogenen Leistungen zurückzuerstatten seien. Mit Verfügungen vom 24. November 2015 forderte die Verwaltung ab 1. November 2010 ausgerichtete Hilflosenentschädigung im Gesamtbetrag von Fr. 15'324.- sowie Rentenleistungen von insgesamt Fr. 121'100.- zurück. B. Das Verwaltungsgericht des Kantons Schwyz vereinigte die sowohl gegen die Aufhebungs- wie auch gegen beide Rückforderungsverfügungen angehobenen Beschwerdeverfahren. Mit Entscheid vom 3. Februar 2016 hiess es die Rechtsvorkehren insoweit im Sinne der Erwägungen gut, als es die Verfügungen vom 10. und 24. November 2015 (betreffend Invalidenrente) mit der Feststellung abänderte, dass die IV-Stelle den Beginn der rückwirkenden Aufhebung der Invalidenrente neu festzulegen und die zurückzufordernden Rentenleistungen entsprechend neu zu bemessen habe. Im Übrigen wies es die Beschwerden (namentlich betreffend Hilflosenentschädigung) ab (Dispositiv-Ziff. 1 und 2). C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids sei ihm ab sofort und rückwirkend ab dem Datum der Sistierung die sistierte Invalidenrente in unveränderter Höhe auszurichten und es sei von einer Rückforderung der Hilflosenentschädigung abzusehen. Eventualiter sei die Angelegenheit zur Ergänzung des Sachverhalts, zur Neuprüfung und zur erneuten Entscheidung an die Vorinstanz bzw. an die IV-Stelle zurückzuweisen. Subeventualiter sei ihm die Rente erst ab Sistierungsdatum abzuerkennen und auf die Rückforderung früher ausgerichteter Rentenleistungen vollumfänglich zu verzichten.