Sachverhalt:
D._ (Jg. 1978) bezog wegen einer seit 1997 bestehenden Schizophrenie für die Zeit ab 1. März 1999 eine ganze Rente der Invalidenversicherung. Entsprechend einem in Anwendung von Art. 43 Ziff. 1 Abs. 1 aStGB ergangenen Urteil des Strafgerichts vom ... 2000 befindet er sich seit dem ... 2001 in stationärem Massnahmenvollzug im Psychiatriezentrum Y._. Als die IV-Stelle Schwyz auf Grund eines Schreibens seiner Wohnortsgemeinde vom 26. September 2008 an die kantonale Ausgleichskasse davon erfahren hatte, verfügte sie am 11. März 2009 die Sistierung der Rentenausrichtung und eine - betragsmässig noch festzusetzende - Rückforderung der seit 1. April 2004 bis 30. August 2008 zufolge Meldepflichtverletzung unrechtmässig bezogenen Rentenbetreffnisse.
Das Verwaltungsgericht des Kantons Schwyz wies die dagegen gerichtete Beschwerde mit Entscheid vom 19. August 2009 ab.
D._ lässt beschwerdeweise die Aufhebung des kantonalen Entscheids sowie die Aufhebung der verfügten Rentensistierung und den gänzlichen Verzicht auf eine Rückforderung beantragen; eventuell sei die Sache zur ergänzenden Abklärung an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft indessen - unter Beachtung der Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2 Der Beschwerdeführer reicht am 20. November 2009 letztinstanzlich je eine Kopie des Protokollauszugs der zuständigen Vormundschaftsbehörde vom 27. Oktober 2009 und des Protokolls einer Besprechung seiner Perspektiven vom 10. November 2009 nach. Neue Tatsachen und Beweismittel dürfen indessen im Beschwerdeverfahren nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Letzteres ist von der ein Novum einbringenden Partei darzulegen (vgl. Urteile 8C_826/2008 vom 2. April 2009 E. 3 und 8C_514/2008 vom 31. März 2009 E. 3), was unterblieben ist. Die zwei neu beigebrachten Beweismittel sind daher unzulässig und müssen vor Bundesgericht unbeachtet bleiben.
2. Die gesetzlichen Bestimmungen und die dazu von der Rechtsprechung weiter konkretisierten Grundsätze zur Sistierung des Rentenanspruchs während eines Straf- oder Massnahmenvollzugs (Art. 21 Abs. 5 ATSG; <ref-ruling> E. 2 S. 3 und E. 4 S. 6 ff.) sowie zur Rückerstattung von wegen Meldepflichtverletzung (Art. 31 Abs. 1 ATSG) zu Unrecht ausgerichteten Rentenzahlungen (Art. 25 Abs. 1 ATSG) hat das kantonale Gericht richtig dargelegt. Es kann darauf verwiesen werden.
3. 3.1 Der Beschwerdeführer erblickt darin, dass die Vorinstanz das Vorliegen einer Sozialgefährlichkeit des Leistungsbezügers als für eine Rentensistierung genügend erachtete, eine Verletzung von Art. 21 Abs. 5 ATSG. Seiner Ansicht nach muss eine solche für die Begründung der strafrechtlichen Anordnung einer Massnahme im Vordergrund stehen, damit eine Sistierung möglich ist. Unter Hinweis auf die Rechtsprechung in E. 3b des Urteils I 416/95 des damaligen Eidgenössischen Versicherungsgerichts vom 30. Juni 1997 (auszugsweise publiziert in AHI 1998 S. 182) hat das kantonale Gericht im angefochtenen Entscheid indessen zutreffend aufgezeigt, dass es für eine Sistierung ausreicht, wenn die Sozialgefährlichkeit des Betroffenen die Massnahme notwendig gemacht hat. Die Sozialgefährdung als Ursache einer strafrechtlichen Massnahme muss gegenüber einer allenfalls auch vorhandenen Behandlungsbedürftigkeit nicht im Vordergrund stehen. An dieser klaren Rechtsprechung vermöchte selbst eine anderslautende Verwaltungsweisung nichts zu ändern, weshalb der Beschwerdeführer aus dem Kreisschreiben des Bundesamtes für Sozialversicherungen über Invalidität und Hilflosigkeit in der Invalidenversicherung (KSIH) nichts zu seinen Gunsten ableiten kann. Nebst der zweifellos auch gegebenen Behandlungsbedürftigkeit lag beim Beschwerdeführer - ohne dass es dazu weiterer Abklärungen bedürfte - eindeutig eine nicht unerhebliche Sozialgefährlichkeit vor, welche Anlass für die strafrechtlich angeordnete Massnahme und auch deren wiederholte Verlängerung bot. Selbst die vorinstanzliche Feststellung, wonach diese sogar im Vordergrund stand - was für eine Sistierung der Rentenausrichtung nicht nötig wäre -, ist nicht offensichtlich unrichtig im Sinne von Art. 105 Abs. 2 BGG.
3.2 Was die Rückerstattungsforderung bezüglich der ab April 2004 ausbezahlten Rente anbelangt, ist zunächst festzuhalten, dass diese mit der in Art. 25 Abs. 1 ATSG vorgesehenen Rechtsfolge in Einklang steht und sich demnach nicht als bundesrechtswidrig bezeichnen lässt. Den Akten sind des Weiteren keinerlei Anhaltspunkte dafür zu entnehmen, dass die IV-Stelle - wie vom Beschwerdeführer behauptet - schon vor dem 26. September 2008 gewusst hätte, dass er sich im Massnahmenvollzug befand, weshalb die Rückforderung zufolge Verjährung nicht mehr zulässig sei. Für Verwaltung und Vorinstanz bestand daher kein Anlass zu diesbezüglich genaueren Sachverhaltsabklärungen.
4. Die Beschwerde wird als offensichtlich unbegründet im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG erledigt. Da sie von Anfang an aussichtslos war, ist eine der gemäss Art. 64 Abs. 1 BGG für die beantragte Gewährung der unentgeltlichen Rechtspflege erforderlichen Voraussetzungen nicht erfüllt. Dem Begehren kann daher nicht entsprochen werden. Die Gerichtskosten sind bei diesem Verfahrensausgang vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. April 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl