Sachverhalt: D._ (Jg. 1978) bezog wegen einer seit 1997 bestehenden Schizophrenie für die Zeit ab 1. März 1999 eine ganze Rente der Invalidenversicherung. Entsprechend einem in Anwendung von Art. 43 Ziff. 1 Abs. 1 aStGB ergangenen Urteil des Strafgerichts vom ... 2000 befindet er sich seit dem ... 2001 in stationärem Massnahmenvollzug im Psychiatriezentrum Y._. Als die IV-Stelle Schwyz auf Grund eines Schreibens seiner Wohnortsgemeinde vom 26. September 2008 an die kantonale Ausgleichskasse davon erfahren hatte, verfügte sie am 11. März 2009 die Sistierung der Rentenausrichtung und eine - betragsmässig noch festzusetzende - Rückforderung der seit 1. April 2004 bis 30. August 2008 zufolge Meldepflichtverletzung unrechtmässig bezogenen Rentenbetreffnisse. Das Verwaltungsgericht des Kantons Schwyz wies die dagegen gerichtete Beschwerde mit Entscheid vom 19. August 2009 ab. D._ lässt beschwerdeweise die Aufhebung des kantonalen Entscheids sowie die Aufhebung der verfügten Rentensistierung und den gänzlichen Verzicht auf eine Rückforderung beantragen; eventuell sei die Sache zur ergänzenden Abklärung an die Vorinstanz zurückzuweisen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.