Sachverhalt: A. M._, geboren am 6. November 1983, welche wegen den Folgen einer schon früh einsetzenden psychischen Fehlentwicklung mit Wirkung ab 1. Dezember 2001 in den Genuss einer ganzen Invalidenrente gelangt war, wurde am 4. Dezember 2004 in Untersuchungshaft gesetzt. Auf entsprechende Mitteilung ihres Beistandes vom 21. März 2005 verfügte die IV-Stelle des Kantons Aargau am 31. März 2005 die Sistierung der Invalidenrente ab 1. Januar 2005 und am 13. April 2005 die Rückforderung der von Januar bis März 2005 bereits bezogenen Rentenleistungen im Betrag von Fr. 4299.-. Die gegen die Sistierung erhobene Einsprache wies die IV-Stelle mit Entscheid vom 29. April 2005 ab. B. Die hiegegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons Aargau unter Aufhebung des Einspracheentscheides vom 29. April 2005 und mit der Feststellung gut, dass der Versicherten auch während der Untersuchungshaft ein Anspruch auf Invalidenrente zustehe (Entscheid vom 21. Oktober 2005). C. Das Bundesamt für Sozialversicherungen (BSV) führt Verwaltungsgerichtsbeschwerde und beantragt die Aufhebung des kantonalen Gerichtsentscheides. Während die IV-Stelle auf Gutheissung der Verwaltungsgerichtsbeschwerde schliesst, lässt M._, verbeiständet durch R._ von der Amtsvormundschaft des Bezirks X._, vertreten durch Advokat Dr. Roulet, den Antrag auf Abweisung stellen; für den Unterliegensfall wird um unentgeltliche Prozessführung und Verbeiständung nachgesucht. D. Am 28. Juni 2006 hat das Eidgenössische Versicherungsgericht eine parteiöffentliche Beratung durchgeführt.