Sachverhalt:
A. Das Obergericht des Kantons Luzern sprach den am 6. September 1982 geborenen X._ im Berufungsverfahren mit Urteil vom 5. November 2007 unter anderem schuldig der qualifizierten Vergewaltigung, der sexuellen Handlungen mit Kindern, der mehrfachen schweren Körperverletzung, des mehrfachen Raubs, der räuberischen Erpressung und der Freiheitsberaubung. Unter Zubilligung einer teils in mittlerem, teils in leichtem Grade eingeschränkten Zurechnungsfähigkeit und Berücksichtigung seines Alters wurde er mit sieben Jahren Freiheitsstrafe unter Anrechnung der Untersuchungshaft bzw. des vorzeitigen Strafvollzugs bestraft. Anstelle der vom Kriminalgericht verhängten Verwahrung ordnete das Obergericht des Kantons Luzern eine stationäre psychotherapeutische Behandlung in einer spezialisierten, geschlossenen Einrichtung unter Aufschub der noch nicht verbüssten Freiheitsstrafe an.
Die Vollzugs- und Bewährungsdienste des Kantons Luzern stellten die stationäre psychotherapeutische Behandlung am 25. September 2008 aufgrund der im Therapiezentrum "Im Schache" festgestellten Massnahmeunfähigkeit von X._ ein. Am 29. September 2008 beantragte die Staatsanwaltschaft des Kantons Luzern die Umwandlung der therapeutischen Massnahme in eine Verwahrung. Nachdem das Obergericht des Kantons Luzern von Amtes wegen ein Ergänzungsgutachten zur Frage der Therapiefähigkeit von X._ eingeholt und den Parteien hierzu das rechtliche Gehör gewährt hatte, ordnete es am 3. Dezember 2010 eine Verwahrung im Sinne von Art. 62c Abs. 4 StGB in Verbindung mit Art. 64 Abs. 1 lit. b StGB an.
B. Mit Beschwerde in Strafsachen beantragt X._, der Entscheid des Obergerichts des Kantons Luzern vom 3. Dezember 2010 sei aufzuheben, von der Anordnung einer Verwahrung sei abzusehen und stattdessen erneut eine stationäre psychotherapeutische Behandlung in einer geschlossenen Einrichtung anzuordnen. Eventuell sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Zudem sei ihm die unentgeltliche Rechtspflege und Verbeiständung zu gewähren.
C. Vernehmlassungen wurden keine eingeholt.
Erwägungen:
1. Nach der zutreffenden und insoweit unangefochten gebliebenen Auffassung der Vorinstanz stellen sich vorliegend keine übergangsrechtlichen Fragen aufgrund der am 1. Januar 2007 revidierten Bestimmungen des Allgemeinen Teils des Strafgesetzbuchs, da bereits für die Massnahmeanordnung nach Art. 59 Abs. 3 StGB im Urteil vom 5. November 2007 gestützt auf Ziff. 2 Abs. 1 der Schlussbestimmungen der Änderung vom 13. Dezember 2002 neues Recht anzuwenden war.
2. Die Vorinstanz verneint im angefochtenen Entscheid namentlich gestützt auf das Ergänzungsgutachten von Dr. med. A._ vom 14. Juli 2010 die individuelle Behandelbarkeit des Beschwerdeführers. Eine therapeutische Behandlung des Beschwerdeführers in einer spezialisierten Einrichtung erscheine nicht als durchführbar. Der Beschwerdeführer zeige bzw. habe keine Bereitschaft gezeigt bzw. sei nicht willens, sich mit der eigenen psychischen Störung, den Straftaten und den Konsequenzen für die Opfer auseinanderzusetzen. Die im Massnahmezentrum "im Schache" durchgeführte Therapie sei nicht einmal über einen Ansatz hinausgekommen. Der Beschwerdeführer erscheine nicht motivierbar zu sein. Er zeige keinen wirklichen Willen zu einer erfolgversprechenden Therapie. Da unter diesen Umständen für die erneute Anordnung einer stationären Massnahme im Sinne von Art. 59 StGB kein Raum bleibe, sei die Verwahrung nach Art. 62c Abs. 4 StGB in Verbindung mit Art. 64 StGB anzuordnen, zumal auch die übrigen Voraussetzungen hierfür gegeben seien.
Der Beschwerdeführer beanstandet die nachträgliche Umwandlung der stationären Massnahme nach Art. 59 Abs. 3 StGB in eine Verwahrung nach Art. 64 StGB. Er macht geltend, dass eine hinreichende Beurteilung der Therapierbarkeit erst nach einem adäquaten Behandlungsversuch möglich sei. Die durchgeführte sechsmonatige Behandlung mit analytischem Ansatz im Therapiezentrum "im Schache" entspreche nicht dem, was im vorinstanzlichen Urteil vom 5. November 2007 unter Berufung auf die Gutachten von Dr. med. A._ vom 13. Februar und 10. Juli 2007 angeordnet worden sei, nämlich eine verhaltenstherapeutisch orientierte Behandlung, wobei darauf hingewiesen worden sei, dass Erfolge, wenn überhaupt, erst nach Jahren erwartet werden könnten und erhebliche Motivationsarbeit geleistet werden müsse. Damit könne weder in zeitlicher noch qualitativer Hinsicht gesagt werden, er sei in den Genuss eines adäquaten Therapieversuchs gekommen. Es gelte auch heute noch, was der Gutachter in den früheren Gutachten zur Therapiefähigkeit und den Erfolgsaussichten einer Behandlung ausgeführt habe. Die Vorinstanz stütze die Annahme der Unbehandelbarkeit einzig auf das Ergänzungsgutachten vom 14. Juli 2010. Dieses erweise sich nach dem Gesagten als nicht schlüssig. Damit sei auch "das Ergebnis der Vorinstanz ohne tragfähige Basis".
3. 3.1 Die von der Vorinstanz am 5. November 2007 angeordnete stationäre Massnahme im Sinne von Art. 59 Abs. 3 StGB wurde von den Vollzugs- und Bewährungsdiensten des Kantons Luzern gemäss Art. 62c Abs. 1 lit. a StGB am 25. September 2008 wegen Aussichtslosigkeit aufgehoben. Da diese Verfügung mangels Anfechtung in Rechtskraft erwuchs, oblag es der Vorinstanz, über die Konsequenzen zu befinden (vgl. Urteil 6B_375/2008 vom 21. Oktober 2008 E. 3.1).
3.2 Die verschiedenen Massnahmen nach Art. 59 ff. StGB stehen in einem systematischen Zusammenhang und sind wechselseitig austauschbar. Damit wird dem Bedürfnis nach Flexibilität im Massnahmenrecht Rechnung getragen. Das Gericht kann deshalb im Einzelfall auf den ursprünglichen Entscheid zurückkommen und - anstelle des Strafvollzugs - eine als aussichtslos erscheinende stationäre Massnahme durch eine voraussichtlich geeignete therapeutische Behandlung ersetzen (Art. 62c Abs. 3 StGB) bzw. von einer weniger aussichtsreichen zu einer besser geeigneten stationären Massnahme wechseln (Art. 62c Abs. 6 StGB). Auf Antrag der Vollzugsbehörde kann das Gericht auch eine Verwahrung anordnen, sofern die Anlasstat ein Delikt war, das die Verwahrung gerechtfertigt hätte, und die ernsthafte Gefahr weiterer gleichartiger Delinquenz besteht (Art. 62c Abs. 4 StGB; siehe auch GÜNTER STRATENWERTH, Schweizerisches Strafrecht, AT II, Strafen und Massnahmen, 2. Aufl., Bern 2006 , § 9 Rz 56; MARIANNE HEER, Basler Kommentar, 2. Aufl., 2007, Art. 62c Rz 39 und 40). Zu beachten ist freilich, dass das neue Recht für die Verwahrung eines gefährlichen psychisch gestörten Täters die Untherapierbarkeit voraussetzt. Der Behandlungsprognose kommt bei einem beantragten Wechsel von einer stationären Massnahme in eine Verwahrung deshalb elementare Bedeutung zu. So können Täter, bei denen längerfristig Heilungschancen bestehen, von denen aber kurz- oder mittelfristig im Vollzug oder ausserhalb der Anstalt eine erhebliche Gefahr ausgeht, anders als unter der Geltung des früheren Rechts nicht mehr verwahrt werden (BGE 134 IV 121 E. 3.4.2 S. 130). Bei derartigen Tätern ist vielmehr nach Art. 59 Abs. 3 StGB zu verfahren und eine in gesichertem Rahmen zu vollziehende stationäre therapeutische Massnahme anzuordnen (Urteil 6B_364/2009 vom 19. August 2009 E. 3.2.1). Die Verwahrung ist angesichts der Schwere des Eingriffs in die persönliche Freiheit des Betroffenen subsidiär und ultima ratio. Sie darf nicht angeordnet werden, wenn die bestehende Gefährlichkeit auf andere Weise behoben werden kann (BGE 134 IV 121 E. 3.4.4 S. 131, 315 E. 3.3 S. 320).
3.3 Der Entscheid über die Änderung einer Massnahme muss sich im Sinne von Art. 56 Abs. 3 StGB auf eine sachverständige Begutachtung stützen (vgl. MARIANNE HEER, a.a.O., Art. 62c Rz. 15).
4. 4.1 Die Vorinstanz stützt den Umwandlungsentscheid im Sinne von Art. 62c Abs. 4 StGB i.V.m Art. 64 Abs. 1 StGB bei der Prüfung der Verwahrungsvoraussetzungen auf die massgeblichen Gesichtspunkte. Ausser Frage steht, dass einzelne der vom Beschwerdeführer begangenen Straftaten in den Deliktskatalog von Art. 64 Abs. 1 StGB fallen und namentlich die von ihm auf grausame Weise verübte Vergewaltigung die psychische und sexuelle Integrität des im Tatzeitpunkt vier Jahre alten Opfers schwer beeinträchtigt hat. Die Anforderungen an die Anlasstat sind damit ohne weiteres erfüllt. Ebenso ausser Frage steht, dass der Beschwerdeführer nach wie vor an einer ausgeprägten dissozialen Persönlichkeitsstörung (ICD-10 F. 60.2) leidet respektive eine psychische Störung von erheblicher Schwere im Sinne von Art. 64 Abs. 1 lit. b StGB aufweist, mit der die begangenen Straftaten in direktem Zusammenhang stehen. Erstellt ist schliesslich auch, dass vom Beschwerdeführer weiterhin eine unvermindert hohe Rückfallgefahr für Gewalt- und Sexualdelikte ausgeht, d.h. ernsthaft mit weiteren Straftaten im Sinne von Art. 64 Abs. 1 StGB zu rechnen ist. Es kann auf die diesbezüglichen Ausführungen im angefochtenen Entscheid verwiesen werden (Art. 109 Abs. 3 BGG).
4.2 4.2.1 Im Streite steht einzig die Frage der Therapierbarkeit des Beschwerdeführers. Die Vorinstanz folgt bei der Feststellung der fehlenden Behandelbarkeit der Beurteilung von Dr. med. A._ gemäss Ergänzungsgutachten vom 14. Juli 2010 im Sinne von Art. 56 Abs. 3 StGB. Der Gutachter geht davon aus, dass im zu beurteilenden Fall keine therapeutischen Optionen mehr zur Verfügung stehen bzw. die therapeutischen Möglichkeiten beim Beschwerdeführer nach dem Behandlungsversuch im Therapiezentrum "im Schache" grundsätzlich ausgeschöpft sind. Eine Behandlung könne zweifelsohne nicht durchgeführt werden, wenn sich der zu Behandelnde dauernd der Therapie widersetze und eine Motivationsarbeit nicht gelinge. Es sei vorliegend von einem "Null-Resultat" auszugehen. Der zuständigen Therapeutin sei es nicht im Ansatz gelungen, zum Beschwerdeführer eine therapeutische Beziehung herzustellen und eine forensisch-psychotherapeutische Behandlung zu installieren. Ein weiterer Therapieversuch dürfte daher angesichts der schweren dissozialen Persönlichkeitsstörung des Beschwerdeführers, seiner fehlenden Motivation und der mangelnden Gruppenfähigkeit kaum Aussichten auf Erfolg haben. Die Behandelbarkeit sei heute zu verneinen.
4.2.2 Das Ergänzungsgutachten vom 14. Juli 2010 äussert sich zur Behandelbarkeit des Beschwerdeführers bzw. dessen Unbehandelbarkeit sehr klar. Die früheren Gutachten vom 13. Februar und 10. Juli 2007 sind zurückhaltender formuliert, als insoweit zumindest noch von einer - wenn auch geringen - Behandlungsmöglichkeit ausgegangen und eine deliktszentrierte, verhaltenstherapeutisch orientierte Behandlung als Therapieform der Wahl vorgeschlagen wird. Nicht zu übersehen ist freilich, dass bereits im damaligen Zeitpunkt die Erfolgsaussichten einer Behandlung als sehr ungewiss, gering bzw. schwer kalkulierbar beurteilt und die Zweckmässigkeit einer therapeutischen Massnahme aufgrund des ausgeprägten Störungsbilds des Beschwerdeführers und dessen ungenügender Motivation generell in Frage gestellt wurden. Das ergibt sich nicht zuletzt daraus, dass nach Ansicht des Gutachters für die Massnahmenanordnung letztlich einzig das junge Alter des Beschwerdeführers sprach sowie die Tatsache, dass bislang nie ein qualifizierter Therapieversuch unternommen worden war (Gutachten vom 13. Februar 2007, S. 46 f.; Gutachten vom 14. Juli 2007, S. 4 f.). Die Vorinstanz ordnete deshalb am 5. November 2007 im Sinne einer letzten Chance eine stationäre Massnahme im Sinne von Art. 59 Abs. 3 StGB an, wobei sie - dem Vorschlag des Gutachters folgend - eine Behandlung mit verhaltenstherapeutischer Ausrichtung als sachgerecht bezeichnete.
4.2.3 Der Beschwerdeführer wurde vom 19. Dezember 2007 bis 16. Juni 2008 stationär im Therapiezentrum "im Schache" und damit in einer spezialisierten Einrichtung durch eine erfahrene Fachperson psychotherapeutisch behandelt. Diese Modalitäten des stationären Massnahmenversuchs entsprechen ohne weiteres den damaligen vorinstanzlichen Anordnungen. Nicht direkt umgesetzt wurde einzig die im Urteil in Anlehnung an die Gutachten 13. Februar und 10. Juli 2007 als sachgerecht beurteilte Therapiemethode, indem konkret ein analytischer (und nicht wie empfohlen ein verhaltenstherapeutischer) Behandlungsansatz versucht wurde. Das entgeht auch dem Gutachter Dr. med. A._ in seinem Ergänzungsgutachten vom 14. Juli 2010 nicht. Er weist bei der Evaluation der Therapiefähigkeit des Beschwerdeführers darauf hin, dass dessen Zuteilung an eine analytisch orientierte, weibliche Therapeutin und die gewählte Therapiemethode möglicherweise suboptimal waren. Von daher erscheint die Kritik des Beschwerdeführers, er sei nicht der richtigen Behandlung zugeführt worden, verständlich. Der Gutachter zieht im Gutachten aus seinem Hinweis allerdings nicht den Schluss, dass das Behandlungsergebnis bei optimaler Durchführung des Therapieversuchs positiver ausgefallen wäre bzw. derart positiv, dass es längerfristig, jedenfalls aber innert einer Frist von fünf Jahren, zu einer weitgehenden Behebung der Störung und deutlichen Verringerung der hohen Rückfallgefährlichkeit gekommen wäre. Ausschlaggebend für die Annahme der Therapieunfähigkeit bildet für ihn die anhand des Behandlungsversuchs gewonnene Erkenntnis der völligen Nicht-Erreichbarkeit des Beschwerdeführers, die in seiner ausgeprägten dissozialen Persönlichkeitsstörung, der mangelnden Gruppenfähigkeit (vgl. hierzu RÜDIGER MÜLLER-ISBERNER, Therapie im psychiatrischen Massregelvollzug, S. 424, in: Venzlaff/ Foerster, Psychiatrische Begutachtung, 4. Aufl., Tübingen 2004) und der fehlenden Motivation begründet liege. Es sei trotz intensiver Bemühungen nicht einmal im Ansatz gelungen, auch nur einen Zugang zu ihm herzustellen. Weitere therapeutische Optionen seien nicht mehr verfügbar. Damit bringt der Gutachter mit Blick auf den (fehlgeschlagenen) Behandlungsversuch zum Ausdruck, dass es hier - letztlich unabhängig von der Behandlungsform - an der Grundvoraussetzung der Therapiefähigkeit des Beschwerdeführers fehlt und deshalb zumindest gegenwärtig generell keine Therapiemöglichkeit mit Aussicht auf Erfolg im Sinne von Art. 64 Abs. 1 lit. b StGB besteht.
4.2.4 Das Ergänzungsgutachten vom 14. Juli 2010 ist vollständig und transparent. Es zeigt die Grundlagen auf, auf welche sich der Gutachter stützt. Der konkrete Behandlungsversuch wird auf seinen Verlauf hin geprüft. Die suboptimale Durchführung wird nicht übergangen bzw. stillgeschwiegen, sondern thematisiert. Die daraus gezogenen Schlüsse zur Therapiefähigkeit bzw. konkret zur Unbehandelbarkeit des Beschwerdeführers sind in sich als auch im Verbund mit den früheren gutachterlichen Feststellungen und unter Berücksichtigung der therapeutischen Abschlussberichte nachvollziehbar und stimmig begründet. Vor diesem Hintergrund sind entgegen der Beschwerde keine Umstände ersichtlich, welche die Überzeugungskraft des beanstandeten Gutachtens ernsthaft in Frage stellen könnten (BGE 133 II 384 E. 4.2.3; 132 II 257 E. 4.4.1, je mit Hinweisen; 129 I 49 E. 4). Dass das Gutachten erst am 14. Juli 2010 erstellt wurde, wiewohl es bereits am 8. Dezember 2008 in Auftrag gegeben worden war, hat im Übrigen keinen Einfluss auf seine Qualität im Sinne einer fehlenden Aktualität. Das Gutachten (mit erneuter persönlicher Untersuchung des Beschwerdeführers am 1. Juli 2010) hat zwar lange gedauert, der vorinstanzliche Entscheid ist aber kurz nach dessen Erstellung ergangen. Das Ergänzungsgutachten von Dr. med. A._ erweist sich somit insgesamt als taugliche und überzeugende Entscheidgrundlage. Gestützt darauf hat die Vorinstanz die gegenwärtige Behandlungsfähigkeit des Beschwerdeführers und damit die Frage, ob eine stationäre Massnahme (noch) Aussicht auf Erfolg im Sinne von Art. 64 Abs. 1 StGB hat, verneinen und die Verwahrung gestützt auf Art. 62c Abs. 4 StGB anordnen dürfen. Unter diesen Umständen musste sie zum Hinweis des Beschwerdeführers, die Forensik des Psychiatriezentrums Rheinau biete sämtliche Voraussetzungen für seine Behandlung an, nicht ausdrücklich Stellung nehmen. Die eher beiläufig erhobene Rüge der Gehörsverweigerung zielt ins Leere.
5. Die Beschwerde ist abzuweisen. Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (Art. 64 BGG). Es sind keine Kosten zu erheben. Der Vertreter des Beschwerdeführers ist für das Verfahren vor Bundesgericht aus der Bundesgerichtskasse zu entschädigen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen.
3. Es werden keine Kosten erhoben.
4. Rechtsanwalt Beat Hess wird für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 3'000.-- aus der Bundesgerichtskasse ausgerichtet.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, II. Kammer, schriftlich mitgeteilt.
Lausanne, 16. Mai 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Mathys Arquint Hill