Sachverhalt:
A. A.a Das Obergericht des Kantons Zürich verurteilte X._ am 19. Januar 2009 wegen Vergewaltigung, Drohung und mehrfacher Tätlichkeiten zu einer Freiheitsstrafe von 20 Monaten sowie zu einer Busse von Fr. 1'500.--. Der Vollzug der Freiheitsstrafe wurde im Umfang von zehn Monaten aufgeschoben und die Probezeit auf drei Jahre festgesetzt. Im Übrigen wurde die Freiheitsstrafe für vollziehbar erklärt. Der Vollzug des unbedingten Teils der Freiheitsstrafe wurde zum Zweck einer ambulanten Therapie aufgeschoben.
A.b Die Bewährungs- und Vollzugsdienste des Amts für Justizvollzug des Kantons Zürich (nachfolgend: Amt für Justizvollzug) hoben die ambulante Massnahme am 26. November 2009 auf und stellten beim Obergericht des Kantons Zürich den Antrag, es sei die Anordnung einer stationären Massnahme nach <ref-law> zu prüfen. Das Obergericht versetzte X._ am 11. Dezember 2009 in Sicherheitshaft. Am 16. März 2010 ordnete es eine stationäre Massnahme im Sinne von <ref-law> an. X._ focht diese nicht an. Das Amt für Justizvollzug versetzte X._ am 4. Juni 2010 rückwirkend per 16. März 2010 in Sicherheitshaft. Am 17. November 2010 wurde er per 15. November 2010 unter gleichzeitiger Entlassung aus der Sicherheitshaft zum Vollzug der stationären Massnahme in die Justizvollzugsanstalt Pöschwies (nachfolgend: JVA Pöschwies) eingewiesen.
A.c Am 19. Januar 2011 stellte X._ beim Amt für Justizvollzug ein Gesuch um Aufhebung der stationären therapeutischen Massnahme und um Entlassung aus dem Freiheitsentzug. Eventualiter sei er bedingt aus dem stationären Massnahmevollzug zu entlassen. Subeventualiter sei er in eine geeignete Anstalt einzuweisen. Subsubeventualiter sei ein psychiatrisches Gutachten einzuholen. In verfahrensrechtlicher Hinsicht verlangte er die unentgeltliche Rechtspflege und Verbeiständung. Am 18. April 2011 wiederholte X._ seine Anträge.
A.d Das Amt für Justizvollzug stellte im Rahmen der jährlichen Prüfung mit Entscheid vom 9. Mai 2011 fest, die Voraussetzungen für eine bedingte Entlassung aus der stationären Massnahme seien nicht gegeben. Die Massnahme werde weitergeführt und das Gesuch von X._ abgewiesen. Ein Rekurs an die Direktion des Innern und der Justiz blieb ebenso ohne Erfolg wie die gegen diesen Entscheid eingereichte Beschwerde an das Verwaltungsgericht des Kantons Zürich, welches das Rechtsmittel und das Gesuch X._s um unentgeltliche Rechtspflege am 28. Dezember 2011 abwies.
B. Mit Beschwerde in Strafsachen beantragt X._ die Aufhebung des verwaltungsgerichtlichen Entscheids vom 28. Dezember 2011. Im Einzelnen verlangt er, die stationäre Massnahme sei aufzuheben, und er sei aus dem Freiheitsentzug zu entlassen. Eventualiter sei er bedingt aus dem Vollzug der stationären Massnahme zu entlassen. Subeventualiter sei ein psychiatrisches Gutachten einzuholen. Sowohl für das Verfahren vor Bundesgericht als auch für die Verfahren vor der Vorinstanz und der Justizdirektion seien ihm die unentgeltliche Rechtspflege zu gewähren und der unterzeichnende Anwalt als unentgeltlichen Rechtsbeistand beizuordnen.
C. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde sei abzuweisen. Das Amt für Justizvollzug schliesst ebenfalls auf Abweisung der Beschwerde. Eventualiter verlangt es die Sistierung des bundesgerichtlichen Verfahrens unter Hinweis darauf, dass am 21. März 2012 ein psychiatrisches Gutachten in Auftrag gegeben worden sei. Es führt aus, aufgrund der negativen Aufnahmebescheide des Massnahmezentrums A._, des Therapiezentrums im B._ und der Strafanstalt C._ sei entschieden worden, ein neues Gutachten einzuholen, welches Aufschluss über die Möglichkeiten und Grenzen der weiteren Behandlung geben sollte. Zur Beurteilung der Fragen der Entlassung bzw. der Aufhebung der Massnahme gemäss <ref-law> müsse man sich auf ein aktuelles Gutachten eines unabhängigen Sachverständigen stützen können.

Erwägungen:
1. 1.1 Laut der Vorinstanz kommt vorliegend weder eine Aufhebung der Massnahme nach <ref-law> noch eine bedingte Entlassung des Beschwerdeführers aus dem stationären Massnahmevollzug gemäss <ref-law> in Frage (Entscheid, S. 6 ff. zur Aufhebung, S. 11 ff. zur bedingten Entlassung). Die Vorinstanz stützt sich bei ihrem Entscheid auf das Gutachten des D._s vom 15. Mai 2006. Sie nimmt an, die beim Beschwerdeführer diagnostizierte Persönlichkeitsstörung, welche bisher kaum behandelt worden sei, bestehe unverändert weiter. Der Beschwerdeführer sei somit nach wie vor gefährlich. Das Gutachten vom 15. Mai 2006 habe weder zufolge Zeitablaufs noch infolge veränderter Verhältnisse an Aktualität eingebüsst (Entscheid, S. 14).
Der Beschwerdeführer ist der Ansicht, beim Gutachten des D._s vom 15. Mai 2006 handle es sich nicht um eine taugliche Entscheidgrundlage im Sinne von <ref-law>. Das Gutachten sei in Bezug auf die zu beantwortenden Fragen veraltet und insbesondere nicht aussagekräftig. Es äussere sich weder bezüglich der Anordnung noch bezüglich der Beendigung zu den Voraussetzungen einer stationären Massnahme. Die Vorinstanz hätte deshalb nicht darauf abstellen dürfen (Beschwerde, S. 9, 10, 11, 13, 14, 19, 20, 21). Der Beschwerdeführer beantragt im Subeventualstandpunkt denn auch, es sei ein neues psychiatrisches Gutachten einzuholen (Beschwerde, S. 25).
1.2 Das Gericht stützt sich beim Entscheid über die Anordnung einer stationären Massnahme auf eine sachverständige Begutachtung. Das Gutachten muss sich zur Notwendigkeit und den Erfolgsaussichten einer Behandlung des Täters, Art und Wahrscheinlichkeit weiterer möglicher Straftaten und zu den Möglichkeiten des Vollzugs der Massnahme äussern (Art. 56 Abs. 3 lit. a, b und c StGB). Sofern der Täter eine Tat im Sinne von <ref-law> begangen hat, wozu die Vergewaltigung als Anlassdelikt zählt, muss eine sachverständige Begutachtung gemäss <ref-law> auch vorliegen, wenn über die Aufhebung der Massnahme oder die bedingte Entlassung aus dem stationären Vollzug derselben zu befinden ist. Die Frage nach der Aufhebung einer Massnahme stellt sich insbesondere, wenn deren Durch- oder Fortführung als aussichtslos erscheint (<ref-law>). Dies ist namentlich der Fall, wenn sich im Laufe ihres Vollzugs herausstellt, dass eine therapeutische Besserung nicht mehr zu erwarten ist bzw. eine deutliche Verminderung der Gefahr weiterer Taten nicht mehr erreicht werden kann (<ref-ruling> E. 3.7; <ref-ruling> E. 5.2). Die Massnahme ist aber auch aufzuheben, wenn eine geeignete Einrichtung nicht oder nicht mehr existiert (<ref-law>). Bedingt entlassen wird ein Täter aus dem stationären Vollzug einer Massnahme, wenn sein Zustand es rechtfertigt, dass ihm Gelegenheit gegeben wird, sich in der Freiheit zu bewähren (<ref-law>). Der Sachverständige hat sich im Hinblick auf eine allfällige Aufhebung einer Massnahme oder eine bedingte Entlassung aus dem stationären Vollzug namentlich zum (bisherigen) Verlauf der Behandlung, zu Fragen der Behandelbarkeit und der Eignung der Behandlung, zum Therapieerfolg und zur Rückfallgefährlichkeit (Legalprognose) sowie den Möglichkeiten des Vollzugs (geeignete Einrichtungen) auszusprechen (vgl. allgemein <ref-ruling> E. 3.4 zu aArt. 45 Ziff. 1 StGB).
1.2 Das Gericht stützt sich beim Entscheid über die Anordnung einer stationären Massnahme auf eine sachverständige Begutachtung. Das Gutachten muss sich zur Notwendigkeit und den Erfolgsaussichten einer Behandlung des Täters, Art und Wahrscheinlichkeit weiterer möglicher Straftaten und zu den Möglichkeiten des Vollzugs der Massnahme äussern (Art. 56 Abs. 3 lit. a, b und c StGB). Sofern der Täter eine Tat im Sinne von <ref-law> begangen hat, wozu die Vergewaltigung als Anlassdelikt zählt, muss eine sachverständige Begutachtung gemäss <ref-law> auch vorliegen, wenn über die Aufhebung der Massnahme oder die bedingte Entlassung aus dem stationären Vollzug derselben zu befinden ist. Die Frage nach der Aufhebung einer Massnahme stellt sich insbesondere, wenn deren Durch- oder Fortführung als aussichtslos erscheint (<ref-law>). Dies ist namentlich der Fall, wenn sich im Laufe ihres Vollzugs herausstellt, dass eine therapeutische Besserung nicht mehr zu erwarten ist bzw. eine deutliche Verminderung der Gefahr weiterer Taten nicht mehr erreicht werden kann (<ref-ruling> E. 3.7; <ref-ruling> E. 5.2). Die Massnahme ist aber auch aufzuheben, wenn eine geeignete Einrichtung nicht oder nicht mehr existiert (<ref-law>). Bedingt entlassen wird ein Täter aus dem stationären Vollzug einer Massnahme, wenn sein Zustand es rechtfertigt, dass ihm Gelegenheit gegeben wird, sich in der Freiheit zu bewähren (<ref-law>). Der Sachverständige hat sich im Hinblick auf eine allfällige Aufhebung einer Massnahme oder eine bedingte Entlassung aus dem stationären Vollzug namentlich zum (bisherigen) Verlauf der Behandlung, zu Fragen der Behandelbarkeit und der Eignung der Behandlung, zum Therapieerfolg und zur Rückfallgefährlichkeit (Legalprognose) sowie den Möglichkeiten des Vollzugs (geeignete Einrichtungen) auszusprechen (vgl. allgemein <ref-ruling> E. 3.4 zu aArt. 45 Ziff. 1 StGB).
1.3 1.3.1 Das Gutachten des D._s, auf welches die Vorinstanz ihren Entscheid stützt, datiert vom 15. Mai 2006. Im Zeitpunkt des vorinstanzlichen Entscheids war es bereits über 5 1⁄2 Jahre alt. Es befasst sich mit dem Geisteszustand und der Behandelbarkeit des Beschwerdeführers sowie seiner Rückfallgefährlichkeit und der Legalprognose. Der Gutachter diagnostiziert eine Persönlichkeitsstörung, bejaht den Kausalzusammenhang zwischen Delinquenz und Störung und geht von einer erhöhten Gefahr neuerlicher Straftaten aus, sofern die psychische Störung des Beschwerdeführers unbehandelt bleibt (vgl. Gutachten, S. 57 f.). Diese Aussagen sind zwar allgemeingültig. Die daran anknüpfenden gutachterlichen Ausführungen zur Massnahmebedürftigkeit erfolgen jedoch alleine im Hinblick auf eine (allfällige) Anordnung einer ambulanten Massnahme im Sinne von <ref-law> und beschränken sich insoweit auf die Frage, ob eine solche Behandlung unter Gesichtspunkten der Zweckmässigkeit vollzugsbegleitend oder unter Aufschub des Strafvollzugs anzuordnen wäre (Gutachten, S. 54 f., S. 58). Über die Voraussetzungen und/oder die möglichen Wirkungen weiterer Sanktionen - wie beispielsweise einer stationären Massnahme - lässt sich das Gutachten nicht aus. Vorliegend stehen indessen alleine Fragen zur Fortführung oder allfälligen Aufhebung einer stationären therapeutischen Massnahme im Sinne von <ref-law> zur Diskussion bzw. solche zur bedingten Entlassung aus dem stationären Vollzug der Massnahme. Die gutachterlichen Ausführungen erweisen sich bereits aus diesem Grund für die hier zu beurteilende Thematik als unzureichend.
1.3.2 Das Gutachten des D._s berücksichtigt nicht bzw. kann mit Blick auf das Erstellungsdatum gar nicht berücksichtigen, was seit dem 15. Mai 2006 geschehen ist. Die gerichtlich angeordnete ambulante Behandlung wurde am 22. Mai 2009 in Vollzug gesetzt. Da der Beschwerdeführer wegen akuter Drogensucht weder absprache- noch therapiefähig war, wurde er vom 4. August bis zum 1. Oktober 2009 vorübergehend in der Forensik der Psychiatrischen Klinik E._ untergebracht. Zuvor liess er sich auf eigenen Wunsch in der Polyklinik für Drogenmedizin ambulant behandeln (kantonale Akten, act. 2/4). Nach dem Austritt aus der Klinik E._ wurde die ambulante Massnahme am 2. Oktober 2009 (wieder) aufgenommen. Gemäss Zwischenbericht vom 9. November 2009 wurden mit dem Beschwerdeführer vier Einzelsitzungen durchgeführt (kantonale Akten, act. 12/8). Gleichzeitig wurde er vom 1. Oktober bis 11. Dezember 2009 in der Psychiatrischen Universitätsklinik F._ psychiatrisch-psychotherapeutisch behandelt (vgl. kantonale Akten, act. 2/2 und 2/3, Arztzeugnisse vom 5. November 2010 und 22. Februar 2010). Sowohl im Austrittsbericht der Klinik E._ vom 12. Oktober 2009 als auch in den erwähnten Arztzeugnissen der Psychiatrischen Universitätsklinik F._ wird festgehalten, dass sich keine Hinweise auf eine akute Gefährdung Dritter ergeben bzw. die vom Beschwerdeführer ausgehende Gefahr für die Allgemeinheit als gering einzuschätzen ist (so im Übrigen auch die spezifische Risikoabklärung der Abteilung für Forensische Psychologie der Bewährungs- und Vollzugsdienste Zürich vom 7. Juni 2010, vgl. kantonale Akten, act. 12/48, S. 10). Ebenso wurde darauf hingewiesen, dass eine Behandlung des Beschwerdeführers im ambulanten Setting am meisten Erfolg verspräche, weil jener voraussichtlich grosse Schwierigkeiten hätte, die nötigen Anpassungsleistungen für eine stationäre Behandlung zu erbringen (vgl. kantonale Akten, act. 2/2 und 2/3, Arztzeugnisse vom 5. November 2010 und 22. Februar 2010).
1.3.3 Das Gutachten vom 15. Mai 2006 setzt sich mit dem oben umschriebenen Verlauf der Behandlung nicht auseinander. Ebenso wenig befasst es sich mit den ärztlichen Einschätzungen zur Behandelbarkeit des Beschwerdeführers, zum Therapieerfolg und zur Rückfallgefährlichkeit sowie zur Legalprognose. Es thematisiert insbesondere nicht, dass der Beschwerdeführer seit dem Anlassdelikt der Vergewaltigung zum Nachteil seiner damaligen Lebenspartnerin im September 2004 während fünf Jahren bis zur Eröffnung der Sicherheitshaft am 11. Dezember 2009 (abgesehen von der 99 Tage dauernden Untersuchungshaft und des zweimonatigen stationären Aufenthalts in E._) in Freiheit lebte und sich während dieser Zeit nicht strafbar machte. Ebenso wenig wird im Gutachten vom 15. Mai 2006 dazu Stellung genommen, dass der Beschwerdeführer in dieser Zeit eine neue Beziehung (mit Heirat am 26. April 2007) einging und mit seiner aktuellen Ehefrau im Zeitpunkt seiner Verhaftung bereits rund vier Jahre zusammen gelebt hatte. Aus diesem Grund wurde denn auch die vom Beschwerdeführer gemäss Gutachten vom 15. Mai 2006 ausgehende Gefahr für interfamiliäre Gewalt zumindest von einem Teil der ihn behandelnden Ärzte relativiert und als gering eingeschätzt (vgl. kantonale Akten, act. 2/3, Arztzeugnis der Psychiatrischen Universitätsklinik F._ vom 5. November 2009; anders hingegen die spezifische Risikoabklärung vom 7. Juni 2010, S. 10 und 11). Eine gutachterliche Überprüfung dieser Einschätzungen fehlt.
Die Auffassung der Vorinstanz, es sei für die Beurteilung der Rückfallgefahr bedeutungslos, dass der Beschwerdeführer seit September 2004 bis Dezember 2009 keine Straftaten beging, ist nicht nachvollziehbar. Einerseits war der Beschwerdeführer entgegen ihren diesbezüglich aktenwidrigen Feststellungen während dieser Zeit weder inhaftiert noch im Massnahmevollzug (Entscheid, S. 13). Er lebte vielmehr in Freiheit. Zudem ist es Aufgabe des Sachverständigen (und nicht des Gerichts), die Rückfallgefahr zu beurteilen und eine Legal- sowie Behandlungsprognose zu erstellen. Soweit die Vorinstanz Fragen insbesondere zur Rückfallgefahr ohne die vom Gesetz vorausgesetzte Expertenhilfe zu beantworten versucht (vgl. Entscheid S. 13), eignet sie sich unzulässigerweise Fachkompetenz an, über die sie nicht verfügt. Dass die bei den Akten liegenden Arztzeugnisse, Risikobeurteilungen oder Verfügungen des Migrationsamts, auf welche sie dabei teilweise verweist, eine sachverständige Begutachtung nicht zu ersetzen vermögen, bedarf keiner weiteren Ausführungen.
1.3.4 Dem Gutachten vom 15. Mai 2006, welches sich alleine zu ambulanten Massnahmen äussert, lassen sich schliesslich auch keine Überlegungen zu den Möglichkeiten eines Vollzugs und zum Bestehen von geeigneten Einrichtungen zur Durchführung einer stationären Massnahme entnehmen. Diese Frage bildet im Hinblick sowohl auf die Anordnung als auch auf die allfällige Beendigung einer Massnahme (unter der Voraussetzung von <ref-law>) einen notwendigen Bestandteil der sachverständigen Begutachtung (vgl. MARIANNE HEER, Basler Kommentar, Strafrecht I, 2. Aufl., 2007, Art. 56 Rz. 53).
1.4 Zusammenfassend liegt mit dem Gutachten des D._ vom 15. Mai 2006 kein (aktuelles) psychiatrisches Gutachten im Sinne von <ref-law> vor, welches sich zu den relevanten Fragen - Verlauf der Behandlung, Behandelbarkeit Eignung der Behandlung, Therapieerfolg, Rückfallgefahr (Legalprognose), Möglichkeiten des Vollzugs und Durchführbarkeit der Massnahme - im Hinblick auf die allfällige Fortführung bzw. Beendigung der stationären therapeutischen Massnahme äussert. Dieser Ansicht ist nunmehr wohl auch das Amt für Justizvollzug, welches inzwischen ein solches Gutachten in Auftrag gegeben hat und aus diesem Grund die Sistierung des bundesgerichtlichen Verfahrens verlangt (act. 15). Bei dieser Sachlage hat die Vorinstanz ein Gutachten einzuholen und wird sie nach Eingang desselben darüber zu befinden haben, ob die stationäre Massnahme fortzuführen, aufzuheben oder der Beschwerdeführer allenfalls bedingt aus dem stationären Vollzug der Massnahme zu entlassen ist. Im Übrigen ist sie darauf hinzuweisen, dass im Anwendungsbereich von <ref-law> grundsätzlich auch die Fachkommission anzuhören ist.
2. Die Beschwerde ist im Sinne des Subeventualantrags gutzuheissen und der vorinstanzliche Entscheid aufzuheben. Die Vorinstanz wird nach Einholung des Gutachtens neu zu entscheiden haben. Sie wird auch über die Kostenfolgen im kantonalen Verfahren neu befinden müssen. Eine Prüfung der weiteren Rügen des Beschwerdeführers erübrigt sich.
Das Gesuch um unentgeltliche Rechtspflege wird gegenstandslos. Es sind keine Gerichtskosten zu erheben. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).
Das Sistierungsgesuch des Amts für Justizvollzug wird mit dem Entscheid in der Sache gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutheissen, der Entscheid des Verwaltungsgerichts des Kantons Zürich vom 28. Dezember 2011 aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird als gegenstandslos geworden abgeschrieben.
3. Es werden keine Gerichtskosten erhoben.
4. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers, Rechtsanwalt Marcel Bosonnet, mit Fr. 3'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 26. Juni 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill