Das Bundesgericht zieht in Erwägung:
1. Das Obergericht des Kantons Zürich verurteilte X._ am 30. April 2010 unter anderem wegen Vergewaltigung zu vier Jahren und sechs Monaten Freiheitsstrafe. Das Bezirksgericht Zürich hatte bereits am 26. Juni 2009 eine vollzugsbegleitende ambulante Massnahme angeordnet.
Gegen die inzwischen in Vollzug gesetzte ambulante Massnahme brachte X._ am 12. Juli 2011 vor, er verzichte auf deren Weiterführung, da er mit der Therapeutin unzufrieden sei, und er werde sich künftig jeglicher therapeutischer Bemühungen des Staates enthalten. Nachdem das Amt für Justizvollzug des Kantons Zürich bereits am 20. Mai 2011 ein psychiatrisches Gutachten in Auftrag gegeben hatte, welches sich insbesondere zu geeigneten Massnahmen äussern sollte, sistierte der Justizvollzug am 19. August 2011 den Entscheid über Fortführung oder Aufhebung der ambulanten Massnahme bis zum Vorliegen des Gutachtens.
Gegen die Sistierungsverfügung gerichtete Rechtsmittel wiesen die Direktion der Justiz und des Innern des Kantons Zürich am 31. Oktober 2011 und das Verwaltungsgericht des Kantons Zürich am 26. Januar 2012 ab, soweit darauf eingetreten wurde.
X._ führt beim Bundesgericht Beschwerde in Strafsachen und beantragt, das Urteil des Verwaltungsgerichts vom 26. Januar 2012 sei aufzuheben. Es sei festzustellen, dass die Sistierung des Entscheids betreffend Fortführung oder Aufhebung der ambulanten Massnahme widerrechtlich erfolgt und das Gutachten unter Verletzung seiner Rechte in Auftrag gegeben worden und dessen Inhalt unverwertbar sei.
2. Die Vorinstanz hält zunächst fest, Gegenstand des Verfahrens bilde nur die Frage, ob der Justizvollzug den Entscheid betreffend Fortführung oder Aufhebung der ambulanten Massnahme zu Recht bis zum Vorliegen des Gutachtens sistiert habe. Demzufolge könnten die Verwertbarkeit des Gutachtens und die Frage, ob es unter Verletzung der Rechte des Beschwerdeführers in Auftrag gegeben worden sei, nicht Gegenstand des Verfahrens sein. Einwände betreffend Verwertbarkeit des Gutachtens oder die Unabhängigkeit des Gutachters müssten im Rahmen der Rechtsmittel gegen den vom Justizvollzug noch zu fällenden Entscheid betreffend Fortführung oder Aufhebung der ambulanten Massnahme erhoben werden (vgl. angefochtenen Entscheid S. 3 E. 1.2).
Dem ist ohne Weiteres zuzustimmen. Der Justizvollzug verfügte am 19. August 2011 ausschliesslich, der Entscheid betreffend Fortführung oder Aufhebung der ambulanten Massnahme nach <ref-law> werde bis zum Vorliegen des Gutachtens sistiert (Dispositiv Ziff. I). In Bezug auf die Bestellung des Gutachters hatte der Justizvollzug bereits am 19. Mai 2011 eine Verfügung erlassen, gegen die sich der Beschwerdeführer gemäss Rechtsmittelbelehrung mit Rekurs an die Direktion der Justiz und des Innern des Kantons Zürich wenden konnte. Mit der Bestellung des Gutachters hatte sich somit die Vorinstanz im angefochtenen Entscheid und hat sich das Bundesgericht im vorliegenden Verfahren nicht zu befassen. Auch davon, dass sich das Bundesgericht bereits heute zur Frage der angeblichen Widerrechtlichkeit des inzwischen erstellten Gutachtens äussern könnte (Beschwerde S. 6 Ziff. 17 und 18), kann nicht die Rede sein. Dieses Gutachten wird, wie die Vorinstanz zu Recht feststellt, im offenbar noch hängigen Verfahren betreffend die ambulante Massnahme zu überprüfen sein.
3. Die Vorinstanz kommt zum Schluss, angesichts des Umstands, dass ein früheres Gutachten am 20. Mai 2011 bereits drei Jahre alt gewesen sei, und der Weigerung des Beschwerdeführers, sich von staatlicher Seite therapieren zu lassen, sei die Sistierung des Entscheids über das weitere Schicksal der ambulanten Massnahme nicht zu beanstanden, da dieses wesentlich vom neuen Gutachten abhänge (vgl. angefochtenen Entscheid S. 4 E. 2.1).
Der Beschwerdeführer rügt demgegenüber, gemäss <ref-law> prüfe die zuständige Behörde mindestens einmal jährlich, ob die ambulante Behandlung fortzusetzen oder aufzuheben sei. Eine Sistierung des entsprechenden Entscheids sei im Gesetz nicht vorgesehen (Beschwerde S. 7 Ziff. 20).
Für den Fall, dass die zuständige Behörde bei ihrer jährlichen Prüfung zusätzliche Abklärungen für notwendig erachtet, schliesst das Gesetz eine Sistierung des Verfahrens bis zur Erledigung der Abklärungen nicht aus, auch wenn dadurch die Prüfung nicht genau ein Jahr nach der letzten Prüfung abgeschlossen werden kann. Allein aufgrund der Fristüberschreitung liegt noch keine unzulässige Rechtsverzögerung vor. Im vorliegenden Fall kam die Vorinstanz zum Schluss, insbesondere wegen der Weigerung des Beschwerdeführers, sich im Rahmen einer Massnahme therapieren zu lassen, müsse das aktuelle Gutachten abgewartet werden. Diese Auffassung und damit auch die Sistierung des Verfahrens bis zum Vorliegen des Gutachtens sind nicht zu beanstanden.
Aus welchem Grund der Beschwerdeführer die Therapie ablehnt (vgl. Beschwerde S. 4 Ziff. 10 und S. 8/9 Ziff. 24-26), ist für den Ausgang des vorliegenden Verfahrens unerheblich. Nachdem er sich weigert, die ambulante Behandlung weiterzuführen, kann seine Rüge, man hätte ihn mit allen rechtlichen Mitteln quasi zwingen müssen, sich der Massnahme zu unterziehen (Beschwerde S. 7 Ziff. 20), nur als mutwillig bezeichnet werden. Nachdem er darauf besteht, dass künftig jede therapeutische Bemühung des Staates zu unterlassen sei, gilt dasselbe für sein Vorbringen, es sei ihm kein valabler Ersatztherapeut zur Verfügung gestellt worden (vgl. Beschwerde S. 7/8 Ziff. 22).
4. Die Vorinstanz stellt fest, die Möglichkeit einer Sistierung sei im Rahmen der Verfahrensleitung als Rechtsinstitut auch anerkannt, wenn nicht der Entscheid einer anderen Behörde, sondern ein Gutachten abgewartet werden müsse (vgl. angefochtenen Entscheid S. 4/5 E. 2.2). Was daran gegen das Willkürverbot von <ref-law> verstossen könnte, ergibt sich aus der Beschwerde nicht (vgl. S. 13/14 Ziff. 42-45).
5. Was der Beschwerdeführer schliesslich unter dem Titel Rechtsverweigerung und Verstoss gegen das Rechtsgleichheitsgebot vorbringt (vgl. Beschwerde S. 14-16 Ziff. 46-54), betrifft das Gutachten und ist im vorliegenden Verfahren nicht zu hören.
6. Die Beschwerde ist im Verfahren nach <ref-law> abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 25. Juni 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Monn