Sachverhalt:
A. Das Bezirksgericht Zürich sprach X._ am 23. Juni 2006 der mehrfachen ungetreuen Geschäftsbesorgung, der mehrfachen Urkundenfälschung und der mehrfachen Fälschung von Ausweisen schuldig. Es verurteilte ihn zu drei Monaten Gefängnis als Zusatzstrafe zu der am 1. Februar 2005 mit Urteil der "Cour d'appel du Grand-Duché de Luxembourg" ausgesprochenen Gefängnisstrafe. Gleichzeitig ordnete das Bezirksgericht Zürich eine ambulante Massnahme im Sinne von aArt. 43 Ziff. 1 Abs. 1 StGB an. Das Amt für Justizvollzug des Kantons Zürich hob die Massnahme am 22. Oktober 2010 wegen Aussichtslosigkeit auf.
B. Gegen die Aufhebung der ambulanten Massnahme rekurrierte X._ bei der Justizdirektion des Kantons Zürich und erhob gegen deren ablehnende Verfügung Beschwerde beim Verwaltungsgericht des Kantons Zürich, welches diese am 17. August 2011 teilweise guthiess. Es hob die Verfügung des Amtes für Justizvollzug des Kantons Zürich vom 22. Oktober 2011 (recte: 2010) auf und wies die Sache im Sinne der Erwägungen an dieses zurück (Disp.-Ziff. 2). Es nahm die Kosten auf die Gerichtskasse (Disp.-Ziff. 3). Eine Parteientschädigung sprach es X._ nicht zu (Disp.-Ziff. 4).
Am 30. September 2011 verfügte das Amt für Justizvollzug des Kantons Zürich die Weiterführung der ambulanten Massnahme.
C. X._ führt Beschwerde in Strafsachen beim Bundesgericht. Er beantragt, Disp.-Ziff. 4 des Urteils des Verwaltungsgerichts des Kantons Zürich aufzuheben und ihm für das verwaltungsgerichtliche Verfahren eine Parteientschädigung im Umfang von Fr. 4'553.40 (inkl. MWST), zahlbar an seine Rechtsvertreterin, zuzusprechen. Eventualiter sei Disp.-Ziff. 4 des Urteils des Verwaltungsgerichts des Kantons Zürich aufzuheben und die Sache an die Vorinstanz zurückzuweisen. Ausserdem sei für das bundesgerichtliche Verfahren die unentgeltliche Prozessführung und Verbeiständung zu bewilligen.
D. Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Das Amt für Justizvollzug des Kantons Zürich verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die auf die Verfügung des Amtes für Justizvollzug des Kantons Zürich vom 30. September 2011 hin erhobene Beschwerde in Strafsachen richtet sich gegen die Entschädigungsfolgen gemäss Rückweisungsentscheid des Verwaltungsgerichts des Kantons Zürich vom 17. August 2011. Eine direkte Anfechtung dieses strittigen Punkts innert der damaligen Rechtsmittelfrist war dem Beschwerdeführer prozessual verwehrt, da die in einem Rückweisungsentscheid getroffene Entschädigungsregelung nach ständiger Praxis des Bundesgerichts - wie die Rückweisung im Hauptpunkt selbst - einen Zwischenentscheid (Art. 93 Abs. 1 BGG) darstellt, der in der Regel keinen nicht wieder gutzumachenden Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG bewirkt (vgl. zuletzt <ref-ruling> E. 1.1). Dies rechtfertigt sich, weil über die Verteilung der Gerichts- und Parteikosten nicht befunden werden kann und darf, ohne vorfrageweise die Begründetheit der Rückweisung zu prüfen (<ref-ruling> E. 2.1 mit Hinweisen).
Die Anfechtung des Kostenentscheids ist somit erst mit Beschwerde gegen den Endentscheid möglich. Entscheidet die Instanz, an welche die Sache zurückgewiesen wurde, in der Hauptsache voll zu Gunsten der beschwerdeführenden Person, so kann diese die Kosten- oder Entschädigungsregelung im Rückweisungsentscheid direkt innerhalb der Frist des Art. 100 BGG ab Rechtskraft des Endentscheids mit ordentlicher Beschwerde beim Bundesgericht anfechten (<ref-ruling> E. 1.1 mit zahlreichen Hinweisen auf die bundesgerichtliche Rechtsprechung).
1.2 Mit Verfügung vom 30. September 2011 wurde den materiellrechtlichen Begehren des Beschwerdeführers vollumfänglich entsprochen. Auf die fristgerecht (Art. 100 Abs. 1 BGG) beim Bundesgericht eingereichte Beschwerde in Strafsachen gegen die Entschädigungsregelung gemäss Rückweisungsentscheid vom 17. August 2011 ist einzutreten.
2. 2.1 Das Verwaltungsgericht hält in seinem Urteil gestützt auf § 17 Abs. 2 VRG ohne nähere Begründung fest, dass dem Beschwerdeführer keine Parteientschädigung zuzusprechen sei. Erwähnt wird einzig, es mangle am überwiegenden Obsiegen (angefochtenes Urteil, S. 11).
2.2 Der Beschwerdeführer rügt, das Verwaltungsgericht sei in Bezug auf die Entschädigungsfolgen davon ausgegangen, er habe nicht vollständig obsiegt. Dies verletze Art. 8 Abs. 1 und Art. 9 BV. Es sei nach der bundesgerichtlichen Rechtsprechung willkürlich, eine Rückweisung als teilweises Unterliegen zu werten. Vorliegend habe das Verwaltungsgericht die Sache infolge Verletzung des Anspruchs auf rechtliches Gehör an das Amt für Justizvollzug zurückgewiesen. Da dieses die Weiterführung der ambulanten Massnahme verfügt habe, habe er auch in der Sache selbst vollständig obsiegt. Die Verweigerung der Parteientschädigung mit der Begründung, die Rückweisung sei nur als teilweises Obsiegen zu werten, sei willkürlich (Beschwerde, S. 6 f.).
Da die Rückweisung als Obsiegen zu werten sei, sei ihm eine Parteientschädigung zuzusprechen. Gründe, ihm eine solche Entschädigung zu verweigern, seien gestützt auf das Verwaltungsrechtspflegegesetz des Kantons Zürich vom 24. Mai 1959 (VRG; LS 175.2) nicht ersichtlich. Er erfülle die in § 17 Abs. 2 VRG genannten Voraussetzungen. Das Verwaltungsgericht sei selber von der Notwendigkeit der Bestellung eines unentgeltlichen Rechtsbeistandes ausgegangen (Beschwerde, S. 7).
Die Höhe der Parteientschädigung richte sich nach der Gebührenverordnung des Verwaltungsgerichts und entspreche weitgehend der Entschädigung des unentgeltlichen Rechtsbeistandes. Das Verwaltungsgericht habe dafür eine Entschädigung von Fr. 4'553.40 festgelegt, weshalb die Parteientschädigung in diesem Umfange festzusetzen sei.
2.3 Da es sich bei den Bestimmungen des zürcherischen VRG nicht um Bundesrecht im Sinne von Art. 95 BGG, sondern um kantonales Verwaltungsprozessrecht handelt, kann mit der Beschwerde in Strafsachen lediglich dessen willkürliche Anwendung vorgebracht werden.
Ein Entscheid ist willkürlich nach Art. 9 BV, wenn er nicht auf ernsthaften sachlichen Gründen beruht oder sinn- und zwecklos ist. Für die Begründung von Willkür genügt es praxisgemäss nicht, dass das angefochtene Urteil mit der Darstellung des Beschwerdeführers nicht übereinstimmt oder eine andere Lösung oder Würdigung vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> mit Hinweisen). Ein Entscheid verletzt das Rechtsgleichheitsgebot gemäss Art. 8 Abs. 1 BV, wenn hinsichtlich einer entscheidwesentlichen Tatsache rechtliche Unterscheidungen getroffen werden, für die ein vernünftiger Grund in den zu regelnden Verhältnissen nicht ersichtlich ist, oder wenn Unterscheidungen unterlassen werden, die aufgrund der Verhältnisse hätten getroffen werden müssen (<ref-ruling> E. 6.1 mit Hinweis).
2.4 Gemäss § 17 Abs. 1 VRG werden im Verfahren vor den Verwaltungsbehörden keine Parteientschädigungen zugesprochen. Nach Abs. 2 derselben Bestimmung kann indessen im Rekursverfahren und im Verfahren vor Verwaltungsgericht die unterliegende Partei oder Amtsstelle zu einer angemessenen Entschädigung für die Umtriebe ihres Gegners verpflichtet werden, namentlich wenn die rechtsgenügende Darlegung komplizierter Sachverhalte und schwieriger Rechtsfragen besonderen Aufwand erforderte oder den Beizug eines Rechtsbeistandes rechtfertigte (lit. a), oder wenn ihre Rechtsbegehren oder die angefochtene Anordnung offensichtlich unbegründet waren (lit. b).
2.5 Es stellt sich vorliegend die Frage, ob die Vorinstanz, ohne in Willkür zu verfallen, aus § 17 folgern konnte und durfte, es sei dem Beschwerdeführer keine Parteientschädigung zuzusprechen.
2.6 Der Beschwerdeführer geht zu Recht davon aus, dass ihm die Vorinstanz eine Parteientschädigung hätte zusprechen müssen. Mit seinem Rechtsmittel erreichte er, dass die Sache an die erste Instanz zurückgewiesen wurde, was einem Obsiegen gleichkommt. Die Vorinstanz gewährte ihm wegen seiner Bedürftigkeit sowie angesichts "der persönlichen Tragweite des Entscheids über die Aufhebung der ambulanten Massnahme und der nicht einfachen Rechtsfragen" einen Rechtsbeistand. Die Voraussetzungen nach § 17 Abs. 2 lit. a VRG sind damit erfüllt. Die rechtsgenügende Darlegung eines komplizierten, mithin nicht einfachen Sachverhalts (hierzu: ALFRED KÖLZ/JÜRG BOSSHART/MARTIN RÖHL, VRG, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl. 1999, § 17 N 27), rechtfertigte den Beizug eines Rechtsbeistandes, weshalb dem Beschwerdeführer eine Parteientschädigung zuzusprechen ist. Dass § 17 Abs. 2 VRG als "Kann"-Vorschrift formuliert ist, vermag hieran nichts zu ändern, da sich das behördliche Ermessen nicht auf die Zusprechung von Parteikostenersatz bei erfüllten Voraussetzungen gemäss lit. a und b bezieht, sondern auf weitere Fälle, in denen eine Entschädigung geschuldet sein könnte (vgl. KÖLZ/BOSSHART/RÖHL, a.a.O., § 17 N 24).
2.7 Die Vorinstanz hat § 17 Abs. 2 VRG willkürlich angewendet. Sie hat dem Beschwerdeführer eine angemessene Parteientschädigung zuzusprechen. Sie wird dabei zu prüfen haben, ob die von ihm geltend gemachte Entschädigung von Fr. 4'553.40 angemessen erscheint.
3. Die Beschwerde ist gutzuheissen. Ziff. 4 des Urteils des Verwaltungsgerichts des Kantons Zürich vom 17. August 2011 ist aufzuheben und die Sache zur Festsetzung der Parteientschädigung an die Vorinstanz zurückzuweisen. Da der Beschwerdeführer obsiegt, wird sein Gesuch um unentgeltliche Rechtspflege gegenstandslos.
Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 i.V.m. Abs. 4 BGG). Der Kanton Zürich hat der Rechtsvertreterin des Beschwerdeführers, Rechtsanwältin Magda Zihlmann, für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Ziff. 4 des Urteils des Verwaltungsgerichts des Kantons Zürich vom 17. August 2011 wird aufgehoben und die Sache zur Festsetzung der Parteientschädigung an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat der Rechtsvertreterin des Beschwerdeführers, Rechtsanwältin Magda Zihlmann, für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'000.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, schriftlich mitgeteilt.
Lausanne, 27. Dezember 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Keller