Sachverhalt: A. Das Bezirksgericht Hinwil verurteilte X._ am 12. Mai 2005 u.a. wegen mehrfachen Diebstahls und mehrfacher sexueller Handlungen mit Kindern zu einer unbedingten Gefängnisstrafe von 18 Monaten. X._ verbüsste diese Strafe zusammen mit diversen anderen Freiheitsstrafen im Umfang von insgesamt 46 Monaten und 16 Tagen in der Strafanstalt Saxerriet seit dem 2. Juli 2004. Am 16. August 2007 entliess ihn das Amt für Justizvollzug des Kantons Zürich per 12. September 2007 bedingt aus dem Strafvollzug bei einer der Reststrafe entsprechenden Probezeit von 645 Tagen bis 18. Juni 2009. Am Tag der bedingten Entlassung wurde X._ wegen Verdachts auf sexuelle Handlungen mit einem Kind vorübergehend in Untersuchungshaft genommen. Das Kreisgericht Obertoggenburg-Neutoggenburg verurteilte ihn am 11. September 2008 wegen mehrfacher sexueller Handlungen mit einem Kind und mehrfacher Schändung zu einer Freiheitsstrafe von dreieinhalb Jahren, teilweise als Zusatzstrafe zum Urteil des Bezirksgerichts Hinwil vom 12. Mai 2005. Das Kantonsgericht St. Gallen wies die dagegen gerichtete Berufung am 8. Juni 2010 ab. Die kantonalen Gerichte hielten für erstellt, dass X._ seine Tochter während des Strafvollzugs anlässlich von Hafturlauben zwischen dem 12. September 2004 und dem 2. November 2006 mehrfach sexuell missbrauchte. Das Bundesgericht wies die von X._ dagegen erhobene Beschwerde am 14. April 2011 ab (Verfahren 6B_793/2010). Am 25. Mai 2011 verurteilte das Bezirksgericht Hinwil X._ u.a. wegen mehrfachen Diebstahls, begangen von April bis August 2010, zu einer Freiheitsstrafe von 9 Monaten, teilweise als Zusatzstrafe zum Urteil des Kantonsgerichts St. Gallen vom 8. Juni 2010. X._ verbüsst derzeit die Freiheitsstrafen gemäss den Urteilen des Kantonsgerichts St. Gallen vom 8. Juni 2010 und des Bezirksgerichts Hinwil vom 25. Mai 2011 (vgl. Verfahren 6B_715/2014). B. Am 11. September 2013 widerrief das Amt für Justizvollzug des Kantons Zürich die bedingte Entlassung vom 16. August 2007 und ordnete den Vollzug der Reststrafe von 645 Tagen an. Den dagegen erhobenen Rekurs von X._ hiess die Justizdirektion des Kantons Zürich am 6. Februar 2014 teilweise gut. Sie bestätigte den Widerruf der bedingten Entlassung, hob den Entscheid des Amts für Justizvollzug aber insofern auf, als damit der Vollzug der Reststrafe angeordnet wurde. Das Verwaltungsgericht des Kantons Zürich hiess die dagegen gerichtete Beschwerde am 28. Juli 2014 teilweise gut, soweit es darauf eintrat. In Abänderung des Entscheids vom 6. Februar 2014 verpflichtete es die Justizdirektion, den Rechtsvertreter von X._ für seine Bemühungen mit Fr. 3'819.90 aus der Staatskasse zu entschädigen. Im Übrigen wies es die Beschwerde in Bestätigung des Entscheids der Justizdirektion ab. C. X._ wendete sich mit einer übermässig weitschweifigen Beschwerde an das Bundesgericht. Mit Verfügung des Instruktionsrichters vom 8. Oktober 2014 wurde er zu deren Verbesserung aufgefordert. Am 13. Dezember 2014 reichte er fristgerecht eine verbesserte Beschwerdeeingabe ein. Er beantragt im Wesentlichen, es sei vom Widerruf der bedingten Entlassung abzusehen. Das Urteil des Verwaltungsgerichts sei aufzuheben und die Angelegenheit im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Er ersucht überdies um unentgeltliche Rechtspflege und Verbeiständung. D. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Amt für Justizvollzug schliesst auf Abweisung der Beschwerde.