Sachverhalt: A. X._ wurde mit Urteil des Obergerichts des Kantons Zürich vom 27. August 1984 unter anderem wegen wiederholten Raubs zu 12 Jahren Zuchthaus verurteilt. Im November 1988 beging er während eines ihm gewährten Urlaubs einen Überfall. Das Geschworenengericht des Kantons Zürich verurteilte ihn am 31. Mai/24. Oktober 1990 unter anderem wegen Raubs und Geiselnahme zu neun Jahren Zuchthaus. Im Mai 1992 floh X._. Auf der Flucht kam es zu einem Schusswechsel zwischen ihm und den ihn verfolgenden Beamten. Er wurde deswegen vom Obergericht des Kantons Zug am 17. Dezember 1996 unter anderem wegen Gefährdung des Lebens, Gewalt und Drohung gegen Beamte sowie wegen mehrfacher Freiheitsberaubung zu einer Strafe von fünf Jahren Zuchthaus verurteilt. Erneut wurde dabei anstelle des Strafvollzugs die (altrechtliche) Verwahrung gemäss Art. 42 aStGB angeordnet. Im Februar 1999 entwich X._ aus dem offenen Vollzug der Strafanstalt Realta und beging wieder einen Raubüberfall. Das Obergericht Thurgau verurteilte ihn unter anderem wegen Raubs und Geiselnahme zu einer Zuchthausstrafe von neun Jahren. Anstelle des Vollzugs der Freiheitsstrafe wurde eine Verwahrung im Sinne von Art. 42 aStGB angeordnet. X._ befindet sich seither ununterbrochen im Verwahrungs- bzw. Strafvollzug. B. Am 20. Dezember 2006 lehnte das Amt für Justizvollzug die bedingte Entlassung von X._ aus der Verwahrung ab. Auf Rekurs von X._ hin hob die Direktion der Justiz und des Innern des Kantons Zürich diese Verfügung am 31. Mai 2007 auf und überwies das Gesuch um bedingte Entlassung zuständigkeitshalber dem Obergericht des Kantons Zürich zur Behandlung. Die dagegen erhobenen Beschwerden von X._ wiesen das kantonale Verwaltungsgericht am 25. September 2007 und in der Folge das Bundesgericht am 4. März 2008 ab (Urteil 6B_589/2007). C. Am 20. November 2008 vereinigte das Obergericht des Kantons Zürich das Verfahren um bedingte Entlassung aus der Verwahrung mit dem Verfahren betreffend die in Ziff. 2 Abs. 2 der Schlussbestimmungen der Änderung des Strafgesetzbuches vom 13. Dezember 2002 vorgesehene Überprüfung der altrechtlichen Verwahrung im Sinne von Art. 42 Ziff. 1 aStGB. Nach Eingang des Gutachtens vom 5. November 2008, seiner Ergänzung vom 8. März 2009, des aktuellen Führungsberichts der Vollzugsanstalt Sennhof vom 24. September 2009 sowie des Berichts der Fachkommission zur Überprüfung der Gemeingefährlichkeit von Straftätern und Straftäterinnen des Ostschweizer Strafvollzugskonkordats vom 12. April 2010 und der hierzu ergangenen Stellungnahmen der Parteien beschloss das Obergericht am 26. August 2010, die über X._ angeordneten altrechtlichen Verwahrungen würden als Verwahrung nach neuem Recht weitergeführt. Das Gesuch um bedingte Entlassung aus der Verwahrung resp. aus dem dieser vorausgehenden Strafvollzug lehnte es ab. Die dagegen erhobene kantonale Nichtigkeitsbeschwerde wies das Kassationsgericht des Kantons Zürich mit Zirkulationsbeschluss vom 16. Mai 2011 ab, soweit es darauf eintrat. D. Mit Beschwerde in Strafsachen beantragt X._ im Wesentlichen die Aufhebung der angefochtenen Entscheide des Obergerichts und des Kassationsgerichts. Zugleich ersucht er um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.