Sachverhalt:
A. X._ verbüsst eine 5 1⁄2-jährige Zuchthausstrafe wegen mehrfacher sexueller Nötigung, Vergewaltigung und mehrfacher sexueller Handlungen mit Kindern zum Nachteil seiner beiden Stieftöchter. Die Strafe endet am 6. August 2012.
B. Am 21. April 2010 ersuchte X._ um einen begleiteten Beziehungsurlaub für den 21. Mai 2010 von 08:00 bis 18:00 Uhr.
Die Direktion der Justizvollzugsanstalt Pöschwies wies das Gesuch am 3. Juni 2010 ab. Den Rekurs gegen diesen Entscheid wies die Direktion der Justiz und des Innern des Kantons Zürich am 9. September 2010 ab.
Die Beschwerde des Gesuchstellers wies das Obergericht des Kantons Zürich am 17. Januar 2011 ab.
C. X._ führt Beschwerde in Strafsachen und beantragt, der angefochtene Entscheid sei aufzuheben und sein Urlaubsgesuch zu bewilligen; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.

Erwägungen:
1. Die Vorinstanz verweigerte dem Beschwerdeführer den Urlaub wegen Fluchtgefahr. Unbestritten sei, dass er sich im Jahr 2005 dem Strafvollzug entzogen habe bzw. erst nach fast zwei Jahren in Spanien habe verhaftet werden können, wohin er ausgewandert sei. Es sei davon auszugehen, dass er sich dort zu etablieren vermocht und den Bezug dorthin nicht verloren habe oder aber wieder werde aufbauen können. Für ihn sei es denn auch denkbar, wieder nach Spanien auszuwandern, sofern er in der Schweiz beruflich scheitern sollte. Ebenso stehe fest, dass er sich nach wie vor zu Unrecht verurteilt fühle. Auch verfüge er hier über keine stabile partnerschaftliche Beziehung und nur wenige soziale Kontakte (angefochtener Entscheid S. 9 f. Ziff. 4.2).
2. Der Beschwerdeführer beanstandet, indem ihm die Vorinstanz Fluchtgefahr unterstelle, erfasse sie den Sachverhalt willkürlich (<ref-law>). Ihr Entscheid verstosse auch gegen <ref-law> und Art. 10 Abs. 2 sowie Art. 13 Abs. 1 BV (Schutz der persönlichen Freiheit bzw. der Privatsphäre).
2.1 Soweit der Beschwerdeführer die tatsächlichen Schlussfolgerungen der Vorinstanz in Frage stellt, erschöpfen sich seine Ausführungen in appellatorischer Kritik.
Er bringt z.B. vor, als inzwischen 55 Jahre alter Schweizerbürger sei er schon aufgrund seiner Herkunft und Nationalität mit der Schweiz stark verbunden, und wenn auch infolge des Strafantritts lediglich wenige Beziehungen zu Mitmenschen ausserhalb des Gefängnisses verblieben seien, so lebten diese alle in der Schweiz. Damit vermag der Beschwerdeführer nicht aufzuzeigen, die Vorinstanz habe willkürlich verneint, dass er in der Schweiz tragfähige Beziehungen unterhalte.
Seine Behauptung, er habe heute keinen relevanten Bezug mehr zu Spanien, relativiert er gleich selbst, wenn es nach ihm auf der Hand liegt, "dass die beruflichen Perspektiven für einen aus dem Strafvollzug entlassenen 55-jährigen Mann in der Schweiz um einiges schlechter ausfallen als etwa in Spanien" (Beschwerdeschrift S. 11 oben).
Im Zeitpunkt des vorinstanzlichen Urteils betrug die Reststrafe noch gut 11⁄2 Jahre. Deshalb ist seine Schlussfolgerung nicht zwingend, er habe nicht "irgendeinen Grund im Rahmen eines Urlaubs umgehend das Weite zu suchen und ins Ausland zu fliehen" (a.a.O. S. 10 Ziff. 25).
2.2 Zur Beurteilung der Fluchtgefahr hat die Vorinstanz ausschliesslich zulässige Elemente herangezogen. Ihr Entscheid ist im Einklang mit <ref-law> und angesichts der Dauer der Reststrafe im Beurteilungszeitpunkt auch verhältnismässig.
2.3 Inwiefern der vorinstanzliche Entscheid gegen Art. 10 Abs. 2 sowie Art. 13 Abs. 1 BV verstossen sollte, begründet der Beschwerdeführer nicht. Auf die Rügen ist nicht einzutreten.
Ebensowenig einzutreten ist auf seine Vorbringen zu den Erwägungen der Anstaltsdirektion und der Justizdirektion (Beschwerdeschrift S. 7 Ziff. 15 f.). Deren Entscheide bilden nicht Gegenstand des bundesgerichtlichen Verfahrens.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Da seine Begehren von vornherein aussichtslos erschienen, ist das Gesuch abzuweisen (<ref-law>). Bei der Bemessung der Gerichtskosten ist jedoch seinen finanziellen Verhältnissen Rechnung zu tragen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichterin, schriftlich mitgeteilt.
Lausanne, 16. Mai 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Mathys Borner