Sachverhalt:
A. Mit Verfügung vom 10. November 2010 widerrief das Migrationsamt des Kantons Zürich die EG/EFTA-Niederlassungsbewilligung von X._, einem 1972 geborenen, aus dem Libanon stammenden italienischen Staatsangehörigen, da dieser durch ein rechtskräftiges Strafurteil des Obergerichts des Kantons Zürich u.a. wegen mehrfacher Vergewaltigung und Widerhandlung gegen das Betäubungsmittelgesetz zu einer Freiheitsstrafe von viereinhalb Jahren verurteilt worden war. Das Migrationsamt ordnete in seiner Verfügung zudem an, X._ müsse sich sofort nach seiner Entlassung aus dem Strafvollzug aus der Schweiz entfernen, und es entzog einem allfälligen Rekurs die aufschiebende Wirkung. Der Betroffene, damals vertreten durch Rechtsanwalt Y._, rekurrierte gegen die Verfügung des Migrationsamtes am 14. Dezember 2010 bei der Sicherheitsdirektion des Kantons Zürich. Am 17. Januar 2011 teilte Rechtsanwalt Y._ der Sicherheitsdirektion mit, er habe das Mandat an Rechtsanwalt Peter Nideröst substituiert. Mit Entscheid vom 19. Januar 2011, welcher an Rechtsanwalt Nideröst zugestellt wurde, wies die Sicherheitsdirektion den Rekurs ab.
B. Rechtsanwalt Nideröst ersuchte das Migrationsamt mit vorab gefaxten Eingaben vom 20. und 31. Januar 2011 um Aktenzustellung. Dieses sandte ihm am 31. Januar 2011 Kopien der act. 92-124 des Dossiers zu und wies darauf hin, die act. 1-90 seien bereits Rechtsanwalt Y._ zur Verfügung gestellt worden, von welchem sie bezogen werden könnten, ebenso die von diesem verfasste Rekurseingabe (act. 91). Mit vorab gefaxter Eingabe an das Migrationsamt vom 7. Februar 2011 bat Rechtsanwalt Nideröst erneut um vollständige Akteneinsicht, da Rechtsanwalt Y._ die Akten zwar eingesehen, aber nicht kopiert habe und ihm deshalb die fehlenden Akten nicht zur Verfügung stellen könne. Am 14. Februar 2011 teilte das Migrationsamt Rechtsanwalt Nideröst mit, die Akten befänden sich derzeit ausser Haus; es werde dem Akteneinsichtsgesuch aber so schnell wie möglich nachkommen. Am 28. Februar 2011 stellte das Migrationsamt Rechtsanwalt Nideröst die vollständigen Akten (act. 1-133) zur Einsicht zu.
C. Am 23. Februar 2011 erhob Rechtsanwalt Nideröst namens von X._ gegen den Rekursentscheid der Sicherheitsdirektion vom 19. Januar 2011 Beschwerde beim Verwaltungsgericht des Kantons Zürich. Die Beschwerde enthielt den verfahrensrechtlichen Antrag, dem Beschwerdeführer sei eine angemessene Frist von mindestens 30 Tagen anzusetzen, um die Beschwerdebegründung zu vervollständigen, sowie eine "vorläufige Kurzbegründung" von rund drei Seiten, worin der Beschwerdeführer die Prozessgeschichte darlegte und ausführte, ohne Kenntnis der vollständigen Akten sei ihm eine sachgerechte Beschwerdebegründung nicht möglich. Mit Beschluss vom 9. März 2011 trat das Verwaltungsgericht auf die Beschwerde nicht ein, da sie keine genügende Begründung enthalte.
D. Mit Eingabe vom 14. April 2011 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, die Sache sei an die Vorinstanz zurückzuweisen mit der Anweisung, auf die Beschwerde einzutreten und eine angemessene Nachfrist anzusetzen, um die Beschwerde beim Verwaltungsgericht zu begründen. Zudem beantragt er Erteilung der aufschiebenden Wirkung und der unentgeltlichen Rechtspflege.
Das Migrationsamt des Kantons Zürich und das Bundesamt für Migration beantragen Abweisung der Beschwerde. Das Verwaltungsgericht verzichtet auf Vernehmlassung. Der Beschwerdeführer hat sich zu den Vernehmlassungen geäussert.
Mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung des Bundesgerichts vom 19. April 2011 wurde der Beschwerde aufschiebende Wirkung zuerkannt.
Erwägungen:
1. Gegen den kantonal letztinstanzlichen Entscheid im Zusammenhang mit dem Widerruf einer Niederlassungsbewilligung ist die Beschwer- de in öffentlich-rechtlichen Angelegenheiten zulässig (BGE 135 II 1 E. 1.2.1 S. 4; Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG sowie Art. 83 lit. c Ziff. 2 BGG e contrario).
Die richtige Anwendung von Bundesrecht und Völkerrecht überprüft das Bundesgericht mit freier Kognition (Art. 95 lit. a und lit. b BGG). Bei der Anwendung des kantonalen Rechts beschränkt sich die Überprüfungsbefugnis des Bundesgerichts demgegenüber darauf, ob durch die Anwendung kantonalen Rechts Bundesrecht oder Völkerrecht verletzt wird, wobei namentlich die willkürliche Anwendung kantonalen Rechts in Betracht fällt.
Das Bundesgericht prüft zudem die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Der Beschwerdeführer hat anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 III 393 E. 6 S. 397). Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid verfassungskonform ist, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 134 I 83 E. 3.2 S. 88; 133 II 249 E. 1.4.2 S. 254; 133 II 396 E. 3.2 S. 400).
2. Die Vorinstanz hat erwogen, gemäss § 54 Abs. 1 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG/ZH) brauche die Beschwerdeschrift im Sinne eines Gültigkeitserfordernisses einen Antrag und eine Begründung. An einer Begründung fehle es hier gänzlich, ausser für das Gesuch um Ansetzung einer Begründungsfrist. Fehle eine Begründung, sei gestützt auf § 56 Abs. 1 VRG/ZH in der Regel eine Nachfrist zum Einreichen einer verbesserten Beschwerdeschrift anzusetzen. Diese Bestimmung solle aber nur überspitzten Formalismus verhindern, weshalb sie nicht immer zur Anwendung gelange; so lasse sich rechtskundigen oder rechtskundig vertretenen Parteien keine Gelegenheit zur Verbesserung einräumen. Auch sonst sei von einer Nachfristansetzung abzusehen, wenn es einer Partei nach Treu und Glauben zumutbar gewesen wäre, eine Beschwerde mit zumindest summarischer Begründung einzureichen. Es gehe nicht an, sich durch bewussten Verzicht auf Begründung eine Erstreckung der Beschwerdefrist zu verschaffen. Es könne sodann keine Rede davon sein, die Unkenntnis der Akten 1-90 habe vorliegend jegliche Begründung verunmöglicht. Zumindest habe der Vertreter einige der Akten gehabt. Obendrein hätte es nahegelegen, das Migrationsamt zu fragen, wo sich seine Akten befänden, um Letztere direkt einzusehen.
3. Der Beschwerdeführer macht vorab geltend, die Vorinstanz gehe zu Unrecht davon aus, die Beschwerdeschrift habe keine Begründung in der Sache enthalten; sie habe nur, aber immerhin, eine vollständige Begründung enthalten, soweit damit eine Verletzung des Akteneinsichtsrechts gerügt worden sei.
Die Rüge geht ins Leere: Es trifft zwar zu, dass in der Beschwerdeschrift vom 23. Februar 2011 gerügt worden war, ohne Akteneinsicht sei es der Partei nicht möglich, die Begründung eines Entscheids auf ihre Stichhaltigkeit hin zu überprüfen. Dies ist aber nicht eine Begründung in der Sache, sondern nur eine Begründung dafür, dass eine Begründung in der Sache nicht möglich sei.
4. Die von der Vorinstanz zugrunde gelegte Auslegung von § 56 VRG/ZH entspricht der ständigen Praxis der zürcherischen Behörden (KÖLZ/ BOSSHART/RÖHL, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl. 1999, Rz. 27 zu § 23 und Rz. 8 zu § 56); die analoge Praxis zu § 23 VRG/ZH wurde vom Bundesgericht in publizierter Rechtsprechung mit folgender Begründung als nicht verfassungswidrig beurteilt: Die Begründungspflicht als Gültigkeitserfordernis würde wirkungslos, wenn sich jede Partei dadurch, dass sie das Rechtsmittel ohne Begründung einreicht, über eine so erwirkte Nachfrist eine zusätzliche Begründungsfrist verschaffen könnte. Die kantonalen Instanzen dürfen ohne Willkür schliessen, die Ansetzung einer Nachfrist für die Begründung des Rechtsmittels solle die Ausnahme und nicht die Regel sein, und sie können mit Grund annehmen, es könne nicht diejenige Partei eine Nachfrist beanspruchen, welche die Gültigkeitserfordernisse genau mit diesem Ziel bewusst nicht erfüllt hat (BGE 108 Ia 209 E. 3 S. 211 f.; zuletzt bestätigt im Urteil 1C_31/2010 vom 2. Februar 2010). Gleich wurde auch in einem Fall entschieden, in welchem der Rekurrent - wie im vorliegenden Fall der Beschwerdeführer - geltend gemacht hatte, er habe bis Ende der Rekursfrist die Akten nicht erhalten; zur Begründung wurde dort ausgeführt, dass es möglich gewesen wäre, den Rekurs auch ohne Aktenkenntnis zumindest summarisch zu begründen (Urteil 2P.348/1996 vom 31. Oktober 1996 E. 4).
5. Der Beschwerdeführer legt nicht in einer den Anforderungen von Art. 106 Abs. 2 BGG genügenden Weise (vgl. E. 1 hiervor) dar, inwiefern diese Praxis der zürcherischen Behörden willkürlich sein soll. Der Hinweis auf BGE 134 V 162 reicht dafür jedenfalls nicht aus, wie die nachfolgenden Ausführungen zeigen:
Im genannten Entscheid hat das Bundesgericht in Anwendung von Art. 61 lit. b des Bundesgesetzes vom 6. Oktober 2000 über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG; SR 830.1) erkannt, der Sinn der dort vorgesehenen Nachfrist bestehe im Schutz der rechtsunkundigen Partei, welche erst kurz vor Ablauf der Anfechtungsfrist in Unkenntnis der formellen Anforderungen eine formell ungenügende (namentlich eine ungenügend begründete) Beschwerdeschrift einreiche. Könne der erst kurz vor Ablauf der Rechtsmittelfrist mandatierte Rechtsvertreter die Akten nicht mehr rechtzeitig einsehen, so laufe es auf dasselbe hinaus, ob er eine summarische oder überhaupt keine Begründung einreiche; in beiden Fällen sei eine Nachfrist zur Behebung des formellen Mangels anzusetzen, wenn nicht ein rechtsmissbräuchliches Verhalten vorliege. Bei rechtskundigen Personen oder Vertretern sei zwar Rechtsmissbrauch eher anzunehmen, weil ihnen das korrekte Vorgehen bekannt sein müsse. Im Rahmen der Anwendung von Art. 61 lit. b ATSG könne aber ein offensichtlicher Rechtsmissbrauch nicht schon darin erblickt werden, dass zunächst die Akten eingeholt und gleichzeitig eine vorsorgliche Beschwerde ohne oder lediglich mit summarischer Begründung eingereicht werde; ferner sei Aktenkenntnis in aller Regel erforderlich, um überhaupt beurteilen zu können, ob eine Beschwerde Aussicht auf Erfolg habe, was zu einer sorgfältigen Mandatsausübung gehöre (BGE 134 V 162 E. 5.1 S. 167 f.). Ein Rechtsmissbrauch, der einen Verzicht auf die gesetzlich vorgesehene Nachfrist zu rechtfertigen vermöge, liege daher in der Regel dann nicht vor, wenn aufgrund der Sachlage eine rechtsgenügliche Beschwerdebegründung praktisch nicht ohne Aktenkenntnis möglich sei, die rechtsunkundige Partei, welche selber die Akten nicht besitze, in gutem Glauben erst kurz vor Ablauf der Beschwerdefrist einen Rechtsvertreter mandatiere und diesem weder eine rechtzeitige Aktenbeschaffung noch eine sonstige hinreichende Beurteilung des Sachverhalts möglich sei. In solchen Fällen müsse es als genügend betrachtet werden, wenn der Rechtsvertreter unverzüglich die Akten einhole und nach deren Eingang die innert Frist vorsorglich eingereichte Beschwerde mit einer Begründung ergänze (BGE 134 V 162 E. 5.2 S. 168 f.).
Jener Entscheid betraf indes die Auslegung einer bundesrechtlichen Verfahrensvorschrift, deren richtige Anwendung das Bundesgericht im Rahmen einer Beschwerde in öffentlich-rechtlichen Angelegenheiten frei und von Amtes wegen überprüft (Art. 95 lit. a und Art. 106 Abs. 1 BGG). Im vorliegenden Fall geht es hingegen nur um eine Willkürprüfung im Hinblick auf eine Norm des kantonalen Verfahrensrechts. Selbst wenn die Praxis der zürcherischen Behörden zu § 56 VRG/ZH von der Rechtsprechung gemäss BGE 134 V 162 abweichen sollte, wäre dies nicht ohne Weiteres willkürlich (vgl. BGE 117 Ia 126 E. 5c S. 131 f.): Der Umstand, dass bestimmte bundesrechtliche Verfahrensvorschriften vorsehen, dass im Falle einer ohne Begründung eingereichten Beschwerde grundsätzlich immer eine Nachfrist anzusetzen ist, hat jedenfalls nicht zur Folge, dass die gleichen Regeln automatisch auch verfassungsunmittelbar gelten würden (vgl. E. 6 hiernach). In diesem Zusammenhang ist insbesondere darauf hinzuweisen, dass selbst andere Bundesgesetze eine von Art. 61 lit. b ATSG abweichende Regelung kennen; beispielsweise besteht auch im Verfahren nach Bundesgerichtsgesetz kein analoger Anspruch auf Ansetzung einer Nachfrist, wenn ein Rechtsmittel unzureichend begründet oder gar ohne jede Begründung eingereicht wurde (Art. 42 Abs. 5 BGG e contrario; BGE 134 II 244 E. 2.4.2 S. 247 f.). Insofern kann der Beschwerdeführer aus der aufgezeigten sozialversicherungsrechtlichen Rechtsprechung nichts zu seinen Gunsten herleiten.
6. Der Beschwerdeführer behauptet sodann, dass sich die Pflicht der Vorinstanz, eine Nachfrist zur Beschwerdebegründung anzusetzen, im vorliegenden Fall auch aus dem Verbot des überspitzten Formalismus sowie aus dem Grundsatz des fairen Verfahrens (Art. 29 Abs. 1 BV) ergeben hätte.
6.1 Nach der Rechtsprechung besteht ein verfassungsmässiger Anspruch darauf, dass die Behörde eine Eingabe, die an einem klar erkennbaren Formmangel leidet, zur Verbesserung zurückweist, sofern die noch verfügbare Zeit ausreicht, um bis zum Ablauf der Rechtsmittelfrist den Mangel zu beheben. Dieser Anspruch wird mit dem Verbot des überspitzten Formalismus oder auch mit Treu und Glauben begründet, die früher beide aus Art. 4 der nicht mehr in Kraft stehenden Bundesverfassung vom 29. Mai 1874 (aBV) abgeleitet wurden und heute in Art. 29 Abs. 1 bzw. Art. 5 Abs. 3 sowie Art. 9 BV enthalten sind (BGE 114 Ia 20 E. 2b S. 22 ff.; 120 V 413 E. 5a und E. 6a S. 417 ff.; 125 I 166 E. 3a S. 170; Urteil 4P.71/2001 vom 12. Juni 2001 E. 3b). Dieser Anspruch gilt wohl bei formellen Mängeln wie dem versehentlichen Fehlen der Unterschrift oder der Vollmacht (vgl. Art. 42 Abs. 5 BGG), nicht jedoch dann, wenn das Rechtsmittel entgegen gesetzlicher Vorschrift überhaupt keine Begründung enthält (BGE 134 II 244 E. 2.4 S. 247 f.; Urteile 1P.141/2004 vom 10. Mai 2004 E. 2 in: RDAF 2005 I S. 58; 2P.229/1997 vom 30. September 1997 E. 2; 1P.661/1995 vom 3. Mai 1996 E. 3b in: ZBl 98/1997 S. 307) und insbesondere dann nicht, wenn der Mangel rechtsmissbräuchlich oder bewusst bzw. freiwillig erfolgte, um die Einräumung einer Nachfrist für die Begründung zu erwirken (BGE 121 II 252 E. 4b S. 255 f.; 108 Ia 209 E. 3 S. 211 f.; Urteil 1P.254/2005 vom 30. August 2005 E. 2.5 in: Pra 2006 Nr. 51), wobei davon auszugehen ist, dass professionelle Rechtsvertreter die formellen Regeln kennen (BGE 134 II 244 E. 2.4.3 S. 248).
6.2 Gemäss den hiervor aufgezeigten Grundsätzen bestand im vorliegenden Fall keine verfassungsunmittelbare Pflicht zur Ansetzung einer Nachfrist, da der professionelle Rechtsvertreter bewusst von jeglicher, auch summarischer Beschwerdebegründung in der Sache absah. Zudem wurde die ungenügende Beschwerdeschrift am letzten Tag der Frist eingereicht, so dass eine Nachbesserung innerhalb der Rechtsmittelfrist ohnehin nicht möglich gewesen wäre. Nachfolgend zu prüfen bleibt daher nur, ob sich an der Rechtslage dann etwas ändert, wenn - wie in casu - innert der Rechtsmittelfrist keine (vollständige) Akteneinsicht möglich gewesen ist.
6.3 Die Einhaltung der Rechtsmittelfrist stellt grundsätzlich eine Obliegenheit der Parteien dar. Es ist ihre Sache, durch die zeitnahe Konsultation eines Rechtsvertreters gute Voraussetzungen für die effektive Erhebung von Rechtsmitteln zu schaffen und dem Anwalt Gelegenheit zu geben, die Akten innert Frist einzusehen und gestützt darauf rechtzeitig eine Begründung des Rechtsmittels zu erarbeiten. Eine ausnahmsweise Gewährung einer Nachfrist für die Begründung zufolge Unmöglichkeit der rechtzeitigen Akteneinsicht kommt daher höchstens dann in Frage, wenn der Grund für die Unmöglichkeit im Verhalten oder im Verantwortungsbereich der Behörde liegt. Mandatiert die Partei dagegen erst kurz vor Ablauf der gesetzlichen Rechtsmittelfrist einen Rechtsvertreter und resultiert die Unmöglichkeit der rechtzeitigen Akteneinsicht aus diesem von ihr zu vertretenden Umstand, so ergibt sich - jedenfalls unter dem hier massgeblichen Gesichtspunkt der verfassungsmässigen Rechte - von vornherein kein Anspruch auf eine Erstreckung der Begründungsfrist.
6.4 Vorliegend wurde der Rechtsvertreter des Beschwerdeführers noch vor Erlass des Rekursentscheids vom 19. Januar 2011 mandatiert und er ersuchte unverzüglich nach dessen Eröffnung zweimal um Zustellung der Verfahrensakten. Die (teilweise) Unmöglichkeit der Aktenedition zufolge anderweitiger Ausleihe ist daher weder dem Verhalten des Beschwerdeführers noch demjenigen seines Rechtsvertreters zuzurechnen, sondern sie fällt klarerweise in den Verantwortungsbereich des Migrationsamtes. Entgegen der Ansicht des Beschwerdeführers führt dies allerdings nicht automatisch dazu, dass ihm eine Nachfrist zur Beschwerdebegründung einzuräumen gewesen wäre; je nach den Umständen kann eine Beschwerde auch ohne Akteneinsicht hinreichend begründet werden. In der Praxis ist es denn auch nicht selten, dass gültig begründete Beschwerden eingereicht und allenfalls nach Akteneinsicht noch ergänzt werden. Selbst nach der zu Art. 61 lit. b ATSG ergangenen Rechtsprechung (vgl. E. 5 hiervor) besteht bei fehlender Akteneinsicht nicht ein absoluter Anspruch auf Nachfristansetzung zur Nachreichung einer Begründung, sondern nur unter bestimmten Voraussetzungen, nämlich im Wesentlichen dann, wenn eine Begründung einzig anhand der angefochtenen Verfügung gänzlich unmöglich ist (BGE 134 V 162 E. 6 S. 169 f.). Dies muss umso mehr bei einer rein verfassungsrechtlichen Betrachtung gelten: In der Nichtansetzung einer Nachfrist zufolge fehlender Aktenkenntnis kann nur dann ein überspitzter Formalismus erblickt werden, wenn eine (zumindest summarische) Begründung nach Treu und Glauben überhaupt nicht möglich ist. Entscheidend sind hierfür die Umstände des Einzelfalls.
6.5 Der zu beurteilende Fall unterscheidet sich in wesentlichen Punkten vom Sachverhalt, wie er BGE 134 V 162 zugrunde lag: Einerseits verfügte der Rechtsvertreter hier immerhin über Teile der Akten, konkret über act. 92-124 und damit namentlich auch über den anzufechtenden Rekursentscheid der Sicherheitsdirektion (act. 105). Dieser enthielt eine ausführliche Darlegung des Sachverhalts und eine eingehende rechtliche Begründung für den Widerruf der Bewilligung. Schon anhand dieses Entscheids war für den rechtskundigen Parteivertreter ohne Weiteres ersichtlich, in welche Richtung eine allfällige Beschwerdebegründung gehen könnte, zumal weder der Sachverhalt noch die sich stellenden Rechtsfragen besonders komplex waren. Zudem vertrat der Rechtsvertreter den Beschwerdeführer auch im parallel stattfindenden Verfahren um Anordnung resp. Bestätigung der Ausschaffungshaft. Auch wenn es dort um andere Tat- und Rechtsfragen ging, so kannte der Rechtsvertreter doch seinen Klienten und hatte Gelegenheit, mit ihm zu verkehren und allfällige Unklarheiten mit ihm zu besprechen. Sodann ist nicht bestritten, dass der frühere Rechtsvertreter, Rechtsanwalt Y._, Einsicht in die Akten 1-90 gehabt hatte; ebenso war ihm selbstverständlich die von ihm selbst erstellte Rekursschrift (act. 91) bekannt. Hat der frühere Anwalt Akteneinsicht gehabt, darf die Behörde davon ausgehen, dass er die dabei erworbenen Kenntnisse - soweit für die Mandatsführung notwendig - bei einer Mandatsübergabe dem Nachfolger weitergibt. Das gilt umso mehr im vorliegenden Fall, in welchem nicht etwa der Klient einen neuen Anwalt wählte, sondern der frühere Rechtsvertreter aufgrund der ihm erteilten Vollmacht mit Substitutionsrecht selber das Mandat an den jetzigen Rechtsvertreter substituiert hat. In solchen Situationen darf und muss vom substituierten Anwalt erwartet werden, dass er sich vom Mandatsvorgänger hinreichend über das bisherige Verfahren dokumentieren lässt. Insgesamt wäre es dem Rechtsvertreter bei dieser Sachlage möglich und zumutbar gewesen, zumindest eine summarische Begründung in der Sache einzureichen, ohne Gefahr zu laufen, sich in einen Widerspruch zur Aktenlage zu begeben.
6.6 Durch die Einreichung einer summarischen Beschwerdebegründung wäre dem Beschwerdeführer auch kein Nachteil erwachsen: Die Vorinstanz hat diesbezüglich unter Hinweis auf KÖLZ/BOSSHART/RÖHL, a.a.O., § 54 N. 8 festgehalten, dass die Beschwerdebegründung nach Zugang der übrigen Akten hätte erweitert werden dürfen (E. 2.2 des angefochtenen Entscheids).
7. Zusammenfassend ergibt sich was folgt: Die in BGE 134 V 162 publizierte Rechtsprechung zur Nachfristregelung von Art. 61 lit. b ATSG lässt sich nicht ohne Weiteres auf Fälle übertragen, bei denen entweder andere bundesrechtliche Bestimmungen anzuwenden sind oder die Anwendung von kantonalen Bestimmungen ausschliesslich unter dem Gesichtspunkt der verfassungsmässigen Rechte zu überprüfen ist. Wird in den letzteren Fällen die Ansetzung einer Nachfrist zur Beschwerdebegründung mit dem Argument verlangt, eine rechtzeitige Akteneinsicht sei nicht möglich gewesen, ist vorab zu prüfen, ob diese Unmöglichkeit in den Verantwortungsbereich der Behörden oder in jenen der Partei fällt. Eine Nachfristansetzung fällt nur in Betracht, falls das Hindernis der Behördensphäre zuzurechnen ist. Selbst dann bleibt aber zu klären, ob der Partei trotzdem zumindest eine summarische Begründung des Rechtsmittels zugemutet werden durfte. Dies war hier der Fall.
8. Nach dem Ausgeführten ist die Beschwerde unbegründet und somit abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer an sich kostenpflichtig (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung kann jedoch bewilligt werden, da die Beschwerde angesichts von BGE 134 V 162 nicht aussichtslos war, der Beschwerdeführer bedürftig und die Beigabe eines Anwalts notwendig ist (Art. 64 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Prozessführung wird gutgeheissen:
a) Es werden keine Gerichtskosten erhoben.
b) Rechtsanwalt Peter Nideröst, Zürich, wird als unentgeltlicher Rechtsbeistand des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und der Sicherheitsdirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 26. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler