Erwägungen:
1. 1.1 Der pakistanische Staatsangehörige X._ (geb. 1967) stellte am 26. Juli 1997 anlässlich einer Einvernahme wegen Verdachts auf rechtswidrige Einreise in die Schweiz ein Asylgesuch. Nach dessen Abweisung reiste er im April 1998 nach Griechenland, wo er telefonischen Kontakt mit der Schweizer Bürgerin A._ (geb. 1964) hielt, die er während seines Aufenthalts in der Schweiz kennen gelernt hatte. Am 23. Mai 2000 heirateten X._ und A._ in Griechenland. In der Folge verblieb der Ehemann in Griechenland und die Ehefrau lebte weiterhin in der Schweiz. Am 4. April 2002 wurde in Griechenland eine uneheliche Tochter von X._ geboren. Am 11. Dezember 2002 meldete sich X._ in Basel an und erhielt die Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau. Ab Februar 2003 wurde X._ von der Sozialhilfe unterstützt und am 24. September 2004 von den Einwohnerdiensten wegen Sozialhilfebezugs in der Höhe von Fr. 33'348.20 verwarnt.
1.2 Mit Verfügung vom 21. Dezember 2006 bewilligte das Zivilgericht Basel-Stadt A._ das Getrenntleben und untersagte X._ die Rückkehr in die eheliche Wohnung. Mit Urteil des Zivilgerichts Basel-Stadt vom 16. Juni 2009 wurde die Ehe geschieden, ohne dass zuvor die Ehegemeinschaft wieder aufgenommen worden wäre. Weiter verurteilte das Strafgericht Basel-Stadt am 10. November 2009 X._ wegen Vergewaltigung seiner Ehefrau zu einer bedingten Freiheitsstrafe von 20 Monaten; das eingeleitete Appellationsverfahren ist zur Zeit am Appellationsgericht Basel-Stadt hängig.
1.3 Mit Verfügung vom 2. September 2008 wies das Migrationsamt des Kantons Basel-Stadt - nach diversen Abklärungen zur ehelichen Situation - das von X._ am 13. September 2007 eingereichte Gesuch um Verlängerung der Aufenthaltsbewilligung ab und wies diesen aus der Schweiz weg. Das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt wies den von ihm hiergegen erhobenen Rekurs am 14. Dezember 2009 ab. Das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht bestätigte diesen Entscheid auf Beschwerde hin am 14. Dezember 2010.
1.4 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiärer Verfassungsbeschwerde vom 3. Mai 2011 beantragt X._ dem Bundesgericht, das Urteil vom 14. Dezember 2010 aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern; eventualiter sei ihm eine Härtefallbewilligung zu erteilen.
Das Appellationsgericht und das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
1.5 Mit Verfügung vom 10. Mai 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.
2. Das Bundesgericht kann aus Gründen der Zweckmässigkeit das Verfahren aussetzen, insbesondere wenn das Urteil von der Entscheidfindung in einem anderen Rechtsstreit beeinflusst werden kann (<ref-law> in Verbindung mit <ref-law>). Der Beschwerdeführer beantragt, es sei das vorliegende Beschwerdeverfahren bis zum Vorliegen des Strafurteils des Appellationsgerichts Basel-Stadt zu sistieren. Es ist allerdings nicht absehbar, wann das Strafverfahren gegen den Beschwerdeführer (vgl. E. 1.2 hiervor) zum Abschluss gelangen wird. Ausserdem ist die Sache beim Bundesgericht entscheidungsreif und diese hängt insbesondere nicht vom Ausgang des Strafverfahrens ab (vgl. auch E. 3.3 hiernach). Das Sistierungsgesuch ist daher abzuweisen.
3. Die Eingabe des Beschwerdeführers ist - sowohl als Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) als auch als subsidiäre Verfassungsbeschwerde (<ref-law>) - offensichtlich unbegründet, soweit jeweils darauf einzutreten ist; sie kann ohne Weiterungen im vereinfachten Verfahren nach <ref-law> erledigt werden:
3.1 Der Beschwerdeführer hat am 13. September 2007 darum ersucht, seine Aufenthaltsbewilligung zu verlängern, weshalb die Vorinstanz ihren Entscheid zu Recht noch auf das bis zum 31. Dezember 2007 geltende Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) gestützt hat (vgl. Art. 126 AuG [SR 142.20]). Der Beschwerdeführer kann sich daher entgegen seiner Auffassung nicht auf Art. 50 Abs. 1 lit. a AuG berufen (Urteil 2C_869/2010 vom 19. April 2011 E. 2 mit Hinweisen). Nach der bundesgerichtlichen Praxis zu Art. 7 ANAG verliert der ausländische Ehegatte eines Schweizer Bürgers seinen Anspruch auf Verlängerung der Aufenthaltsbewilligung bzw. auf Erteilung der Niederlassungsbewilligung, wenn die Ehe eingegangen wurde, um die Vorschriften über Aufenthalt und Niederlassung zu umgehen ("Ausländerrechtsehe"), oder sich die Berufung auf die Beziehung anderweitig als rechtsmissbräuchlich erweist (vgl. Art. 7 Abs. 2 ANAG; <ref-ruling> E. 2 und 3 S. 151 ff. mit Hinweisen). Dies ist der Fall, wenn der Betroffene sich auf eine Ehe beruft, die ohne jegliche Aussichten auf Wiedervereinigung nur noch formell aufrechterhalten wird, um von der damit verbundenen Aufenthaltsberechtigung zu profitieren (vgl. <ref-ruling> E. 10.2 S. 135; <ref-ruling> E. 5a S. 56 f.).
3.2 Das Appellationsgericht Basel-Stadt ist davon ausgegangen, dass die eheliche Gemeinschaft des Beschwerdeführers seit dem Vollzug der gerichtlichen Regelung des Getrenntlebens am 21. Dezember 2006 nicht wieder aufgenommen worden ist (vgl. angefochtener Entscheid E. 3). Spätestens zu diesem Zeitpunkt, also nach rund vier Jahren des gemeinsamen Zusammenlebens in der Schweiz, müsse dem Beschwerdeführer aufgrund des bis dahin erfolgten Verlaufs der von Kommunikationsproblemen und Spannungen geprägten Ehe klar geworden sein, dass keine Aussicht mehr auf eine Wiederaufnahme der Ehe mit der psychisch stark angeschlagenen Ehefrau bestand. Mit den Vorinstanzen sei deshalb davon auszugehen, dass sich der Beschwerdeführer zum damaligen Zeitpunkt auf eine inhaltsleere, lediglich noch formell fortbestehende Ehe berufe und keinen Anspruch mehr auf die beantragte Verlängerung habe.
3.3 Was der Beschwerdeführer hiergegen einwendet, ist nicht geeignet, die für das Bundesgericht grundsätzlich verbindliche Sachverhaltsfeststellung der Vorinstanz (vgl. <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.) bzw. deren Beweiswürdigung als offensichtlich unhaltbar erscheinen zu lassen (vgl. <ref-ruling> E. 4.2.1 S. 362): Soweit der Beschwerdeführer ausführt, er sei bis zum Schluss überzeugt gewesen, die Ehe noch retten und seiner Frau beistehen zu können, kann dem mit Blick auf die zahlreichen von den Vorinstanzen angeführten plausiblen Indizien, nicht gefolgt werden. So ist etwa aktenkundig, dass der Beschwerdeführer mit Schreiben vom 15. November 2007 an das Migrationsamt selber davon ausging, dass eine Wiederaufnahme der ehelichen Gemeinschaft wohl nicht mehr möglich sei. Auch aus dem Psychotherapiebericht des Psychologischen Dienstes des REHAB Basel ergibt sich, dass der Beschwerdeführer sich primär auf die Ehe stützte, um von der damit verbundenen Bewilligung zu profitieren. Welche Rolle in diesem Zusammenhang die Schwester seiner Ehefrau gespielt hat, ist dabei nicht weiter entscheidend. Schliesslich hat die Vorinstanz zu Recht die Verurteilung wegen Vergewaltigung berücksichtigt; unabhängig von der Rechtskraft dieses Urteils kann daraus auf ein Zerwürfnis zwischen den Ehegatten bereits im Juli 2006 geschlossen werden. Spätestens seit der Verfügung des Getrenntlebens Ende 2006 war mit einer Wiederaufnahme des ehelichen Zusammenlebens nicht mehr zu rechnen, weshalb nicht zu beanstanden ist, dass die Vorinstanz von einem definitiven Scheitern der Ehe vor Ablauf der Fünfjahresfrist des Art. 7 Abs. 1 Satz 2 ANAG ausgegangen ist. Ergänzend wird auf die Ausführungen der Vorinstanz verwiesen.
Der Beschwerdeführer hat im vorinstanzlichen Verfahren keinerlei Hinweise dafür geliefert, dass die eheliche Gemeinschaft tatsächlich wieder aufgenommen worden wäre. Unter diesen Umständen verletzte das Appellationsgericht auch kein Bundes(verfassungs)recht, wenn es in antizipierter Beweiswürdigung auf weitere Anhörungen verzichtete. Es lag hierin weder eine formelle Rechtsverweigerung noch eine Verletzung des Anspruchs des Beschwerdeführers auf rechtliches Gehör.
3.4 Bei diesem Ergebnis braucht nicht näher geprüft zu werden, ob der Beschwerdeführer durch Verschweigen wesentlicher Tatsachen, hier der Geburt eines ausserehelichen Kindes, auch den Widerrufsgrund von Art. 9 Abs. 2 lit. a ANAG verwirklicht hat (vgl. angefochtener Entscheid E. 4). Immerhin kann in der Geburt des Kindes im April 2002, also weniger als zwei Jahre nach der Heirat mit A._, ein weiteres Indiz für eine rechtsmissbräuchliche Berufung auf die Ehe erblickt werden.
3.5 Sind die Voraussetzungen für einen Anwesenheitsanspruch nach Art. 7 ANAG dahingefallen, bedarf es keiner Prüfung, ob dem Beschwerdeführer die Rückreise ins Heimatland zumutbar ist. Diese Darlegungen könnten allenfalls bei der Prüfung der Erteilung einer Aufenthaltsbewilligung gestützt auf Art. 4 ANAG, der eine Bewilligung ins freie Ermessen der Behörden stellt, berücksichtigt werden. Diesbezüglich ist jedoch die Beschwerde in öffentlich-rechtlichen Angelegenheiten mangels Rechtsanspruchs unzulässig (vgl. <ref-law>). Da dem Beschwerdeführer in der Sache selber damit auch ein rechtlich geschütztes Interesse fehlt (vgl. <ref-law>), kann er die entsprechende Problematik nicht zum Gegenstand einer subsidiären Verfassungsbeschwerde machen (vgl. <ref-ruling> E. 6.2 S. 198 f. mit Hinweis; Urteil 2C_630/2011 vom 29. August 2011 E. 3). Die in diesem Rechtsmittel - soweit nicht unmittelbar mit dem Sachentscheid verbunden - hiervon unabhängig zulässige Rüge einer formellen Rechtsverweigerung ("Star-Praxis") wurde im Rahmen der Anwendung von Art. 7 ANAG geprüft; es kann auf die obstehenden Ausführungen (insb. E. 3.3) verwiesen werden.
Keine über das Gesetz hinausgehenden Bewilligungsansprüche ergeben sich in diesem Zusammenhang schliesslich aus der - altrechtlichen (vgl. dazu E. 3.1 hiervor) - Härtefallregelung nach Art. 13 lit. f der Verordnung vom 6. Oktober 1986 über die Begrenzung der Zahl der Ausländer (BVO; AS 1986 1791; vgl. <ref-ruling> E. 2.2. S. 284 mit Hinweisen).
4. 4.1 Die Beschwerden erweisen sich somit als offensichtlich unbegründet und sind im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit darauf eingetreten werden kann.
4.2 Dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung kann wegen Aussichtslosigkeit des Beschwerdebegehrens nicht entsprochen werden (<ref-law>). Der Beschwerdeführer wird somit kostenpflichtig (<ref-law>). Bei der Bemessung der Gerichtsgebühr wird indessen seiner finanziellen Lage Rechnung getragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerden werden abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, dem Justiz- und Sicherheitsdepartement und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 21. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger