Sachverhalt:
A. Der aus Pakistan stammende X._ (geb. 1972) reiste im November 1998 in die Schweiz ein und stellte erfolglos ein Asylgesuch. Nachdem die damalige Asylrekurskommission am 9. April 2002 seine Beschwerde abgewiesen hatte, heiratete er am 10. Juni desselben Jahres die aus Thailand stammende Schweizer Bürgerin Y._ (geb. 1957). Dadurch erhielt er eine bis zum 9. Juni 2003 befristete Aufenthaltsbewilligung für den Kanton Zürich. Mit Verfügung vom 25. August 2004 lehnte das Zürcher Migrationsamt eine Verlängerung der Bewilligung mit der Begründung ab, X._ berufe sich in rechtsmissbräuchlicher Weise auf eine nur noch formell bestehende Ehe. Diese Verfügung blieb unangefochten.
Im Oktober 2004 verstarb Y._. Am 2. März 2005 ehelichte X._ die Schweizer Bürgerin Z._ (geb. 1980). Da diese von Zürich in den Kanton Luzern umgezogen war, stellte sie bei den Luzerner Behörden ein Gesuch um Erteilung einer Aufenthaltsbewilligung für X._. Am 4. September 2006 erklärte sie indes, sie ziehe das Gesuch zurück, da sie sich demnächst voneinander trennen würden. Im Oktober 2006 meldete sich X._ ohne seine Ehefrau wieder im Kanton Zürich und ersuchte dort um eine Aufenthaltsbewilligung, die ihm mit Befristung bis zum 1. März 2008 erteilt wurde. Sein Gesuch um Verlängerung der Bewilligung vom 11. Februar 2008 wies das Zürcher Migrationsamt am 16. Juni 2008 ab; die eheliche Gemeinschaft sei aufgegeben worden. Es setzte ihm gleichzeitig eine Frist zum Verlassen der Schweiz an. Die gegen diese Verfügung im Kanton erhobenen Rechtsmittel blieben erfolglos.
B. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. Juni 2009 den in dieser Sache kantonal zuletzt ergangenen Entscheid des Verwaltungsgerichts des Kantons Zürich vom 29. April 2009 aufzuheben. Die Sicherheitsdirektion des Kantons Zürich sei anzuweisen, ihm die Aufenthaltsbewilligung zu erteilen bzw. zu verlängern. Eventualiter sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen.
C. Der Regierungsrat des Kantons Zürich - vertreten durch seine Staatskanzlei - und das Bundesamt für Migration ersuchen um Abweisung der Beschwerde. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet, während sich die Sicherheitsdirektion des Kantons Zürich nicht geäussert hat.
Mit von beiden Eheleuten unterzeichnetem Schreiben vom 29. Oktober 2009 bittet Z._, ihrem Gatten die Aufenthaltsbewilligung zu erteilen.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 18. Juni 2009 antragsgemäss die aufschiebende Wirkung hinsichtlich der Ausreiseverpflichtung zuerkannt.
Erwägungen:
1. Gemäss Art. 42 des hier bereits anwendbaren Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20; vgl. zum Übergangsrecht Art. 126 AuG) kann der mit einer Schweizer Bürgerin verheiratete Beschwerdeführer einen Bewilligungsanspruch grundsätzlich geltend machen. Insoweit ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 83 lit. c Ziff. 2 BGG a contrario). Ob die Eheleute zusammenwohnen oder auf dieses Erfordernis gemäss Art. 49 AuG ausnahmsweise zu verzichten ist, kann für die Eintretensfrage offen bleiben (vgl. auch BGE 2C_460/2009 vom 4. November 2009 E. 2.1.2 mit Hinweis).
2. Nach den verbindlichen Feststellungen der Vorinstanz (vgl. Art. 97, 99 und 105 BGG) lebt der Beschwerdeführer seit Herbst 2006 nicht mehr am gleichen Wohnort wie seine Ehefrau. Der Aufenthalt des ausländischen Ehepartners ist nach Art. 42 Abs. 1 AuG aber an sich nur zu bewilligen, wenn die Eheleute zusammenwohnen. Auf dieses Erfordernis wird gemäss Art. 49 AuG verzichtet, wenn wichtige Gründe für getrennte Wohnorte geltend gemacht werden und die Familiengemeinschaft weiter besteht.
3. Die Vorinstanz kommt zum Schluss, die Trennung der Eheleute sei als definitiv anzusehen, nachdem diese im September/Oktober 2006 das eheliche Zusammenleben aufgegeben und sie sich unter anderem vor Juni 2007 während vier bis fünf Monaten nur einmal an einem Sonntag gesehen hatten. Ausserdem konnte der Beschwerdeführer damals die Adresse seiner Ehefrau nicht angeben. Eheliche Kontakte seien weder belegt noch auf irgendeine Weise substantiiert worden. Darüber hinaus war den eigenen Angaben des Beschwerdeführers zufolge nach seinem Auszug aus der ehelichen Zwei-Zimmer-Wohnung ein "Kollege" der Ehefrau bei ihr eingezogen. Mangels fortbestehender Ehegemeinschaft sei eine Ausnahme vom Erfordernis des Zusammenwohnens gemäss Art. 49 AuG ausgeschlossen.
4. Der Beschwerdeführer bestreitet die erwähnten "Vorkommnisse" nicht und räumt sogar ein, dass diese gegen den Fortbestand der ehelichen Gemeinschaft sprechen. Er führt aber an, die Ehegemeinschaft bestehe fort, wobei er und seine Gattin sich für die moderne Eheform des "living apart together" entschieden hätten. Mit Blick auf die erwähnten Feststellungen der Vorinstanz und frühere Erklärungen des Beschwerdeführers ist dieser Einwand indes nur als Schutzbehauptung zu werten. Wenn sich die Eheleute nicht regelmässig sehen wollen, ist es zudem nicht notwendig, dass der Beschwerdeführer in der Schweiz lebt (vgl. zudem Urteil 2C_278/2008 vom 18. Juni 2008 E. 4.3 und 4.4). Ein Absehen vom Erfordernis des Zusammenwohnens ist nach Art. 49 AuG nur dann angezeigt, wenn hiefür wichtige Gründe bestehen. Der erwähnte Entscheid für das "living apart together" genügt insoweit nicht. Bei den Vorinstanzen hatte der Beschwerdeführer im Übrigen noch erklärt, sie hätten nur aus beruflichen Gründen getrennte Wohnorte. Doch auch das hatten die Vorinstanzen aus nachvollziehbaren Gründen als blosse Schutzbehauptung bezeichnet. Es ist namentlich nicht glaubhaft, dass der Beschwerdeführer, der über keinen Lehrabschluss verfügt und immer wieder wechselnde Arbeitsstellen im Grossraum Zürich und Aarau hatte, keine Anstellung in zumutbarer Nähe zum Wohnort seiner Ehefrau finden konnte. Die Entfernung der Arbeitsorte erklärt auch nicht, warum sie ihre freien Tage getrennt verbrachten. Demzufolge ist der Schluss der Vorinstanzen gerechtfertigt, es bestehe keine Familiengemeinschaft mehr im Sinne von Art. 49 AuG. Soweit der Beschwerdeführer in den vorinstanzlichen Verfahren noch Art. 50 AuG angerufen hatte, genügt es auf die zutreffenden Ausführungen im angefochtenen Entscheid (dort E. 4.3) zu verweisen, zumal Ersterer sich vor Bundesgericht dazu nicht mehr äussert.
5. 5.1 Der Beschwerdeführer macht allerdings geltend, er und seine Ehefrau hätten während des verwaltungsgerichtlichen Verfahrens unter Vorlage eines gemeinsam unterzeichneten Mietvertrages mitgeteilt, sie würden ab Mitte April 2009 zusammen eine Wohnung in Urdorf bei Zürich beziehen. Zwar hat die Vorinstanz diese erst nach Ablauf der Beschwerdefrist vorgelegten Elemente aus prozessökonomischen Gründen berücksichtigt. Aufgrund der Vorgeschichte sei jedoch ohne weitere Beweismittel oder nähere Aufschlüsse nicht glaubhaft, dass die Ehe tatsächlich wieder gelebt werde.
5.2 Der Beschwerdeführer rügt, die Vorinstanz verfahre überspitzt formalistisch (Art. 29 Abs. 1 BV; BGE 112 Ia 305 E. 2a S. 308) und verletze das Willkürverbot (Art. 9 BV; BGE 134 I 140 E. 5.4 S. 148), seinen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV; BGE 134 I 83 E. 4.1 S. 88; 124 I 241 E. 2 S. 242) sowie ihre Pflicht zur Feststellung des Sachverhalts von Amtes wegen nach dem Untersuchungsgrundsatz. Sie hätte ihm zumindest eine Nachfrist zur Einreichung weiterer Beweise ansetzen müssen.
5.3 Der Beschwerdeführer verkennt zunächst, dass die beim Verwaltungsgericht gemäss Art. 110 BGG gebotene freie Sachverhaltsprüfung nicht mit dem Untersuchungsgrundsatz gleichzusetzen ist (vgl. Hansjörg Seiler, in: Seiler/von Werdt/Güngerich, Bundesgerichtsgesetz, 2007, N. 7 zu Art. 110 BGG; Bernhard Ehrenzeller, in: Basler Kommentar zum Bundesgerichtsgesetz, 2008, N. 17 f. zu Art. 110 BGG; Yves Donzallaz, Loi sur le Tribunal fédéral, 2008, N. 4403; Bernard Corboz, in: Corboz/Wurzburger et al., Commentaire de la LTF, 2009, N. 18 zu Art. 110 BGG). Er legt auch nicht dar, aus welcher anderen Bestimmung sich die Geltung des letztgenannten Grundsatzes für das Verwaltungsgericht ergeben soll. Mithin ist er selber nicht von der Pflicht entbunden, sein Rechtsbegehren in tatsächlicher Hinsicht hinreichend zu begründen (vgl. auch die Mitwirkungspflicht nach Art. 90 AuG).
5.4 Die Vorinstanz würdigt das neue Vorbringen des Beschwerdeführers richtigerweise im Gesamtzusammenhang. Dazu wird auf vorstehende Ausführungen (E. 3 und 4) verwiesen. Diesen zufolge hat der Beschwerdeführer teils unzutreffende Angaben gemacht und war - zumindest zeitweise - darauf aus, die aktuelle Ehe nur noch zu dem Zweck anzurufen, seinen Aufenthalt in der Schweiz zu ermöglichen. Hinzu kommt, dass nach der unbestritten gebliebenen Feststellung des Regierungsrates der Beschwerdeführer mit der ersten Schweizer Ehefrau "mit an Sicherheit grenzender Wahrscheinlichkeit" eine Scheinehe geschlossen hatte. Letztere erklärte den Behörden unter anderem, sie habe nie mit dem Beschwerdeführer zusammengelebt; ausserdem habe sie von ihm Fr. 15'000.-- für die Heirat erhalten.
Insoweit ist es weder überspitzt formalistisch noch schlechthin unhaltbar und damit willkürlich oder eine Verletzung des Anspruchs auf rechtliches Gehör, wenn die Vorinstanz die blosse Absichtserklärung und den gemeinsamen Mietvertrag als Nachweis für die Wiederaufnahme der ehelichen Gemeinschaft nicht genügen lässt. Aus den genannten Dokumenten ergibt sich nicht, dass die Ehegatten wirklich wieder zusammenleben. Schon früher hatten diese die Behörden den Tatsachen zuwider glauben lassen, das Eheleben bestehe fort. Deshalb durfte die Vorinstanz erhöhte Anforderungen an den erwähnten Nachweis stellen und vom Beschwerdeführer erwarten, dass er von sich aus weitere Beweismittel oder nähere Aufschlüsse vorbringt. Das gilt erst recht, nachdem der Beschwerdeführer noch im Verfahren bei den kantonalen Behörden erklärt hatte, seine Ehefrau könne wegen der langen Anfahrtsdauer mit öffentlichen Verkehrsmitteln zu ihrem Arbeitsort im Kanton Luzern nicht mit ihm in der Stadt Zürich leben. Ohne jede weitere Erklärung soll es nun plötzlich möglich sein, dass sie sogar im Zürcher Umland wohnt. Der Beschwerdeführer hat sich namentlich nicht dazu geäussert und nachgewiesen, dass die Ehefrau ihre frühere Wohnung aufgibt und mit ihrer Einrichtung nach Urdorf umzieht. Im Zusammenhang mit einem Umzug fallen etliche Belege an, welche der Beschwerdeführer hätte vorlegen können (z.B. amtliche Ummeldebescheinigungen, Wohnungsübergabeprotokolle bezüglich der alten und neuen Wohnung, Rechnungen bzw. Quittungen über die Umzugskosten und Anschaffung neuer Einrichtungsgegenstände, Postnachsendeaufträge, neue Abonnemente für die öffentlichen Verkehrsmittel). Das hat er nicht getan.
Nach dem Dargelegten hat die Vorinstanz zu Recht geschlossen, dass die Wiederaufnahme der ehelichen Gemeinschaft nicht hinreichend belegt worden ist, und deshalb das Rechtsmittel des Beschwerdeführers abgewiesen.
6. Mithin erweist sich auch die beim Bundesgericht eingereichte Beschwerde als unbegründet. Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Er hat zwar unentgeltliche Rechtspflege beantragt. Sein Begehren erweist sich indes als aussichtslos. Auch hat er - wie ihm schon im Zusammenhang mit einem entsprechenden Gesuch bei der Vorinstanz vorgehalten wurde - seine Bedürftigkeit weder substantiiert noch belegt (vgl. Art. 64 BGG). Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 9. Dezember 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Merz