Erwägungen:
1. 1.1 Der aus Indien stammende X._ (geb. 1985) reiste am 18. Juli 2001 illegal in die Schweiz ein. Er ersuchte erfolglos um Asyl und wurde aus der Schweiz weggewiesen. Entgegen der Anordnung, bis zum 27. Dezember 2002 auszureisen, verblieb X._ weiter in der Schweiz. In der Folge wurde er zweimal verhaftet und wegen Vergehens gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer verurteilt.
Am 19. Dezember 2007 nahm das Migrationsamt des Kantons Zürich X._ in Ausschaffungshaft, welche der Haftrichter am Bezirksgericht Zürich prüfte und bis zum 30. März 2008 bestätigte. Mit Verfügung vom 20. März 2008 genehmigte der Haftrichter eine erste Haftverlängerung von drei Monaten. Mit Verfügung vom 23. Juni 2008 bewilligte er eine weitere Verlängerung der Ausschaffungshaft bis zum 30. September 2008.
1.2 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. Juli 2008 beantragt X._, die Verfügung des Haftrichters am Bezirksgericht Zürich vom 23. Juni 2008 aufzuheben und ihn aus der Haft zu entlassen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung
Das Migrationsamt des Kantons Zürich schliesst auf Abweisung der Beschwerde. Der Haftrichter hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration äusserte sich am 21. Juli 2008 zu den erfolgten Vorkehren zur Beschaffung von Reisepapieren und zur Vollziehbarkeit der Ausschaffung. Der Beschwerdeführer hat mit Eingabe vom 29. Juli 2008 dazu Stellung genommen.
2. 2.1 Der Beschwerdeführer ist im Asylverfahren rechtskräftig aus der Schweiz weggewiesen worden (Nichteintretensentscheid des Bundesamtes für Flüchtlinge vom 29. November 2002) und - unter Androhung von Zwangsmassnahmen im Unterlassungsfall - wiederholt aufgefordert worden, sich um Reisepapiere zu kümmern und das Land zu verlassen. Er weigert sich jedoch nach wie vor, nach Indien zurückzukehren. Nur sein Heimatland ist indessen verpflichtet, den Beschwerdeführer zurückzunehmen (vgl. BGE 133 II 97 E. 4.2.2 S. 103). Gestützt auf dieses Verhalten besteht bei ihm "Untertauchensgefahr" im Sinne der bundesgerichtlichen Rechtsprechung (Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG [SR 142.20]; BGE 130 II 56 E. 3.1 S. 58 f.), was der Beschwerdeführer selber nicht bestreitet. Er macht hingegen geltend, aufgrund der bisher erfolglos gebliebenen Bemühungen bei den indischen Behörden könne mit einer Papierbeschaffung innert absehbarer Frist nicht gerechnet werden, womit die angeordnete Haftverlängerung sich als unverhältnismässig erweise.
2.2 Die schweizerischen Behörden haben sich seit der Anhaltung des Beschwerdeführers kontinuierlich um die Beschaffung von Ersatzreisepapieren bemüht. Entgegen seiner Behauptung hat der Beschwerdeführer falsche Angaben gemacht, um die Papierbeschaffung zu erschweren bzw. zu verunmöglichen. Er hat zwar seinen Familien- und seinen Vornamen, die in Indien sehr häufig vorkommen, korrekt, aber als Herkunftsort einen falschen Distrikt und ein dort nicht existierendes Dorf angegeben. Erst gestützt auf eine bei ihm aufgefundene Telefonnummer und aufgrund aufwendiger Nachforschungen an Ort gelang es dem von der Schweizer Vertretung in Indien eingesetzten Vertrauensanwalt, die (angeblich ermordeten) Eltern des Beschwerdeführers und deren Wohnort ausfindig zu machen. Aus dem Bericht des Bundesamtes für Migration vom 21. Juli 2008 geht hervor, dass dieses gestützt auf das Ergebnis dieser Abklärungen am 9. April 2008 (erneut) an die indische Vertretung in Bern gelangt ist und diese in der Folge mehrmals schriftlich und telefonisch um Behandlung dieser Angelegenheit ersucht hat. Die Bereitschaft der indischen Vertretung, die nötigen Überprüfungen in Indien zu veranlassen bzw. die dortigen Behörden zu ermahnen, ist gegeben. Beim jetzigen Erkenntnisstand kann daher nicht gesagt werden, die Beschaffung von Ersatzreisepapieren für den Beschwerdeführer sei innert der für die Ausschaffungshaft geltenden gesetzlichen Maximalfrist von 18 Monaten nicht zu erwarten. Es bestehen auch keinerlei Hinweise darauf, dass sich die Behörden nicht weiterhin im Rahmen ihrer Möglichkeiten mit dem nötigen Nachdruck um die Ausstellung eines Passersatzdokuments bemühen werden (vgl. Art. 76 Abs. 4 AuG: BGE 130 II 488 E. 4 S. 492 mit Hinweis). Verzögerungen bei der Papierbeschaffung infolge mangelndem Mitwirken bzw. falscher Angaben des Beschwerdeführers hat sich dieser im Übrigen selber zuzuschreiben und stehen der Haftverlängerung nicht entgegen. Der Beschwerdeführer kann seine Haft verkürzen, indem er mit den Behörden kooperiert, was er bisher nur ungenügend getan hat. Soweit das behauptete endgültige Scheitern der Bemühungen um die Ausweisbeschaffung auf das unkooperative Verhalten des Beschwerdeführers zurückzuführen wäre, hätten die Behörden zudem die Möglichkeit anstelle der Ausschaffungshaft eine Durchsetzungshaft gemäss Art. 78 AuG anzuordnen.
2.3 Zusammenfassend ergibt sich, dass die angefochtene Haftverlängerung kein Bundesrecht verletzt. Für alles Weitere wird auf die Ausführungen im angefochtenen Entscheid sowie in der Vernehmlassung des Bundesamtes für Migration verwiesen (Art. 109 Abs. 3 BGG).
3. 3.1 Die im Sinne von Art. 109 Abs. 2 lit. a BGG offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
3.2 Dem Gesuch um unentgeltliche Rechtspflege und Verbeiständung kann wegen Aussichtslosigkeit der Rechtsbegehren nicht entsprochen werden (Art.64 BGG). Dem Verfahrensausgang entsprechend würde der Beschwerdeführer somit kostenpflichtig; es rechtfertigt sich indessen praxisgemäss von der Erhebung von Kosten abzusehen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Es werden keine Kosten erhoben.
4. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Zürich und dem Bezirksgericht Zürich, Haftrichter, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 11. August 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Merkli Dubs