Sachverhalt: Sachverhalt: A. Der 1964 geborene N._ arbeitete ab 1. Februar 2000 als Hilfsbäcker für die Firma I._. Am 30. März 2000 wurde er beim Überqueren einer Strasse von einem Auto angefahren. Er erlitt dabei eine Hirnerschütterung sowie eine Fraktur der 6. Rippe rechts und wurde vom Unfalltag an bis zum 2. April 2000 stationär im Spital L._ behandelt. Im Dezember 2000 unterzog sich N._ wegen persistierenden Beschwerden im Bereich des linken Gesässes, unter Belastung ausstrahlend bis an die Tibiavorderkante, in der Klinik X._ einer Untersuchung, wobei die Ärzte eine Bursitis trochanterica und eine Tractus iliotibialis-Irritation links diagnostizierten. Bei leichter Anterolisthesis L5/S1 war ein Bandscheibenschaden mit radikulärer Symptomatik links nicht auszuschliessen; klinische Befunde fanden sich hiefür jedoch nicht. Am 27. Juli 2001 meldete sich N._ bei der Invalidenversicherung zum Bezug einer Rente an. Nach Einholung u.a. eines Gutachtens des Zentrums Y._ vom 16. Dezember 2002 erliess die IV-Stelle des Kantons Zürich am 20. Juni 2003 eine Verfügung, mit welcher sie bei einem Invaliditätsgrad von 20 % den Anspruch auf eine Invalidenrente verneinte. Die Einsprache wies sie mit Entscheid vom 11. November 2003 ab. A. Der 1964 geborene N._ arbeitete ab 1. Februar 2000 als Hilfsbäcker für die Firma I._. Am 30. März 2000 wurde er beim Überqueren einer Strasse von einem Auto angefahren. Er erlitt dabei eine Hirnerschütterung sowie eine Fraktur der 6. Rippe rechts und wurde vom Unfalltag an bis zum 2. April 2000 stationär im Spital L._ behandelt. Im Dezember 2000 unterzog sich N._ wegen persistierenden Beschwerden im Bereich des linken Gesässes, unter Belastung ausstrahlend bis an die Tibiavorderkante, in der Klinik X._ einer Untersuchung, wobei die Ärzte eine Bursitis trochanterica und eine Tractus iliotibialis-Irritation links diagnostizierten. Bei leichter Anterolisthesis L5/S1 war ein Bandscheibenschaden mit radikulärer Symptomatik links nicht auszuschliessen; klinische Befunde fanden sich hiefür jedoch nicht. Am 27. Juli 2001 meldete sich N._ bei der Invalidenversicherung zum Bezug einer Rente an. Nach Einholung u.a. eines Gutachtens des Zentrums Y._ vom 16. Dezember 2002 erliess die IV-Stelle des Kantons Zürich am 20. Juni 2003 eine Verfügung, mit welcher sie bei einem Invaliditätsgrad von 20 % den Anspruch auf eine Invalidenrente verneinte. Die Einsprache wies sie mit Entscheid vom 11. November 2003 ab. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter Gewährung der unentgeltlichen Verbeiständung mit Entscheid vom 16. August 2004 ab. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter Gewährung der unentgeltlichen Verbeiständung mit Entscheid vom 16. August 2004 ab. C. N._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des kantonalen Entscheides sei ihm eine Invalidenrente zuzusprechen. Ausserdem wird auch für das letztinstanzliche Verfahren um Gewährung der unentgeltlichen Verbeiständung ersucht. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.