Sachverhalt: Sachverhalt: A. A.a Der 1961 geborene S._ meldete sich am 18. Februar 1997 zum Leistungsbezug bei der Invalidenversicherung an. Nach durchgeführten medizinischen und erwerblichen Abklärungen wies die IV-Stelle des Kantons Zürich das Begehren mit unangefochten in Rechtskraft erwachsener Verfügung vom 20. Juni 1997 ab, da ein medizinisch objektivierbarer Gesundheitsschaden von anspruchsbegründender Art und Schwere nicht ausgewiesen sei. A.b Am 19. Mai 1999 meldete sich S._ erneut bei der IV-Stelle zum Leistungsbezug an. Diese klärte wiederum die berufliche und gesundheitliche Situation ab und verfügte am 3. März 2000 die Ablehnung sowohl des Rentenanspruchs wie auch des Anspruchs auf berufliche Massnahmen. S._ liess dagegen Beschwerde erheben. Das Sozialversicherungsgericht des Kantons Zürich hiess diese mit Entscheid vom 21. September 2001 in dem Sinne gut, als es die Verfügung vom 3. März 2000 aufhob und die Sache an die IV-Stelle zurückwies, damit sie nach erneuten Abklärungen bezüglich der Rücken- und Schmerzproblematik sowie der psychischen Situation über den Leistungsanspruch neu verfüge. Die IV-Stelle veranlasste daraufhin beim ABI, Ärztliches Begutachtungsinstitut GmbH (im Folgenden: ABI), eine medizinische Abklärung (Gutachten vom 4. November 2002). Am 11. Februar 2003 verfügte sie erneut die Abweisung des Leistungsbegehrens, da S._ in einer behinderungsangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne. Die dagegen erhobene Einsprache wies die IV-Stelle am 12. Mai 2003 ab. Die IV-Stelle veranlasste daraufhin beim ABI, Ärztliches Begutachtungsinstitut GmbH (im Folgenden: ABI), eine medizinische Abklärung (Gutachten vom 4. November 2002). Am 11. Februar 2003 verfügte sie erneut die Abweisung des Leistungsbegehrens, da S._ in einer behinderungsangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne. Die dagegen erhobene Einsprache wies die IV-Stelle am 12. Mai 2003 ab. B. S._ liess Beschwerde erheben und unter Aufhebung des Einspracheentscheides vom 12. Mai 2003 die Zusprechung einer ganzen Rente ab 1. März 1999, eventualiter die Rückweisung der Sache an die IV-Stelle zur ergänzenden Sachverhaltsfeststellung und zu neuem Entscheid, beantragen. Das kantonale Gericht wies die Beschwerde am 30. Juni 2004 ab. Das kantonale Gericht wies die Beschwerde am 30. Juni 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt S._ die vorinstanzlich gestellten Rechtsbegehren erneuern; zudem ersucht er um Gewährung der unentgeltlichen Verbeiständung. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.