Sachverhalt:
Sachverhalt:
A. A.a Der 1961 geborene S._ meldete sich am 18. Februar 1997 zum Leistungsbezug bei der Invalidenversicherung an. Nach durchgeführten medizinischen und erwerblichen Abklärungen wies die IV-Stelle des Kantons Zürich das Begehren mit unangefochten in Rechtskraft erwachsener Verfügung vom 20. Juni 1997 ab, da ein medizinisch objektivierbarer Gesundheitsschaden von anspruchsbegründender Art und Schwere nicht ausgewiesen sei.
A.b Am 19. Mai 1999 meldete sich S._ erneut bei der IV-Stelle zum Leistungsbezug an. Diese klärte wiederum die berufliche und gesundheitliche Situation ab und verfügte am 3. März 2000 die Ablehnung sowohl des Rentenanspruchs wie auch des Anspruchs auf berufliche Massnahmen.
S._ liess dagegen Beschwerde erheben. Das Sozialversicherungsgericht des Kantons Zürich hiess diese mit Entscheid vom 21. September 2001 in dem Sinne gut, als es die Verfügung vom 3. März 2000 aufhob und die Sache an die IV-Stelle zurückwies, damit sie nach erneuten Abklärungen bezüglich der Rücken- und Schmerzproblematik sowie der psychischen Situation über den Leistungsanspruch neu verfüge.
Die IV-Stelle veranlasste daraufhin beim ABI, Ärztliches Begutachtungsinstitut GmbH (im Folgenden: ABI), eine medizinische Abklärung (Gutachten vom 4. November 2002). Am 11. Februar 2003 verfügte sie erneut die Abweisung des Leistungsbegehrens, da S._ in einer behinderungsangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne. Die dagegen erhobene Einsprache wies die IV-Stelle am 12. Mai 2003 ab.
Die IV-Stelle veranlasste daraufhin beim ABI, Ärztliches Begutachtungsinstitut GmbH (im Folgenden: ABI), eine medizinische Abklärung (Gutachten vom 4. November 2002). Am 11. Februar 2003 verfügte sie erneut die Abweisung des Leistungsbegehrens, da S._ in einer behinderungsangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne. Die dagegen erhobene Einsprache wies die IV-Stelle am 12. Mai 2003 ab.
B. S._ liess Beschwerde erheben und unter Aufhebung des Einspracheentscheides vom 12. Mai 2003 die Zusprechung einer ganzen Rente ab 1. März 1999, eventualiter die Rückweisung der Sache an die IV-Stelle zur ergänzenden Sachverhaltsfeststellung und zu neuem Entscheid, beantragen.
Das kantonale Gericht wies die Beschwerde am 30. Juni 2004 ab.
Das kantonale Gericht wies die Beschwerde am 30. Juni 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt S._ die vorinstanzlich gestellten Rechtsbegehren erneuern; zudem ersucht er um Gewährung der unentgeltlichen Verbeiständung.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der Beschwerdeführer rügt zunächst in formeller Hinsicht, Vorinstanz und Verwaltung seien in Verletzung des Anspruchs auf rechtliches Gehör nicht im Einzelnen auf seine Rügen eingegangen. Dem ist entgegenzuhalten, dass die Begründungspflicht nicht verlangt, die Behörde müsse sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (SVR 2001 IV Nr. 17 S. 49).
Das kantonale Gericht führt unter eingehender Würdigung des Gutachtens vom 4. November 2002 im Einzelnen aus, weshalb auf die Einschätzungen der Ärzte am ABI abzustellen und auf weitere Abklärungen zu verzichten ist. Damit erfüllt der Entscheid die Anforderungen an eine rechtsgenügliche Begründung und es ist nicht zu beanstanden, dass sich die Vorinstanz nicht zu sämtlichen Rügen im Detail geäussert hat.
Das kantonale Gericht führt unter eingehender Würdigung des Gutachtens vom 4. November 2002 im Einzelnen aus, weshalb auf die Einschätzungen der Ärzte am ABI abzustellen und auf weitere Abklärungen zu verzichten ist. Damit erfüllt der Entscheid die Anforderungen an eine rechtsgenügliche Begründung und es ist nicht zu beanstanden, dass sich die Vorinstanz nicht zu sämtlichen Rügen im Detail geäussert hat.
2. 2.1 Das Eidgenössische Versicherungsgericht hat in <ref-ruling> erkannt, dass es sich bei den in Art. 3-13 ATSG enthaltenen Legaldefinitionen in aller Regel um eine formell-gesetzliche Fassung der Rechtsprechung zu den entsprechenden Begriffen vor Inkrafttreten des ATSG handelt, ohne dass sich inhaltliche Änderungen ergeben. Die zum alten, bis 31. Dezember 2002 in Kraft gewesenen Recht entwickelte Judikatur kann somit auch der Beurteilung von Rechtsverhältnissen ab 1. Januar 2003 zu Grunde gelegt werden. Gleiches gilt für die Normierung des <ref-law> (Invaliditätsbemessung bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs; BGE a.a.O.).
Die Bestimmungen der seit 1. Januar 2004 gültigen 4. IV-Revision sind nicht anwendbar, da nach dem massgebenden Zeitpunkt des Erlasses des Einspracheentscheides (12. Mai 2003) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2 mit Hinweisen).
2.2 Das kantonale Gericht legt unter Verweis auf den Einspracheentscheid die für die Beurteilung erheblichen Bestimmungen und Grundsätze zutreffend dar. Es sind dies die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in der bis 31. Dezember 2003 gültig gewesenen Fassung] und 1bis IVG [in Kraft gestanden bis 31. Dezember 2003]), den Beginn des Rentenanspruches (Art. 29 Abs. 1 in Verbindung mit Art. 29 und 29ter IVV), die Aufgabe des Arztes oder der Ärztin bei der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen und AHI 2002 S. 70 Erw. 4b/cc) und die richterliche Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 1c; vgl. auch <ref-ruling> Erw. 3a mit Hinweis). Richtig ist weiter, dass die Frage, ob und inwiefern der versicherten Person trotz ihres Leidens die Verwertung ihrer Restarbeitsfähigkeit auf dem ihr offen stehenden, ausgeglichenen Arbeitsmarkt noch sozialpraktisch zugemutet werden kann, nach einem weitgehend objektivierten Massstab beurteilt werden muss (<ref-ruling> Erw. 4c mit Hinweisen). Zutreffend ist schliesslich, dass soziokulturelle Umstände keinen im Sinne von <ref-law> in Verbindung mit <ref-law> versicherten Gesundheitsschaden bilden, sondern es zur Annahme einer Invalidität in jedem Fall ein medizinisches Substrat braucht, das (fach-)ärztlicherseits schlüssig festgestellt ist und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt (<ref-ruling> Erw. 5a). Darauf wird verwiesen.
2.2 Das kantonale Gericht legt unter Verweis auf den Einspracheentscheid die für die Beurteilung erheblichen Bestimmungen und Grundsätze zutreffend dar. Es sind dies die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in der bis 31. Dezember 2003 gültig gewesenen Fassung] und 1bis IVG [in Kraft gestanden bis 31. Dezember 2003]), den Beginn des Rentenanspruches (Art. 29 Abs. 1 in Verbindung mit Art. 29 und 29ter IVV), die Aufgabe des Arztes oder der Ärztin bei der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen und AHI 2002 S. 70 Erw. 4b/cc) und die richterliche Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 1c; vgl. auch <ref-ruling> Erw. 3a mit Hinweis). Richtig ist weiter, dass die Frage, ob und inwiefern der versicherten Person trotz ihres Leidens die Verwertung ihrer Restarbeitsfähigkeit auf dem ihr offen stehenden, ausgeglichenen Arbeitsmarkt noch sozialpraktisch zugemutet werden kann, nach einem weitgehend objektivierten Massstab beurteilt werden muss (<ref-ruling> Erw. 4c mit Hinweisen). Zutreffend ist schliesslich, dass soziokulturelle Umstände keinen im Sinne von <ref-law> in Verbindung mit <ref-law> versicherten Gesundheitsschaden bilden, sondern es zur Annahme einer Invalidität in jedem Fall ein medizinisches Substrat braucht, das (fach-)ärztlicherseits schlüssig festgestellt ist und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt (<ref-ruling> Erw. 5a). Darauf wird verwiesen.
3. 3.1 Entgegen den Vorbringen des Versicherten erweckt das Gutachten des ABI nicht den Eindruck, es beruhe auf unzureichenden Untersuchungen. Vielmehr ergingen die darin enthaltenen Ausführungen nach detailliertem und sorgfältigem Studium der umfangreichen Vorakten, wie die sich über mehrere Seiten erstreckende Zusammenfassung der medizinischen Unterlagen zeigt. Sodann liegen den Einschätzungen der Gutachter diverse eigene internistische und rheumatologische Tests inklusive Erhebung des internistischen, rheumatologischen und neurologischen Status, Röntgenaufnahmen (HWS seitlich und Schulter links) und Laboruntersuchungen (Blut, Urin) sowie psychiatrische Befragungen zu Grunde.
Nachdem das kantonale Gericht am 21. September 2001 zum Schluss gelangt war, es seien weitere Abklärungen hinsichtlich einer allfälligen Verschlechterung des Gesundheitszustandes in Bezug auf die Rücken- und Schmerzproblematik angezeigt, ist nicht einsichtig, inwiefern die daraufhin erfolgte internistische, rheumatologische und psychiatrische Abklärung ungenügend sein sollte.
3.2 Der Einwand, die chronischen Beschwerden seien unberücksichtigt geblieben, weshalb Vorinstanz und Verwaltung zu Unrecht eine uneingeschränkte Arbeitsfähigkeit in einer angepassten Tätigkeit angenommen hätten, ist nicht stichhaltig. Bei ihrer gewissenhaften Anamnese berücksichtigten die Ärzte auch die seit längerem bestehenden Beschwerden und nahmen in ihren Einschätzungen verschiedentlich Bezug auf die chronischen Schmerzen. Sie führten aus, im Vordergrund stehe eine chronische Schmerzstörung, während aus rheumatologischer Sicht ein organisch-pathologisch fassbares Korrelat, das die subjektive Behinderung erklären würde, nicht objektiviert werden könne. In Übereinstimmung mit den früher rapportierenden Ärzten Dr. med. G._ (Bericht vom 19. März 1997), und insbesondere auch mit Dr. med. C._, Assistenzarzt an der Klinik Y._ (Bericht vom 14. Juni 1999; diese Berichte befinden sich nicht mehr bei den Akten, sind aber im kantonalen Entscheid vom 21. September 2001 zusammengefasst) gelangten die Gutachter zum nachvollziehbaren und wohlbegründeten Schluss, die bereits seit Jahren bestehenden Schmerzen verunmöglichten die (dauerhafte) Wiederaufnahme der angestammten Tätigkeit, stünden einer uneingeschränkten Arbeitsfähigkeit in einer angepassten Tätigkeit aber nicht entgegen. Dass Hausarzt Dr. med. E._, Allgemeine Medizin FMH, - nachdem er zunächst ausgeführt hatte, er sei nicht in der Lage, zum zeitlichen Umfang und zum Zeitpunkt einer noch zumutbaren Arbeitstätigkeit Stellung zu nehmen - in einem anlässlich der Beschwerdeerhebung eingereichten Bericht vom 16. März 2000 eine gänzliche Arbeitsunfähigkeit bescheinigte, ist der Glaubwürdigkeit des Gutachtens vom 4. November 2003 nicht abträglich. Zum einen war dieser Bericht zu wenig begründet, weshalb das kantonale Gericht am 21. September 2001 weitere Abklärungen anordnete. Zum andern darf und soll das Gericht in Bezug auf Berichte von Hausärzten der Erfahrungstatsache Rechnung tragen, dass diese mitunter im Hinblick auf ihre Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patienten aussagen (<ref-ruling> Erw. 3b/cc). Im Übrigen geht aus den Akten hervor, dass zwischen dem Erlass der Verfügung vom 20. Juni 1997 und dem Einspracheentscheid vom 12. Mai 2003 aus somatischer Sicht keine weitere, die Arbeitsfähigkeit beeinflussende Verschlechterung des Gesundheitszustandes eingetreten ist.
3.3 Fehl gehen auch die gegen den Bericht des Dr. med. G._, FMH Psychiatrie und Psychotherapie, vom 28. Oktober 2002 erhobenen Rügen. Dessen Ausführungen gliedern sich in eine Anamnese (anhand der Akten sowie aufgrund umfangreicher subjektiver Angaben des Beschwerdeführers zu seinen aktuellen Beschwerden, der aktuellen Lebenssituation und zur Familiengeschichte ["persönliche Anamnese"]), in einen psychopathologischen Befund, eine psychiatrische Diagnose und eine (abschliessende) Beurteilung in allgemeiner Hinsicht sowie bezüglich der Arbeitsfähigkeit und der medizinischen und beruflichen Massnahmen. Dabei nehmen die Schilderungen des Versicherten breiten Raum ein und es wird deutlich, dass dieser ausführlich Gelegenheit hatte, sowohl seine Lebensgeschichte wie auch seine Beschwerden darzulegen. Zwar trifft es zu, dass Hinweise auf einzelne durchgeführte psychiatrische Tests fehlen, was indessen an der Glaubwürdigkeit der Ausführungen des Dr. med. G._ nichts ändert, sind doch seine Einschätzungen ausführlich begründet und genügen sämtlichen rechtsprechungsgemäss an medizinische Gutachten zu stellenden Anforderungen (<ref-ruling> Erw. 3a mit Hinweis), wie bereits die Vorinstanz zutreffend erwogen hat (vgl. auch Urteil B. vom 9. August 2004, I 767/03 Erw. 3.3.1). Aus den Berichten des Dr. med. C._ vom 12. und 19. Mai und des Dr. med. E._ vom 7. September 1999, die Hinweise auf ein fragliches depressives Zustandsbild enthielten, kann nichts abgeleitet werden, zumal diese nicht schlüssigen Berichte Anlass für die nachfolgende Begutachtung durch das ABI waren, die nach dem Gesagten zweifelsfrei ergab, dass aus psychischer Hinsicht keine Einschränkungen bestehen.
3.3 Fehl gehen auch die gegen den Bericht des Dr. med. G._, FMH Psychiatrie und Psychotherapie, vom 28. Oktober 2002 erhobenen Rügen. Dessen Ausführungen gliedern sich in eine Anamnese (anhand der Akten sowie aufgrund umfangreicher subjektiver Angaben des Beschwerdeführers zu seinen aktuellen Beschwerden, der aktuellen Lebenssituation und zur Familiengeschichte ["persönliche Anamnese"]), in einen psychopathologischen Befund, eine psychiatrische Diagnose und eine (abschliessende) Beurteilung in allgemeiner Hinsicht sowie bezüglich der Arbeitsfähigkeit und der medizinischen und beruflichen Massnahmen. Dabei nehmen die Schilderungen des Versicherten breiten Raum ein und es wird deutlich, dass dieser ausführlich Gelegenheit hatte, sowohl seine Lebensgeschichte wie auch seine Beschwerden darzulegen. Zwar trifft es zu, dass Hinweise auf einzelne durchgeführte psychiatrische Tests fehlen, was indessen an der Glaubwürdigkeit der Ausführungen des Dr. med. G._ nichts ändert, sind doch seine Einschätzungen ausführlich begründet und genügen sämtlichen rechtsprechungsgemäss an medizinische Gutachten zu stellenden Anforderungen (<ref-ruling> Erw. 3a mit Hinweis), wie bereits die Vorinstanz zutreffend erwogen hat (vgl. auch Urteil B. vom 9. August 2004, I 767/03 Erw. 3.3.1). Aus den Berichten des Dr. med. C._ vom 12. und 19. Mai und des Dr. med. E._ vom 7. September 1999, die Hinweise auf ein fragliches depressives Zustandsbild enthielten, kann nichts abgeleitet werden, zumal diese nicht schlüssigen Berichte Anlass für die nachfolgende Begutachtung durch das ABI waren, die nach dem Gesagten zweifelsfrei ergab, dass aus psychischer Hinsicht keine Einschränkungen bestehen.
3.4 3.4.1 Rechtsprechungsgemäss setzt die - nur in Ausnahmefällen anzunehmende - Unzumutbarkeit einer willentlichen Schmerzüberwindung und eines Wiedereinstiegs in den Arbeitsprozess das Vorliegen einer mitwirkenden, psychisch ausgewiesenen Komorbidität von erheblicher Schwere, Ausprägung und Dauer voraus. Massgebend sein können auch weitere Faktoren, so chronische körperliche Begleiterkrankungen; ein mehrjähriger chronifizierter Krankheitsverlauf bei unveränderter oder progredienter Symptomatik ohne langdauernde Rückbildung; ein sozialer Rückzug in allen Belangen des Lebens; ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn ["Flucht in die Krankheit"]); das Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischem Ansatz) trotz kooperierender Haltung der versicherten Person (<ref-ruling>).
3.4.2 Nach den überzeugenden Einschätzungen des Psychiaters, auf welche abzustellen ist (Erw. 3.3 hievor), leidet der Versicherte weder an einer depressiven Erkrankung noch an einer anderen psychischen Krankheit von rechtserheblicher Bedeutung. Fest steht das Vorliegen einer chronischen Schmerzstörung. Jedoch waren die Schmerzangaben des Beschwerdeführers sehr unpräzise und er hinterliess beim untersuchenden Arzt nicht den Eindruck, massgeblich unter den Beschwerden zu leiden. Auch von einem sozialen Rückzug in allen Lebensbelangen kann keine Rede sein. Zwar macht der Versicherte glaubhaft geltend, er habe sich nach Aufgabe seiner Berufstätigkeit und nach dem überraschenden Tod seiner zweiten Ehefrau, der ihn sehr geschockt habe, weitgehend von sozialen Kontakten zurückgezogen und pflege einen eher passiven Lebensstil. Gleichwohl geht er täglich einkaufen, genehmigt sich jeweils einige Kaffees in Restaurants, unternimmt im Sommer regelmässig Spaziergänge und unterhält immerhin zu seiner in Altstätten lebenden Schwiegermutter sowie zu seinen zwei in der Türkei lebenden Kindern Kontakte. Darauf, dass er sozial nicht isoliert ist, deuten schliesslich auch die sich bei den Akten befindlichen Telefonrechnungen vom 21. März 2003 (in Höhe von Fr. 254.95) sowie undatiert (einbezahlt am 13. Juni 2003; in Höhe von Fr. 105.45) hin. Hinweise auf einen nicht mehr therapierbaren innerseelischen Verlauf liegen nicht vor, zumal sich die diesbezüglichen, von Dr. med. C._ und Dr. med. E._ festgestellten Anzeichen anlässlich der Begutachtung durch das ABI nicht erhärteten. Auch wenn in somatischer Sicht diverse langjährige Therapien keinen (bleibenden) Erfolg brachten, fehlen insgesamt genügende Anhaltspunkte, welche eine willentliche Schmerzüberwindung verunmöglichen würden. Wenn die Gutachter zum Schluss kamen, der Versicherte könnte bei Aufbietung allen guten Willens in ausreichendem Masse Arbeit verrichten, ist dies nicht zu beanstanden.
3.5 Nach dem Gesagten kommt den Ausführungen der Ärzte vom ABI voller Beweiswert zu. Von weiteren medizinischen Abklärungen ist abzusehen, da aus dem Gutachten deutlich hervorgeht, dass die zum Zeitpunkt des vorinstanzlichen Entscheides vom 21. September 2001 fraglich gewesene Verschlechterung der gesundheitlichen Verhältnisse nicht oder jedenfalls nicht in einem Ausmass eingetreten ist, das die Arbeitsfähigkeit in einer angepassten Tätigkeit beeinflussen würde.
3.5 Nach dem Gesagten kommt den Ausführungen der Ärzte vom ABI voller Beweiswert zu. Von weiteren medizinischen Abklärungen ist abzusehen, da aus dem Gutachten deutlich hervorgeht, dass die zum Zeitpunkt des vorinstanzlichen Entscheides vom 21. September 2001 fraglich gewesene Verschlechterung der gesundheitlichen Verhältnisse nicht oder jedenfalls nicht in einem Ausmass eingetreten ist, das die Arbeitsfähigkeit in einer angepassten Tätigkeit beeinflussen würde.
4. Gegen den vorinstanzlichen Einkommensvergleich wurden keine Einwände erhoben. Auch aus den Akten ist nichts ersichtlich, was zu einer anderen Beurteilung führen würde.
4. Gegen den vorinstanzlichen Einkommensvergleich wurden keine Einwände erhoben. Auch aus den Akten ist nichts ersichtlich, was zu einer anderen Beurteilung führen würde.
5. Das Verfahren ist kostenlos (Art. 134 OG). Die unentgeltliche Verbeiständung kann gewährt werden (Art. 152 in Verbindung mit Art. 135 OG). Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwalt Christoph Tschurr für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
3. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwalt Christoph Tschurr für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 22. Dezember 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin: