Sachverhalt:
Sachverhalt:
A. W._, geboren 1950, arbeitete seit 1994 als Statistiker für die Einzelfirma A._ über welche am 7. Juli 1998 der Konkurs eröffnet wurde. Seine Einnahmen aus dieser Tätigkeit, worauf keine Sozialversicherungsbeiträge entrichtet wurden, deklarierte er zunächst gegenüber der Steuerbehörde in den Berechnungsjahren 1995 und 1996 als Einkommen aus selbständiger Erwerbstätigkeit. Nachdem er sich seit Beginn des Jahres 1998 mit dem Geschäftsleiter A._ nicht über die Auflösung der bestehenden vertraglichen Bindung mit der Firma A._ hatte einigen können, machte er beim Arbeitsgericht Zürich mit Eingabe vom 26. Februar 1998 gegen A._ eine Klage mit folgendem Rechtsbegehren anhängig:
"Es sei der Beklagte zu verpflichten, dem Kläger Fr. 16'250.- netto zu bezahlen. Zudem sei der Beklagte zu verpflichten, dem Kläger ein Arbeitszeugnis und eine Arbeitsbestätigung sowie eine Lohnabrechnung für die Zeit vom 1. Januar 1995 bis 31. März 1998 aus- und zuzustellen."
Dieses Rechtsbegehren modifizierte W._ anlässlich der Fortsetzung der Hauptverhandlung vor dem Arbeitsgericht Zürich am 7. Juli 1998 unter anderem dahingehend:
"[...] Der Beklagte sei ausserdem zu verpflichten:
5.- Sämtliche Arbeitgeber- und Arbeitnehmersozialabgaben (wie namentlich AHV / IV / EO / ALK / NBU / Pensionskasse) auf den Bruttolöhnen für die Dauer des Arbeitsverhältnisses vom 1. Januar 1995 bis 31. März 1998 an die berechtigten Institutionen abzuliefern und die Ausführung dem Kläger schriftlich anzuzeigen. [...]"
Am 25. Juli 1998 ersuchte W._ die Ausgleichskasse des Kantons Zürich (nachfolgend: Kasse oder Beschwerdegegnerin) um Feststellung, dass es sich bei dem zwischen 1. Januar 1995 und 31. März 1998 bestehenden Vertragsverhältnis mit der Firma A._ um ein Arbeitsvertragsverhältnis gehandelt habe. Der Arbeitgeber sei rückwirkend für die ganze Vertragsdauer zu verpflichten, auf dem gesamten Bruttolohn die Arbeitgeber- und Arbeitnehmer-Sozialabgaben zu entrichten. Die Kasse führte am 3. August 1998 bei der Firma A._ eine Arbeitgeberkontrolle durch und erliess am 10. und 12. August 1998 betreffend die im Zeitraum von 1995 bis 1998 nicht abgerechneten Lohnbezüge des W._ insgesamt vier Nachzahlungsverfügungen an die Firma A._, welche allesamt unangefochten in Rechtskraft erwuchsen.
Nach vorübergehender Einstellung des arbeitsgerichtlichen Prozesses wegen der Konkurseröffnung über die Firma A._ wurde dieses Verfahren am 14. November 2001 infolge des Abschlusses eines aussergerichtlichen Vergleiches zwischen W._ und der Konkursverwaltung als erledigt abgeschrieben. Mit Verfügung vom 17. Januar 2003 verpflichtete die Kasse W._ zur Bezahlung der Arbeitnehmerbeiträge von insgesamt Fr. 10'625.80 auf den von 1995 bis 1997 bezogenen Bruttolohnsummen (gemäss den entsprechenden Nachzahlungsverfügungen), weil die behauptete Nettolohnvereinbarung zwischen ihm und der Firma A._ nicht rechtsgenüglich nachgewiesen worden sei. Zudem habe die Arbeitgeberin die ausstehenden Sozialversicherungsbeiträge weder von den ausbezahlten Löhnen abgezogen noch seien diese Beiträge nachträglich von ihr erhältlich. Daran hielt die Verwaltung mit Einspracheentscheid vom 20. März 2003 fest.
Nach vorübergehender Einstellung des arbeitsgerichtlichen Prozesses wegen der Konkurseröffnung über die Firma A._ wurde dieses Verfahren am 14. November 2001 infolge des Abschlusses eines aussergerichtlichen Vergleiches zwischen W._ und der Konkursverwaltung als erledigt abgeschrieben. Mit Verfügung vom 17. Januar 2003 verpflichtete die Kasse W._ zur Bezahlung der Arbeitnehmerbeiträge von insgesamt Fr. 10'625.80 auf den von 1995 bis 1997 bezogenen Bruttolohnsummen (gemäss den entsprechenden Nachzahlungsverfügungen), weil die behauptete Nettolohnvereinbarung zwischen ihm und der Firma A._ nicht rechtsgenüglich nachgewiesen worden sei. Zudem habe die Arbeitgeberin die ausstehenden Sozialversicherungsbeiträge weder von den ausbezahlten Löhnen abgezogen noch seien diese Beiträge nachträglich von ihr erhältlich. Daran hielt die Verwaltung mit Einspracheentscheid vom 20. März 2003 fest.
B. Die hiegegen erhobene Beschwerde des W._ hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. Mai 2004 in dem Sinne gut, als es den Einspracheentscheid aufhob, das Vorliegen einer Nettolohnvereinbarung verneinte und die Sache im Sinne der Erwägungen - ausgehend von einer tieferen Bruttolohnsumme - zur Neuberechnung der Arbeitnehmerbeiträge für die Jahre 1995 bis 1997 an die Kasse zurückwies.
B. Die hiegegen erhobene Beschwerde des W._ hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. Mai 2004 in dem Sinne gut, als es den Einspracheentscheid aufhob, das Vorliegen einer Nettolohnvereinbarung verneinte und die Sache im Sinne der Erwägungen - ausgehend von einer tieferen Bruttolohnsumme - zur Neuberechnung der Arbeitnehmerbeiträge für die Jahre 1995 bis 1997 an die Kasse zurückwies.
C. Mit Verwaltungsgerichtsbeschwerde lässt W._ unter Aufhebung des kantonalen Gerichtsentscheids (Ziff. 1 des Rechtsbegehrens) unter anderem beantragen:
"[...] 2.- Die Sozialversicherungsanstalt Zürich (SVA) sei anzuweisen, den Betrag von Fr. 10'625.80 als Arbeitnehmerbeiträge für die Jahre 1995 (Fr. 2'943.85), 1996 (Fr. 3'490.55) und 1997 (Fr. 4'191.40) bzw. die Lohnsumme 1995 (Fr. 44'944.00), 1996 (Fr. 53'291.00) und 1997 (Fr. 63'991.00) für diese Beiträge auf dem individuellen Konto des Beschwerdeführers (955.50.485.118) einzutragen.
3.- Die SVA sei anzuweisen, dem Beschwerdeführer die Eintragung mitzuteilen und ein Kontozusammenruf zu veranlassen sowie dem Beschwerdeführer die entsprechenden Unterlagen des Kontozusammenrufes zukommen zu lassen. [...]"
Im Weiteren ersucht er um die Gewährung der unentgeltlichen Rechtspflege.
Die Kasse und das Bundesamt für Sozialversicherung (BSV) verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b-h und 98a OG auf dem Gebiet der Sozialversicherung. Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
1.2 Die Kasse verfügte am 17. Januar 2003 weder über eine Eintragung in das individuelle Konto des Versicherten noch über die Mitteilung einer solchen Eintragung an ihn und auch nicht über die Erstellung eines Kontozusammenrufes. Fehlt es demnach mit Blick auf die Anträge Ziffern 2 und 3 der Verwaltungsgerichtsbeschwerde an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, ist auf diese Rechtsbegehren nicht einzutreten. Streitig und zu prüfen ist einzig, ob der Beschwerdeführer beitragszahlungspflichtig ist.
1.2 Die Kasse verfügte am 17. Januar 2003 weder über eine Eintragung in das individuelle Konto des Versicherten noch über die Mitteilung einer solchen Eintragung an ihn und auch nicht über die Erstellung eines Kontozusammenrufes. Fehlt es demnach mit Blick auf die Anträge Ziffern 2 und 3 der Verwaltungsgerichtsbeschwerde an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, ist auf diese Rechtsbegehren nicht einzutreten. Streitig und zu prüfen ist einzig, ob der Beschwerdeführer beitragszahlungspflichtig ist.
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Das kantonale Gericht legte die Praxis, wonach die Kasse ausnahmsweise befugt ist, den Arbeitnehmerbeitrag vom Arbeitnehmer selbst einzufordern, wenn der Arbeitgeber in rechtserheblicher Weise für die Bezahlung des Arbeitnehmerbeitrages ausfällt und diesen noch nicht vom Lohn des betreffenden Versicherten abgezogen hat (ZAK 1970 S. 107 Erw. 3 mit Hinweis), zutreffend dar. Darauf wird verwiesen.
3. Das kantonale Gericht legte die Praxis, wonach die Kasse ausnahmsweise befugt ist, den Arbeitnehmerbeitrag vom Arbeitnehmer selbst einzufordern, wenn der Arbeitgeber in rechtserheblicher Weise für die Bezahlung des Arbeitnehmerbeitrages ausfällt und diesen noch nicht vom Lohn des betreffenden Versicherten abgezogen hat (ZAK 1970 S. 107 Erw. 3 mit Hinweis), zutreffend dar. Darauf wird verwiesen.
4. Gemäss <ref-law> sind die von einem Arbeitnehmer erzielten Erwerbseinkommen, von welchen der Arbeitgeber die gesetzlichen Beiträge abgezogen hat, in das Individuelle Konto (des Arbeitnehmers) einzutragen, selbst wenn der Arbeitgeber die entsprechenden Beiträge der Ausgleichskasse nicht entrichtet hat. Nach der Rechtsprechung zum gleich lautenden, bis am 31. Dezember 1996 in Kraft gewesenen <ref-law> gilt die gleiche Ordnung auch dann, wenn Arbeitgeber und Arbeitnehmer eine Nettolohnvereinbarung getroffen haben, d.h. wenn der Arbeitgeber sämtliche Beiträge zu seinen Lasten übernimmt. Diese beiden Sondertatbestände müssen aber einwandfrei nachgewiesen sein. Ist der Nachweis nicht erbracht, dass der Arbeitgeber tatsächlich die Beiträge vom Lohn seines Arbeitnehmers abgezogen hat, oder lässt sich eine behauptete Nettolohnvereinbarung nicht eindeutig feststellen, so dürfen die entsprechenden Einkommen nicht ins Individuelle Konto eingetragen werden (<ref-ruling> Erw. 3a mit Hinweisen). Der Nachweis ist nach den üblichen Beweisführungs- und Beweislastgrundsätzen der im Sozialversicherungsrecht geltenden Untersuchungsmaxime zu leisten, wobei der Mitwirkungspflicht des Betroffenen in diesem Zusammenhang ein erhöhtes Gewicht zukommt, indem er von sich aus alles ihm Zumutbare zu unternehmen hat, um die Verwaltung oder das Gericht in der Beschaffung des Beweismaterials zu unterstützen (<ref-ruling> Erw. 3d in fine zu <ref-law>).
4. Gemäss <ref-law> sind die von einem Arbeitnehmer erzielten Erwerbseinkommen, von welchen der Arbeitgeber die gesetzlichen Beiträge abgezogen hat, in das Individuelle Konto (des Arbeitnehmers) einzutragen, selbst wenn der Arbeitgeber die entsprechenden Beiträge der Ausgleichskasse nicht entrichtet hat. Nach der Rechtsprechung zum gleich lautenden, bis am 31. Dezember 1996 in Kraft gewesenen <ref-law> gilt die gleiche Ordnung auch dann, wenn Arbeitgeber und Arbeitnehmer eine Nettolohnvereinbarung getroffen haben, d.h. wenn der Arbeitgeber sämtliche Beiträge zu seinen Lasten übernimmt. Diese beiden Sondertatbestände müssen aber einwandfrei nachgewiesen sein. Ist der Nachweis nicht erbracht, dass der Arbeitgeber tatsächlich die Beiträge vom Lohn seines Arbeitnehmers abgezogen hat, oder lässt sich eine behauptete Nettolohnvereinbarung nicht eindeutig feststellen, so dürfen die entsprechenden Einkommen nicht ins Individuelle Konto eingetragen werden (<ref-ruling> Erw. 3a mit Hinweisen). Der Nachweis ist nach den üblichen Beweisführungs- und Beweislastgrundsätzen der im Sozialversicherungsrecht geltenden Untersuchungsmaxime zu leisten, wobei der Mitwirkungspflicht des Betroffenen in diesem Zusammenhang ein erhöhtes Gewicht zukommt, indem er von sich aus alles ihm Zumutbare zu unternehmen hat, um die Verwaltung oder das Gericht in der Beschaffung des Beweismaterials zu unterstützen (<ref-ruling> Erw. 3d in fine zu <ref-law>).
5. Strittig und unter dem Blickwinkel der eingeschränkten Kognition (Erw. 2 hievor) zu prüfen ist zunächst, ob der Versicherte den Abschluss einer Nettolohnvereinbarung zwischen ihm und der Arbeitgeberin nachgewiesen oder zumindest glaubhaft dargelegt hat.
5.1 Mit Verwaltungsgerichtsbeschwerde wiederholt der Beschwerdeführer im Wesentlichen seine bereits vorinstanzlich vorgetragene Argumentation. Die rechtsgenügliche Glaubhaftmachung des Vorliegens einer Nettolohnvereinbarung zwischen dem Versicherten und der Firma A._ ergebe sich aus dem arbeitsgerichtlichen und dem konkursrechtlichen Verfahren sowie aus den vier Nachzahlungsverfügungen der Kasse vom August 1998 und den Unterlagen des BVG-Versicherers.
5.2 Demgegenüber vertrat das kantonale Gericht die Auffassung, die Frage, ob eine Nettolohnvereinbarung bestanden habe, sei weder im arbeitsgerichtlichen noch im konkursrechtlichen Verfahren von einem Gericht materiell beurteilt worden. Auch den Unterlagen des BVG-Versicherers komme in Bezug auf die Beantwortung dieser Frage keine massgebende Bedeutung zu. Nichts zu seinen Gunsten vermöge der Beschwerdeführer sodann aus den rechtskräftigen Nachzahlungsverfügungen abzuleiten. Er habe somit das Bestehen der behaupteten, angeblich mündlich mit der Arbeitgeberin geschlossenen Nettolohnvereinbarung nicht glaubhaft darlegen können.
5.2 Demgegenüber vertrat das kantonale Gericht die Auffassung, die Frage, ob eine Nettolohnvereinbarung bestanden habe, sei weder im arbeitsgerichtlichen noch im konkursrechtlichen Verfahren von einem Gericht materiell beurteilt worden. Auch den Unterlagen des BVG-Versicherers komme in Bezug auf die Beantwortung dieser Frage keine massgebende Bedeutung zu. Nichts zu seinen Gunsten vermöge der Beschwerdeführer sodann aus den rechtskräftigen Nachzahlungsverfügungen abzuleiten. Er habe somit das Bestehen der behaupteten, angeblich mündlich mit der Arbeitgeberin geschlossenen Nettolohnvereinbarung nicht glaubhaft darlegen können.
5.3 5.3.1 Das kantonale Steueramt Zürich meldete der Kasse am 31. Januar 1998, dass der Beschwerdeführer in den Berechnungsjahren 1995 und 1996 Einkommen aus selbständiger Erwerbstätigkeit deklariert habe. Einem nicht unterzeichneten Vertragsentwurf "betreffend Beratung im Zusammenhang mit der Entwicklung eines mathematischen Modelles zur Vorhersage der zeitlichen Entwicklung von Devisenkursen und Erarbeitung von Trading-Strategien" zwischen der Firma A._ und dem Versicherten ist zu entnehmen, dass der Beschwerdeführer in Bezug auf seine Leistungsentschädigung "für die Entrichtung der obligatorischen Sozialabgaben [...] selber verantwortlich" sein sollte. Dementsprechend wies die Firma A._ in ihrer Lohnbuchhaltung und auf den Lohnbescheinigungsformularen zuhanden der Kasse in den Jahren 1994 bis 1997 keinerlei beitragspflichtige Lohnbezüge des Versicherten aus. Erst als sich im Januar 1998 die Auflösung des Vertragsverhältnisses zwischen der Firma A._ und dem Beschwerdeführer abzuzeichnen begann, berief er sich darauf, dass es sich bei diesem Vertragsverhältnis nicht um ein Auftrags-, sondern um ein Arbeitsverhältnis gehandelt habe, weshalb ihm gegenüber der Firma A._ während der Dauer der Kündigungsfrist ein Lohnfortzahlungsanspruch zustehe. Mit Schreiben vom 25. Juli 1998 liess er sodann gegenüber der Beschwerdegegnerin behaupten, im mündlichen Arbeitsvertrag sei zwischen ihm und der Firma A._ vereinbart worden, dass die Firma A._ sämtliche Sozialabgaben zu entrichten habe. Daher handle es sich beim ausbezahlten Gehalt um den Nettolohn. Die Kasse habe somit unter anderem in Bezug auf die in den Jahren 1995 bis 1997 empfangenen Nettolöhne von 42'000, 49'800 und 59'800 Franken jeweils die Sozialabgaben - und zwar sowohl den Arbeitnehmer- wie auch den Arbeitgeberanteil - aufzurechnen und diese mit Nachzahlungsverfügungen gegenüber der Firma A._ geltend zu machen.
5.3.2 Bei sich widersprechenden Angaben der versicherten Person ist auf die Beweismaxime abzustellen, wonach die so genannten spontanen "Aussagen der ersten Stunde" in der Regel unbefangener und zuverlässiger sind als spätere Darstellungen, die bewusst oder unbewusst von nachträglichen Überlegungen versicherungsrechtlicher oder anderer Art beeinflusst sein können (<ref-ruling> Erw. 2a mit Hinweisen; vgl. auch Urteile P. vom 29. August 2003, I 90/03, Erw. 4 und G. vom 19. August 2002, I 160/02, Erw. 2.3). Deshalb ist auf die gegenüber der Steuerbehörde abgegebene Selbstdeklaration des Einkommens in den Berechnungsjahren 1995 und 1996 sowie auf die in den Lohnbescheinigungsformularen fehlenden Angaben zu einem beitragspflichtigen Lohn des Versicherten abzustellen. Bei den von ihm genannten Lohnbezügen handelt es sich demnach entgegen seiner Behauptung nicht um Netto-, sondern um Bruttolöhne, auf welchen bisher weder vor der Auszahlung durch die Firma A._ noch nach dem Empfang durch den Versicherten Sozialversicherungsbeiträge - und zwar weder die Arbeitgeber- noch die Arbeitnehmeranteile - entrichtet worden sind.
Ob der Beschwerdeführer den behaupteten Abschluss einer Nettolohnvereinbarung mit der Firma A._ zumindest glaubhaft darzulegen vermochte, kann indessen im Hinblick auf das in Erwägung Ziffer 7 zur Verwirkung Gesagte offenbleiben.
Ob der Beschwerdeführer den behaupteten Abschluss einer Nettolohnvereinbarung mit der Firma A._ zumindest glaubhaft darzulegen vermochte, kann indessen im Hinblick auf das in Erwägung Ziffer 7 zur Verwirkung Gesagte offenbleiben.
6. Das Gleiche gilt letztlich für die Frage, ob die Kasse den verfügten Arbeitnehmerbeitrag zu Recht gegenüber dem Versicherten geltend machte. Es steht fest, dass die in Konkurs gefallene Firma A._ für die Bezahlung der Sozialversicherungsbeiträge ausser Betracht fällt, nachdem der Versicherte mit der Konkursverwaltung über seine arbeitsgerichtliche Klage, welche unter anderem die Leistung sämtlicher Arbeitnehmer- und Arbeitgeberbeiträge auf allen behaupteten Nettolohnforderungen der Jahre 1995 bis 1998 durch die Firma A._ zum Gegenstand hatte, gemäss Beschluss des Arbeitsgerichtes Zürich vom 14. November 2001 einen aussergerichtlichen Vergleich abschloss. Damit steht fest, dass die Firma A._ für die Bezahlung des Arbeitnehmerbeitrages in rechtserheblicher Weise ausgefallen ist. Deswegen und unter der in Erw. 5.3.2 offen gelassenen Annahme, dass es sich bei den vom Versicherten mit Schreiben vom 25. Juli 1998 gemeldeten und effektiv ausbezahlt erhaltenen Einkommensbeträgen für die Jahre 1995 bis 1998 nicht um Netto- sondern um Bruttolöhne, auf welchen bisher keine Sozialversicherungsbeiträge entrichtet worden sind, gehandelt hätte, forderte die Beschwerdegegnerin den Arbeitnehmerbeitrag nach der einschlägigen Praxis (Erw. 3) grundsätzlich zu Recht vom Arbeitnehmer selber ein.
6. Das Gleiche gilt letztlich für die Frage, ob die Kasse den verfügten Arbeitnehmerbeitrag zu Recht gegenüber dem Versicherten geltend machte. Es steht fest, dass die in Konkurs gefallene Firma A._ für die Bezahlung der Sozialversicherungsbeiträge ausser Betracht fällt, nachdem der Versicherte mit der Konkursverwaltung über seine arbeitsgerichtliche Klage, welche unter anderem die Leistung sämtlicher Arbeitnehmer- und Arbeitgeberbeiträge auf allen behaupteten Nettolohnforderungen der Jahre 1995 bis 1998 durch die Firma A._ zum Gegenstand hatte, gemäss Beschluss des Arbeitsgerichtes Zürich vom 14. November 2001 einen aussergerichtlichen Vergleich abschloss. Damit steht fest, dass die Firma A._ für die Bezahlung des Arbeitnehmerbeitrages in rechtserheblicher Weise ausgefallen ist. Deswegen und unter der in Erw. 5.3.2 offen gelassenen Annahme, dass es sich bei den vom Versicherten mit Schreiben vom 25. Juli 1998 gemeldeten und effektiv ausbezahlt erhaltenen Einkommensbeträgen für die Jahre 1995 bis 1998 nicht um Netto- sondern um Bruttolöhne, auf welchen bisher keine Sozialversicherungsbeiträge entrichtet worden sind, gehandelt hätte, forderte die Beschwerdegegnerin den Arbeitnehmerbeitrag nach der einschlägigen Praxis (Erw. 3) grundsätzlich zu Recht vom Arbeitnehmer selber ein.
7. Die Kasse setzte die hier strittigen Beiträge für die Jahre 1995 bis 1997 gegenüber dem Arbeitnehmer mit Verfügung vom 17. Januar 2003 fest.
7.1 <ref-law> besagt:
"Erhält eine Ausgleichskasse Kenntnis davon, dass ein Beitragspflichtiger keine Beiträge oder zu niedrige Beiträge bezahlt hat, so hat sie die Nachzahlung der geschuldeten Beiträge zu verlangen und nötigenfalls durch Verfügung festzusetzen. Vorbehalten bleibt die Verjährung nach Artikel 16 Absatz 1 AHVG."
Nach Satz 1 von <ref-law> können Beiträge, die nicht innert fünf Jahren nach Ablauf des Kalenderjahres, für welches sie geschuldet sind, durch Verfügung geltend gemacht werden, nicht mehr eingefordert oder entrichtet werden. Entgegen dem Wortlaut der Bestimmung handelt es sich nach der Rechtsprechung um eine von Amteswegen zu berücksichtigende Verwirkungsfrist (<ref-ruling>; ZAK 1992 S. 316 Erw. 4a mit Hinweisen; Urteil H. vom 30. Oktober 2002, H 158/02, Erw. 2.1).
7.2 Als die Kasse mit Verfügung vom 17. Januar 2003 gegenüber dem Beschwerdeführer die Arbeitnehmerbeiträge für die Jahre 1995 bis 1997 festsetzte, war die fünfjährige Verwirkungsfrist im Sinne von <ref-law> auch mit Blick auf das letzte Beitragsjahr 1997 bereits abgelaufen und somit die Festsetzungsfrist in Bezug auf alle fraglichen Beitragsjahre verwirkt.
7.3 Daran ändert nichts, dass die Verwaltung für dieselben Beitragsjahre ursprünglich schon mit drei Verfügungen vom 23. Oktober 2001 gegenüber demselben Beitragssubjekt die Beiträge aus selbständiger Erwerbstätigkeit in den Jahren 1995 und 1996 sowie als Nichterwerbstätiger im Jahre 1997 festgesetzt hatte. Denn mit drei weiteren Verfügungen vom 18. Juli 2002 hob die Kasse alle drei Beitragsverfügungen vom 23. Oktober 2001 ersatzlos auf, indem sie die Jahre 1995 bis 1997 als beitragsfrei erklärte.
7.3.1 Nach der Rechtsprechung zu <ref-law> wird mit dem fristgerechten Erlass einer Beitragsverfügung die Verwirkung ein für allemal ausgeschlossen, und zwar auch dann, wenn die Verfügung in der Folge vom Richter oder - im Rahmen einer Wiedererwägung - von der Verwaltung aufgehoben wird und durch eine andere ersetzt werden muss; jedoch dürfen mit der berichtigten Verfügung keine höheren als die fristgemäss verfügten Beiträge einverlangt werden (ZAK 1992 S. 316 Erw. 4a i.f. mit Hinweisen; Kieser, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht: Bundesgesetz über die Alters- und Hinterlassenenversicherung, Zürich 1996, S. 115).
7.3.2 Mit Blick auf die Prüfung der Frage, ob ein arbeitslosenversicherungsrechtlicher Rückerstattungsanspruch verwirkt sei, erkannte das Eidgenössische Versicherungsgericht im Urteil B. vom 17. Dezember 2003 (C 19/03, Erw. 3.2.3):
Anders als im Falle der gerichtlichen Anfechtung, Aufhebung und Rückweisung der Sache an die Verwaltung zu ergänzenden Abklärungen und neuem Verfügungserlass ergeht bei ersatzloser Aufhebung eines Verwaltungsaktes durch eine zweite [Verwaltungs-] Verfügung kein gerichtliches Urteil, welches die Rückerstattungspflicht zum Gegenstand hat. Nur dieses Rückweisungsurteil als Bindeglied zwischen der ersten aufgehobenen und der zweiten noch zu erlassenen Verfügung rechtfertigt die Annahme eines weiterhin andauernden Effektes des ersten Kassenaktes hinsichtlich Wahrung der Verwirkungsfrist. Bei ersatzloser Aufhebung einer Rückerstattungsverfügung auf dem Wege der Wiedererwägung gibt es dagegen nichts, was geeignet wäre, die fristwahrende Wirkung der ersten Verfügung in ein neues Verfahren hinüberzuretten. Vielmehr sind mit deren Aufhebung auch deren Rechtsfolgen und Rechtswirkungen, welche sie zeitigte, untergegangen.
7.3.3 Unter Berücksichtigung der bisherigen Rechtsprechung rechtfertigt es sich, die Praxis gemäss Urteil B. vom 17. Dezember 2003 (C 19/03, Erw. 3.2.3) analog auf diejenigen Fälle der Beitragsfestsetzung nach AHVG anzuwenden, in welchen eine Kasse ihre in Bezug auf eine bestimmte Beitragsperiode fristwahrende Verwaltungsverfügung wiedererwägungsweise ohne gleichzeitig erfolgte Berichtigung (vgl. EVGE 1958 S. 103 Erw. 2 mit Hinweis) zunächst ersatzlos aufhebt und erst später - nach Ablauf der Verwirkungsfrist im Sinne von <ref-law> - durch Erlass einer neuen Verfügung die Beiträge für dieselbe Beitragsperiode berichtigend festsetzen will. Die fristwahrende Wirkung einer Beitragsverfügung fällt demnach endgültig dahin, wenn die Verwaltung diese Verfügung von sich aus - ohne gleichzeitige Berichtigung - wiedererwägungsweise ersatzlos aufhebt und erst nach Ablauf der Verwirkungsfrist durch Erlass einer weiteren Verwaltungsverfügung zu berichtigen sucht. Das ist hier mit der ersatzlosen Aufhebung der Beitragsverfügungen vom 23. Oktober 2001 durch die Verwaltungsakte vom 18. Juli 2002 der Fall. Daher ist die an sich fristwahrende Wirkung der drei Beitragsverfügungen vom 23. Oktober 2001 dahingefallen, soweit damals die Beiträge für das Jahr 1995 nicht ohnehin nach <ref-law> verwirkt waren. Die bei Erlass der strittigen Veranlagungsverfügung vom 17. Januar 2003 in Bezug auf alle drei Beitragsjahre (1995-1997) bereits eingetretene Verwirkung hat zur Folge, dass die Beiträge für die Jahre 1995 bis 1997 nicht mehr eingefordert werden können.
7.3.3 Unter Berücksichtigung der bisherigen Rechtsprechung rechtfertigt es sich, die Praxis gemäss Urteil B. vom 17. Dezember 2003 (C 19/03, Erw. 3.2.3) analog auf diejenigen Fälle der Beitragsfestsetzung nach AHVG anzuwenden, in welchen eine Kasse ihre in Bezug auf eine bestimmte Beitragsperiode fristwahrende Verwaltungsverfügung wiedererwägungsweise ohne gleichzeitig erfolgte Berichtigung (vgl. EVGE 1958 S. 103 Erw. 2 mit Hinweis) zunächst ersatzlos aufhebt und erst später - nach Ablauf der Verwirkungsfrist im Sinne von <ref-law> - durch Erlass einer neuen Verfügung die Beiträge für dieselbe Beitragsperiode berichtigend festsetzen will. Die fristwahrende Wirkung einer Beitragsverfügung fällt demnach endgültig dahin, wenn die Verwaltung diese Verfügung von sich aus - ohne gleichzeitige Berichtigung - wiedererwägungsweise ersatzlos aufhebt und erst nach Ablauf der Verwirkungsfrist durch Erlass einer weiteren Verwaltungsverfügung zu berichtigen sucht. Das ist hier mit der ersatzlosen Aufhebung der Beitragsverfügungen vom 23. Oktober 2001 durch die Verwaltungsakte vom 18. Juli 2002 der Fall. Daher ist die an sich fristwahrende Wirkung der drei Beitragsverfügungen vom 23. Oktober 2001 dahingefallen, soweit damals die Beiträge für das Jahr 1995 nicht ohnehin nach <ref-law> verwirkt waren. Die bei Erlass der strittigen Veranlagungsverfügung vom 17. Januar 2003 in Bezug auf alle drei Beitragsjahre (1995-1997) bereits eingetretene Verwirkung hat zur Folge, dass die Beiträge für die Jahre 1995 bis 1997 nicht mehr eingefordert werden können.
8. Das Verfahren vor dem Eidgenössischen Versicherungsgericht ist kostenpflichtig, da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (Art. 134 OG e contrario; Art. 135 in Verbindung mit Art. 156 OG). Entsprechend dem Prozessausgang sind die Gerichtskosten von der unterliegenden Kasse zu tragen (Art. 135 in Verbindung mit Art. 156 Abs. 1 OG). Diese hat dem Beschwerdeführer ausserdem eine Parteientschädigung für das letztinstanzliche Verfahren zu bezahlen (Art. 135 in Verbindung mit Art. 159 Abs. 2 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten ist, werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 5. Mai 2004 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 20. März 2003 aufgehoben.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten ist, werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 5. Mai 2004 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 20. März 2003 aufgehoben.
2. Die Gerichtskosten von Fr. 1'100.- werden der Beschwerdegegnerin auferlegt.
2. Die Gerichtskosten von Fr. 1'100.- werden der Beschwerdegegnerin auferlegt.
3. Die Ausgleichskasse des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.-- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die Ausgleichskasse des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.-- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Sozialversicherungsgericht des Kantons Zürich hat über die Neuverlegung der Parteikosten für das kantonale Verfahren, entsprechend dem Ausgang des letztinstanzlichen Prozesses, zu entscheiden.
4. Das Sozialversicherungsgericht des Kantons Zürich hat über die Neuverlegung der Parteikosten für das kantonale Verfahren, entsprechend dem Ausgang des letztinstanzlichen Prozesses, zu entscheiden.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 29. Dezember 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: