Sachverhalt:
Sachverhalt:
A. D._, geboren 1948, war seit 1972 als selbstständig erwerbender Karosseriespengler tätig. Am 13. Juli 1998 meldete er sich bei der Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, zum Bezug von Leistungen der Invalidenversicherung an. Er wies auf chronische Schmerzen im Nacken- und Kopfbereich sowie Schmerzen in den Händen hin und erhob Anspruch auf eine Invalidenrente. Dieses Begehren zog er am 7. September 1998 mit der Begründung zurück, der Gesundheitszustand habe sich etwas gebessert. Am 29. Juli 2002 reichte er ein neues Rentengesuch ein. Er gab an, an einer Arthrose im Nackenbereich mit der Folge starker Kopfschmerzen, Einschlafens der Hände und chronischer Ellbogenentzündung zu leiden. Die IV-Stelle holte den Bericht des behandelnden Arztes Dr. med. H._, Facharzt FMH für Allgemeine Medizin, vom 27. November 2002 ein. Dieser diagnostizierte ein chronisches zervikospondylogenes Syndrom beidseits bei schweren degenerativen Veränderungen C3-C6 mit bilateralen ossär bedingten foraminalen Stenosierungen, Verdacht auf Impingement-Syndrom der linken Schulter, Kreuzbandplastik rechts und mediale Teilmeniskektomie, Defilee-Erweiterung der rechten Schulter und Epicondylitis humeri radialis rechts. Zudem veranlasste die IV-Stelle einen Abklärungsbericht für Selbstständigerwerbende (vom 28. März 2003). Mit Verfügung vom 14. November 2003 sprach sie D._ ab dem 1. Februar 2003 eine halbe Invalidenrente zu. Die hiegegen erhobene Einsprache mit dem Antrag auf Zuerkennung einer ganzen Rente wies sie mit Entscheid vom 20. Januar 2004 ab. Dabei beschied sie dem Versicherten, dass ab dem In-Kraft-Treten der 4. IVG-Revision per 1. Januar 2004 die halbe Rente bei einem unveränderten Invaliditätsgrad von 62 % als Dreiviertelrente ausgerichtet werde.
A. D._, geboren 1948, war seit 1972 als selbstständig erwerbender Karosseriespengler tätig. Am 13. Juli 1998 meldete er sich bei der Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, zum Bezug von Leistungen der Invalidenversicherung an. Er wies auf chronische Schmerzen im Nacken- und Kopfbereich sowie Schmerzen in den Händen hin und erhob Anspruch auf eine Invalidenrente. Dieses Begehren zog er am 7. September 1998 mit der Begründung zurück, der Gesundheitszustand habe sich etwas gebessert. Am 29. Juli 2002 reichte er ein neues Rentengesuch ein. Er gab an, an einer Arthrose im Nackenbereich mit der Folge starker Kopfschmerzen, Einschlafens der Hände und chronischer Ellbogenentzündung zu leiden. Die IV-Stelle holte den Bericht des behandelnden Arztes Dr. med. H._, Facharzt FMH für Allgemeine Medizin, vom 27. November 2002 ein. Dieser diagnostizierte ein chronisches zervikospondylogenes Syndrom beidseits bei schweren degenerativen Veränderungen C3-C6 mit bilateralen ossär bedingten foraminalen Stenosierungen, Verdacht auf Impingement-Syndrom der linken Schulter, Kreuzbandplastik rechts und mediale Teilmeniskektomie, Defilee-Erweiterung der rechten Schulter und Epicondylitis humeri radialis rechts. Zudem veranlasste die IV-Stelle einen Abklärungsbericht für Selbstständigerwerbende (vom 28. März 2003). Mit Verfügung vom 14. November 2003 sprach sie D._ ab dem 1. Februar 2003 eine halbe Invalidenrente zu. Die hiegegen erhobene Einsprache mit dem Antrag auf Zuerkennung einer ganzen Rente wies sie mit Entscheid vom 20. Januar 2004 ab. Dabei beschied sie dem Versicherten, dass ab dem In-Kraft-Treten der 4. IVG-Revision per 1. Januar 2004 die halbe Rente bei einem unveränderten Invaliditätsgrad von 62 % als Dreiviertelrente ausgerichtet werde.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Juli 2004 ab. Dabei legte es den Invaliditätsgrad auf 63,7 % fest.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Juli 2004 ab. Dabei legte es den Invaliditätsgrad auf 63,7 % fest.
C. D._ führt Verwaltungsgerichtsbeschwerde und beantragt, es sei ihm eine ganze Invalidenrente zuzusprechen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die massgebenden Bestimmungen über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), den Umfang des Rentenanspruchs (Art. 28 Abs. 1 [in der bis 31. Dezember 2003 und der ab 1. Januar 2004 geltenden Fassung] und 1bis IVG [in der bis Ende 2003 gültig gewesenen Fassung]), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten (Einkommensvergleichsmethode [<ref-law> in Verbindung mit <ref-law>; <ref-ruling> Erw. 2a und b]), die Bestimmung des Erwerbseinkommens eines selbstständig Erwerbenden, der zusammen mit Familienmitgliedern einen Betrieb bewirtschaftet (<ref-law>) sowie den Rentenbeginn (<ref-law> und Art. 29 und 29ter IVV) richtig angegeben. Zutreffend ist auch der Hinweis auf die Rechtsprechung zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4, 115 V 134 Erw. 2, 105 V 158 Erw. 1) und zum Beweiswert ärztlicher Berichte (<ref-ruling> f. Erw. 3 mit Hinweisen).
1. Das kantonale Gericht hat die massgebenden Bestimmungen über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), den Umfang des Rentenanspruchs (Art. 28 Abs. 1 [in der bis 31. Dezember 2003 und der ab 1. Januar 2004 geltenden Fassung] und 1bis IVG [in der bis Ende 2003 gültig gewesenen Fassung]), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten (Einkommensvergleichsmethode [<ref-law> in Verbindung mit <ref-law>; <ref-ruling> Erw. 2a und b]), die Bestimmung des Erwerbseinkommens eines selbstständig Erwerbenden, der zusammen mit Familienmitgliedern einen Betrieb bewirtschaftet (<ref-law>) sowie den Rentenbeginn (<ref-law> und Art. 29 und 29ter IVV) richtig angegeben. Zutreffend ist auch der Hinweis auf die Rechtsprechung zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4, 115 V 134 Erw. 2, 105 V 158 Erw. 1) und zum Beweiswert ärztlicher Berichte (<ref-ruling> f. Erw. 3 mit Hinweisen).
2. Der Beschwerdeführer rügt vorab, der Abklärungsbericht vom 28.März 2003 sei falsch interpretiert worden, was zur Folge gehabt habe, dass im Einkommensvergleich der Anteil an schweren Tätigkeiten (Spengler- und Malerarbeit) zu schwach, der Anteil an administrativer Arbeit hingegen zu stark gewichtet worden sei. Dieser Einwand ist nicht näher zu prüfen, da eine andere Gewichtung der bisherigen Tätigkeiten auf den Ausgang des vorliegenden Streits ohne Einfluss wäre, denn es ist erstellt, dass dem Beschwerdeführer die frühere Beschäftigung mit ihrem hohen Anteil an körperlich schweren Arbeiten aus gesundheitlichen Gründen insgesamt nicht mehr zumutbar ist. Der Anteil dieser früheren Tätigkeiten ist im Hinblick auf die alleine noch umstrittene Festlegung des Invaliditätsgrades nicht von Belang, da es hier nur noch darum geht, was dem Beschwerdeführer nach Eintritt der Invalidität an leidensangepassten Beschäftigungen noch zumutbar ist (und was er dabei an Einkommen einbüsst) (vgl. Erw. 5 hienach).
2. Der Beschwerdeführer rügt vorab, der Abklärungsbericht vom 28.März 2003 sei falsch interpretiert worden, was zur Folge gehabt habe, dass im Einkommensvergleich der Anteil an schweren Tätigkeiten (Spengler- und Malerarbeit) zu schwach, der Anteil an administrativer Arbeit hingegen zu stark gewichtet worden sei. Dieser Einwand ist nicht näher zu prüfen, da eine andere Gewichtung der bisherigen Tätigkeiten auf den Ausgang des vorliegenden Streits ohne Einfluss wäre, denn es ist erstellt, dass dem Beschwerdeführer die frühere Beschäftigung mit ihrem hohen Anteil an körperlich schweren Arbeiten aus gesundheitlichen Gründen insgesamt nicht mehr zumutbar ist. Der Anteil dieser früheren Tätigkeiten ist im Hinblick auf die alleine noch umstrittene Festlegung des Invaliditätsgrades nicht von Belang, da es hier nur noch darum geht, was dem Beschwerdeführer nach Eintritt der Invalidität an leidensangepassten Beschäftigungen noch zumutbar ist (und was er dabei an Einkommen einbüsst) (vgl. Erw. 5 hienach).
3. 3.1 Im Zusammenhang mit dem in der Verwaltungsgerichtsbeschwerde erhobenen Vorwurf, der medizinische Sachverhalt sei ungenügend abgeklärt, ist vorab zu berichtigen, dass Dr. med. B._, Spezialarzt FMH für Rheumatologie, an den der Beschwerdeführer vom Hausarzt zur Untersuchung überwiesen worden war, diesen im Bericht vom 7. November 2002 nicht wie von der Vorinstanz erwogen in einer körperlich schweren Arbeit vollständig und in einer körperlich leichten Tätigkeit zu 50 % arbeitsunfähig einschätzte. Der Rheumatologe bewertete die Arbeitsfähigkeit bedeutend höher: Er bezeichnete den Beschwerdeführer als Karosseriespengler vor allem für Arbeiten, die eine Extension und eine Rotation der Halswirbelsäule nötig machen, zu 50 % arbeitsunfähig, für leichte Arbeiten im Wechsel von Sitzen und Stehen aber zu weniger als 50 %. Mit dieser Einschätzung wich er erheblich von der Beurteilung durch den behandelnden Arzt Dr. med. H._ ab, welcher für den gleichen Zeitraum die Arbeitsunfähigkeit bei körperlich schweren Tätigkeiten auf 80 % festsetzte (IV−Arztbericht vom 27. November 2002).
3.2 Des weiteren ist festzuhalten, dass dem mit der Verwaltungsgerichtsbeschwerde eingelegten Arztzeugnis von Dr. med. H._ vom 25. August 2004 keine Beweiskraft zukommen kann, da die darin enthaltene Schätzung der Restarbeitsfähigkeit auf 20 % in einer leidensangepassten Tätigkeit weder begründet ist, noch hinsichtlich ihrer Geltungszeit spezifiziert wird; auch fehlen Angaben zur Art der noch als zumutbar erachteten Arbeiten.
3.3 Wie bereits erwähnt (vgl. Erw. 2 hievor), dreht sich der Rechtsstreit nur noch um die Frage nach der Art und der Intensität der dem Beschwerdeführer nach Eintritt der Invalidität noch zumutbaren Beschäftigung. Dr. med. H._ schätzte im IV-Arztbericht vom 27. November 2002 die Arbeitsunfähigkeit für die zuletzt ausgeübte Tätigkeit als Karosseriespengler auf 80 %. Dabei stützte er sich auf den Rapport von Dr. med. B._ (vgl. Erw. 3.1 hievor). Nach der Schätzung des Rheumatologen lag der Grad der Arbeitsfähigkeit damals für eine leichte körperliche Tätigkeit im Wechsel von Sitzen und Stehen "medizinisch-theoretisch" höher als 50%. Dem Bericht von Dr.med. U._, Facharzt FMH für Radiologie und Nuklearmedizin, Klinik I._, vom 5. Februar 2004 ist zu entnehmen, dass beim Beschwerdeführer seit einer Voruntersuchung im Jahr 2002 keine wesentlichen Befundänderungen, insbesondere auch keine wesentliche Progression der degenerativen Veränderungen festzustellen war. Dr. med.G._, Facharzt FMH für orthopädische Chirurgie, legte am 10.Februar 2004 in einer Eingabe an das kantonale Gericht die "medizinisch-theoretische Arbeitsunfähigkeit" des Beschwerdeführers auf insgesamt 70% fest. In seiner mit der Verwaltungsgerichtsbeschwerde eingelegten Erklärung vom 1.September 2004 verdeutlicht er, der geschätzte Grad von 70% betrage aufgeteilt für körperlich schwere, handwerkliche Tätigkeiten 100%, für körperlich leichte, administrative Beschäftigungen 0%.
3.3 Wie bereits erwähnt (vgl. Erw. 2 hievor), dreht sich der Rechtsstreit nur noch um die Frage nach der Art und der Intensität der dem Beschwerdeführer nach Eintritt der Invalidität noch zumutbaren Beschäftigung. Dr. med. H._ schätzte im IV-Arztbericht vom 27. November 2002 die Arbeitsunfähigkeit für die zuletzt ausgeübte Tätigkeit als Karosseriespengler auf 80 %. Dabei stützte er sich auf den Rapport von Dr. med. B._ (vgl. Erw. 3.1 hievor). Nach der Schätzung des Rheumatologen lag der Grad der Arbeitsfähigkeit damals für eine leichte körperliche Tätigkeit im Wechsel von Sitzen und Stehen "medizinisch-theoretisch" höher als 50%. Dem Bericht von Dr.med. U._, Facharzt FMH für Radiologie und Nuklearmedizin, Klinik I._, vom 5. Februar 2004 ist zu entnehmen, dass beim Beschwerdeführer seit einer Voruntersuchung im Jahr 2002 keine wesentlichen Befundänderungen, insbesondere auch keine wesentliche Progression der degenerativen Veränderungen festzustellen war. Dr. med.G._, Facharzt FMH für orthopädische Chirurgie, legte am 10.Februar 2004 in einer Eingabe an das kantonale Gericht die "medizinisch-theoretische Arbeitsunfähigkeit" des Beschwerdeführers auf insgesamt 70% fest. In seiner mit der Verwaltungsgerichtsbeschwerde eingelegten Erklärung vom 1.September 2004 verdeutlicht er, der geschätzte Grad von 70% betrage aufgeteilt für körperlich schwere, handwerkliche Tätigkeiten 100%, für körperlich leichte, administrative Beschäftigungen 0%.
4. Nach dem Gesagten war es bis zu dem für den Rentenanspruch massgebenden Zeitpunkt des Einspracheentscheids am 20. Januar 2004 aus ärztlicher Sicht nicht umstritten, dass dem Beschwerdeführer in einer leichten, den Leiden angepassten Tätigkeit eine Arbeitsfähigkeit von mindestens 50% verblieben ist.
4. Nach dem Gesagten war es bis zu dem für den Rentenanspruch massgebenden Zeitpunkt des Einspracheentscheids am 20. Januar 2004 aus ärztlicher Sicht nicht umstritten, dass dem Beschwerdeführer in einer leichten, den Leiden angepassten Tätigkeit eine Arbeitsfähigkeit von mindestens 50% verblieben ist.
5. Der Beschwerdeführer bringt im Übrigen gegen die Bemessung des Invaliditätsgrades einzig vor, die Verwertung seiner Arbeitsfähigkeit sei ihm bei der heutigen Wirtschaftslage auch in einer leichten körperlichen Tätigkeit kaum noch möglich, umso mehr, als er immer unter Medikamenten stehe. Dieser Einwand kann deshalb nicht gehört werden, weil das Gesetz vorschreibt, dass zur Bestimmung des Invaliditätsgrades das Erwerbseinkommen zu berücksichtigen ist, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (<ref-law>). Bei der ausgeglichenen Arbeitsmarktlage handelt es sich nach der Rechtsprechung um einen theoretischen und abstrakten Begriff. Er umschliesst einerseits ein bestimmtes Gleichgewicht zwischen dem Angebot an Stellen und der Nachfrage nach solchen; anderseits bezeichnet er einen Arbeitsmarkt, der von seiner Struktur her sowohl bezüglich der beruflichen und intellektuellen Voraussetzungen als auch hinsichtlich des körperlichen Einsatzes einen Fächer verschiedenartiger Stellen offen hält. Nach diesen Gesichtspunkten bestimmt sich im Einzelfall, ob die invalide Person die Möglichkeit hat, ihre restliche Erwerbsfähigkeit zu verwerten (<ref-ruling> Erw. 4b; ZAK 1991 S. 321 Erw. 3b). Bei der Bestimmung des trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbaren Einkommens darf nicht von realitätsfremden Einsatzmöglichkeiten ausgegangen werden. Von einer Arbeitsgelegenheit kann nicht gesprochen werden, wenn das Finden einer entsprechenden Stelle von vornherein als ausgeschlossen erscheint, weil die zumutbare Tätigkeit nur in so eingeschränkter Form möglich ist, dass sie der allgemeine Arbeitsmarkt praktisch nicht kennt oder dass sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre (vgl. ZAK 1991 S. 320 Erw. 3b, 1989 S. 321 Erw. 4a). Im Falle des Beschwerdeführers sind die letztgenannten Bedingungen in keinerlei Hinsicht erfüllt. Es ist ihm in Nachachtung des generell in der Sozialversicherung geltenden Grundsatzes der Schadenminderung (<ref-ruling> Erw. 3c, 117 V 278 Erw. 2b, 400) zumutbar, die verbliebene Arbeitsfähigkeit im dargelegten Rahmen zu verwerten.
5. Der Beschwerdeführer bringt im Übrigen gegen die Bemessung des Invaliditätsgrades einzig vor, die Verwertung seiner Arbeitsfähigkeit sei ihm bei der heutigen Wirtschaftslage auch in einer leichten körperlichen Tätigkeit kaum noch möglich, umso mehr, als er immer unter Medikamenten stehe. Dieser Einwand kann deshalb nicht gehört werden, weil das Gesetz vorschreibt, dass zur Bestimmung des Invaliditätsgrades das Erwerbseinkommen zu berücksichtigen ist, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (<ref-law>). Bei der ausgeglichenen Arbeitsmarktlage handelt es sich nach der Rechtsprechung um einen theoretischen und abstrakten Begriff. Er umschliesst einerseits ein bestimmtes Gleichgewicht zwischen dem Angebot an Stellen und der Nachfrage nach solchen; anderseits bezeichnet er einen Arbeitsmarkt, der von seiner Struktur her sowohl bezüglich der beruflichen und intellektuellen Voraussetzungen als auch hinsichtlich des körperlichen Einsatzes einen Fächer verschiedenartiger Stellen offen hält. Nach diesen Gesichtspunkten bestimmt sich im Einzelfall, ob die invalide Person die Möglichkeit hat, ihre restliche Erwerbsfähigkeit zu verwerten (<ref-ruling> Erw. 4b; ZAK 1991 S. 321 Erw. 3b). Bei der Bestimmung des trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbaren Einkommens darf nicht von realitätsfremden Einsatzmöglichkeiten ausgegangen werden. Von einer Arbeitsgelegenheit kann nicht gesprochen werden, wenn das Finden einer entsprechenden Stelle von vornherein als ausgeschlossen erscheint, weil die zumutbare Tätigkeit nur in so eingeschränkter Form möglich ist, dass sie der allgemeine Arbeitsmarkt praktisch nicht kennt oder dass sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wäre (vgl. ZAK 1991 S. 320 Erw. 3b, 1989 S. 321 Erw. 4a). Im Falle des Beschwerdeführers sind die letztgenannten Bedingungen in keinerlei Hinsicht erfüllt. Es ist ihm in Nachachtung des generell in der Sozialversicherung geltenden Grundsatzes der Schadenminderung (<ref-ruling> Erw. 3c, 117 V 278 Erw. 2b, 400) zumutbar, die verbliebene Arbeitsfähigkeit im dargelegten Rahmen zu verwerten.
6. Verwaltung und Vorinstanz sind somit in korrekter Würdigung des medizinischen Sachverhaltes bei der Invaliditätsbemessung zu Recht davon ausgegangen, dass dem Beschwerdeführer in körperlich leichten, abwechselnd sitzenden und stehenden Tätigkeiten ohne Extension und Rotation der Halswirbelsäule eine Arbeit im Angestelltenverhältnis zu mindestens 50 % zumutbar ist. Auch legte die Vorinstanz bei der Bemessung des Invaliditätsgrades im Einkommensvergleich das Invalideneinkommen zu Recht nach dem Durchschnittslohn gemäss der Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik für Männer in einfachen und repetitiven Tätigkeiten (Anforderungsniveau 4, privater Sektor) für das Jahr 2002 fest. Korrekt ist ebenfalls die Berücksichtigung der Lohnentwicklung bis zum hier massgebenden Jahr der Entstehung des Rentenanspruchs (2003). Ebenso gerechtfertigt ist die Höhe des gewährten Abzuges von 10 % vom tabellarisch ermittelten Invalideneinkommen, um dem Lebensalter, den leidensbedingten Einschränkungen und dem reduzierten Beschäftigungsgrad Rechnung zu tragen.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 30. November 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: