Sachverhalt:
Sachverhalt:
A. Y._, geboren 1956, erlitt am 29. Oktober 1999 einen schweren Herzinfarkt. Abgesehen von der Teilnahme an einem Einsatzprogramm der Arbeitslosenversicherung anfangs 2001, welches er aus gesundheitlichen Gründen vorzeitig abgebrochen hat, ist er seither keiner Erwerbstätigkeit mehr nachgegangen. Am 29. April 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte einen Bericht des Hausarztes Dr. med. K._ vom 24. August 2002 ein und klärte die erwerbliche Situation ab. Gestützt auf die Gutachten des Kardiologen Dr. med. M._ vom 17. Februar 2003 und des Psychiaters Dr. med. R._ vom 4. August 2003 lehnte sie das Leistungsbegehren mit Verfügung vom 11. September 2003 ab, da die bisherige Tätigkeit als Mitarbeiter im Haus- und Reinigungsdeinst nach Durchführung einer Psychotherapie vollumfänglich zumutbar sei. An dieser Auffassung hielt sie mit Einspracheentscheid vom 24. November 2003 fest.
A. Y._, geboren 1956, erlitt am 29. Oktober 1999 einen schweren Herzinfarkt. Abgesehen von der Teilnahme an einem Einsatzprogramm der Arbeitslosenversicherung anfangs 2001, welches er aus gesundheitlichen Gründen vorzeitig abgebrochen hat, ist er seither keiner Erwerbstätigkeit mehr nachgegangen. Am 29. April 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte einen Bericht des Hausarztes Dr. med. K._ vom 24. August 2002 ein und klärte die erwerbliche Situation ab. Gestützt auf die Gutachten des Kardiologen Dr. med. M._ vom 17. Februar 2003 und des Psychiaters Dr. med. R._ vom 4. August 2003 lehnte sie das Leistungsbegehren mit Verfügung vom 11. September 2003 ab, da die bisherige Tätigkeit als Mitarbeiter im Haus- und Reinigungsdeinst nach Durchführung einer Psychotherapie vollumfänglich zumutbar sei. An dieser Auffassung hielt sie mit Einspracheentscheid vom 24. November 2003 fest.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Juli 2004 ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 22. Juli 2004 ab.
C. Y._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen auf Aufhebung des angefochtenen Entscheides und Zusprechung einer ganzen Invalidenrente; eventualiter sei die Sache an die Beschwerdegegnerin zurückzuweisen zur Vornahme weiterer Abklärungen. Ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Während die IV-Stelle des Kantons Zürich auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), insbesondere auch bei geistigen Gesundheitsschäden (<ref-ruling> Erw. 4c in fine, 102 V 165; AHI 2001 S. 228 Erw. 2b mit Hinweisen und 2000 S. 151 Erw. 2a), den Anspruch auf eine Invalidenrente (<ref-law> ˆ[in Kraft gestanden bis Ende Dezember 2003]), die Ermittlung des Invaliditätsgrades (<ref-law>), die Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen; vgl. auch AHI 2002 S. 70 Erw. 4b/cc) und die richterliche Beweiswürdigung von Arztberichten (<ref-ruling> Erw. 3a und b mit Hinweisen) zutreffend dargelegt. Gleiches gilt bezüglich der Nichtanwendbarkeit der Änderungen des IVG vom 21. März 2003 und der IVV vom 21. Mai 2003 (4. IV-Revision) sowie der damit einhergehenden Anpassungen des ATSG. Darauf wird verwiesen.
1. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), insbesondere auch bei geistigen Gesundheitsschäden (<ref-ruling> Erw. 4c in fine, 102 V 165; AHI 2001 S. 228 Erw. 2b mit Hinweisen und 2000 S. 151 Erw. 2a), den Anspruch auf eine Invalidenrente (<ref-law> ˆ[in Kraft gestanden bis Ende Dezember 2003]), die Ermittlung des Invaliditätsgrades (<ref-law>), die Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4 mit Hinweisen; vgl. auch AHI 2002 S. 70 Erw. 4b/cc) und die richterliche Beweiswürdigung von Arztberichten (<ref-ruling> Erw. 3a und b mit Hinweisen) zutreffend dargelegt. Gleiches gilt bezüglich der Nichtanwendbarkeit der Änderungen des IVG vom 21. März 2003 und der IVV vom 21. Mai 2003 (4. IV-Revision) sowie der damit einhergehenden Anpassungen des ATSG. Darauf wird verwiesen.
2. Der Beschwerdeführer macht zunächst geltend, er könne seinen linken Arm nicht mehr über Schulterhöhe heben. Diese Problematik sei nie richtig abgeklärt worden. Die Vorinstanz führt dazu aus, dass die Arm- und Schulterschmerzen in den medizinischen Akten keine Stütze finden würden. Es trifft zwar zu, dass der behandelnde Arzt Dr. med. K._ sie in seinem Bericht vom 24. August 2002 nicht nennt. Anlässlich der Begutachtung durch den Kardiologen Dr. med. M._ gab der Beschwerdeführer jedoch an, der Hausarzt habe sich um diese Probleme gekümmert, und offenbar hatte er auch eine Physiotherapie verordnet. Im Bericht des Spitals X._ vom 9. Juli 2001 wurden "atypische Thoraxschmerzen" genannt; der Versicherte wurde dort kardiologisch kontrolliert. Dr. med. M._ empfahl in seinem Gutachten zwar, der Beschwerdeführer sei rheumatologisch abzuklären. Die IV-Stelle hat dies in der Folge zu Recht unterlassen. Es kann nicht ausgeschlossen werden, dass der Beschwerdeführer an einer rheumatologisch bedingten Bewegungseinschränkung - nach Einschätzung des Kardiologien Dr. med. M._ eventuell einer Periarthropathia humero-scapularis - leidet. Im Vordergrund stehen jedoch hinsichtlich der Beeinträchtigung der Arbeitsfähigkeit weder diese noch kardiologische Probleme, sondern psychische Gründe.
2. Der Beschwerdeführer macht zunächst geltend, er könne seinen linken Arm nicht mehr über Schulterhöhe heben. Diese Problematik sei nie richtig abgeklärt worden. Die Vorinstanz führt dazu aus, dass die Arm- und Schulterschmerzen in den medizinischen Akten keine Stütze finden würden. Es trifft zwar zu, dass der behandelnde Arzt Dr. med. K._ sie in seinem Bericht vom 24. August 2002 nicht nennt. Anlässlich der Begutachtung durch den Kardiologen Dr. med. M._ gab der Beschwerdeführer jedoch an, der Hausarzt habe sich um diese Probleme gekümmert, und offenbar hatte er auch eine Physiotherapie verordnet. Im Bericht des Spitals X._ vom 9. Juli 2001 wurden "atypische Thoraxschmerzen" genannt; der Versicherte wurde dort kardiologisch kontrolliert. Dr. med. M._ empfahl in seinem Gutachten zwar, der Beschwerdeführer sei rheumatologisch abzuklären. Die IV-Stelle hat dies in der Folge zu Recht unterlassen. Es kann nicht ausgeschlossen werden, dass der Beschwerdeführer an einer rheumatologisch bedingten Bewegungseinschränkung - nach Einschätzung des Kardiologien Dr. med. M._ eventuell einer Periarthropathia humero-scapularis - leidet. Im Vordergrund stehen jedoch hinsichtlich der Beeinträchtigung der Arbeitsfähigkeit weder diese noch kardiologische Probleme, sondern psychische Gründe.
3. Der Beschwerdeführer macht denn auch geltend, er sei nach Auffassung seines Psychiaters Dr. med. C._, bei dem er sich seit Januar 2003 behandeln lässt, wegen einer schweren Depression zu 100 % arbeitsunfähig.
3.1 Das kantonale Gericht hat bezüglich des psychischen Gesundheitszustandes auf das Gutachten des Dr. med. R._ abgestellt, wonach der Versicherte eine depressive Symptomatik entwickelt habe. Nach Auffassung des Dr. med. R._, welcher den Versicherten am 2. Juni 2003 exploriert hat, lag kein invalidisierendes Leiden vor. Dr. med. C._ diagnostizierte demgegenüber gemäss Bericht vom 15. Dezember 2003 eine schwere depressive Episode, wobei ein Hamilton-Test mit entsprechendem Ergebnis am 17. April 2003 durchgeführt worden sei und sich der Zustand seit Behandlungsbeginn im Januar 2003 nicht verändert habe. Die Schlussfolgerung auf eine schwere Depression und eine dadurch bedingte vollständige Arbeitsunfähigkeit ist nach Auffassung der Vorinstanz nicht nachvollziehbar.
3.2 Hinsichtlich des Beweiswertes eines Arztberichts ist rechtsprechungsgemäss entscheidend, ob er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sowie nachvollziehbar sind (<ref-ruling> Erw. 3a mit Hinweis).
Was insbesondere die geistigen Gesundheitsschädigungen betrifft, ist das Vorliegen eines fachärztlich diagnostizierten psychischen Leidens mit Krankheitswert aus rechtlicher Sicht wohl Voraussetzung, nicht aber hinreichende Basis für die Annahme einer invalidisierenden Einschränkung der Arbeitsfähigkeit; ausschlaggebend ist vielmehr, ob die psychiatrischen Befunde nach Einschätzung des Arztes eine derartige Schwere aufweisen, dass dem Versicherten die Verwertung seiner Arbeitskraft auf dem Arbeitsmarkt bei objektiver Betrachtung - und unter Ausschluss von Einschränkungen der Leistungsfähigkeit, die auf aggravatorisches Verhalten zurückzuführen sind - sozial-praktisch nicht mehr zumutbar oder dies für die Gesellschaft gar untragbar ist (<ref-ruling> ff. Erw. 2.2.3 mit Hinweis auf Urteil S. vom 17. Februar 2003 [I 667/01] Erw. 3; <ref-ruling>; AHI 2001 S. 228 Erw. 2b mit Hinweisen). Wie das kantonale Gericht zutreffend erwogen hat, ist das Attest einer 100 %igen Arbeitsunfähigkeit durch Dr. med. C._ mit Blick auf diese Rechtsprechung nicht nachvollziehbar, diagnostiziert er doch eine "depressive Episode", geht also von einem vorübergehenden Zustand aus, und begründet nicht, warum dem Versicherten generell keinerlei Erwerbstätigkeit mehr zumutbar sein sollte.
Jedoch genügt auch das Gutachten des Dr. med. R._, auf welches sich die Vorinstanz gestützt hat, den Anforderungen der Rechtsprechung zum Beweiswert einer ärztlichen Stellungnahme nicht. Der Beschwerdeführer hatte bei der Untersuchung durch den Gutachter angegeben, dass er seit drei Monaten in Behandlung bei Dr. med. C._ sei. Trotzdem hat sich Dr. med. R._ nicht bei ihm über seine Einschätzung erkundigt, erwähnt in seinem Gutachten aber ausdrücklich, in den bisherigen Berichten fänden sich keine Hinweise auf schwere psychische Störungen oder Belastungen, die eine Invalidisierung aus psychischen Gründen nach somatisch attestierter Remission nach dem Herzinfarkt nahe legen könnten. Es fehlt im psychiatrischen Gutachten damit an einer schlüssigen Auseinandersetzung mit der Auffassung des behandelnden Arztes. Weil die ärztlichen Stellungnahmen zur Arbeitsunfähigkeit sich wiedersprechen, ist die Sache abklärungsbedürftig.
Jedoch genügt auch das Gutachten des Dr. med. R._, auf welches sich die Vorinstanz gestützt hat, den Anforderungen der Rechtsprechung zum Beweiswert einer ärztlichen Stellungnahme nicht. Der Beschwerdeführer hatte bei der Untersuchung durch den Gutachter angegeben, dass er seit drei Monaten in Behandlung bei Dr. med. C._ sei. Trotzdem hat sich Dr. med. R._ nicht bei ihm über seine Einschätzung erkundigt, erwähnt in seinem Gutachten aber ausdrücklich, in den bisherigen Berichten fänden sich keine Hinweise auf schwere psychische Störungen oder Belastungen, die eine Invalidisierung aus psychischen Gründen nach somatisch attestierter Remission nach dem Herzinfarkt nahe legen könnten. Es fehlt im psychiatrischen Gutachten damit an einer schlüssigen Auseinandersetzung mit der Auffassung des behandelnden Arztes. Weil die ärztlichen Stellungnahmen zur Arbeitsunfähigkeit sich wiedersprechen, ist die Sache abklärungsbedürftig.
4. Im vorliegenden Verfahren geht es um die Bewilligung oder Verweigerung von Versicherungsleistungen, weshalb von der Auferlegung von Gerichtskosten abzusehen ist (Art. 134 OG). Dem Prozessausgang entsprechend ist dem Beschwerdeführer eine Parteientschädigung zuzusprechen (Art. 135 in Verbindung mit Art. 159 OG). Das Gesuch um unentgeltliche Rechtspflege, einschliesslich der unentgeltlichen Verbeiständung, erweist sich damit als gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 22. Juli 2004 und der Einspracheentscheid der IV-Stelle des Kantons Zürich vom 24. November 2003 aufgehoben, und es wird die Sache an die IV-Stelle des Kantons Zürich zurückgewiesen, damit sie, nach erfolgten Abklärungen im Sinne der Erwägungen über den Anspruch des Beschwerdeführers auf eine Invalidenrente neu verfüge.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 22. Juli 2004 und der Einspracheentscheid der IV-Stelle des Kantons Zürich vom 24. November 2003 aufgehoben, und es wird die Sache an die IV-Stelle des Kantons Zürich zurückgewiesen, damit sie, nach erfolgten Abklärungen im Sinne der Erwägungen über den Anspruch des Beschwerdeführers auf eine Invalidenrente neu verfüge.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2'500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Neuverlegung der Parteikosten für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
4. Das Sozialversicherungsgericht des Kantons Zürich wird über eine Neuverlegung der Parteikosten für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. Dezember 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin: