Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 24. Oktober 2003 verneinte die IV-Stelle des Kantons Zürich den Anspruch von C._ (geb. 1954) auf eine Invalidenrente. Daran hielt sie mit Einspracheentscheid vom 22. April 2004 fest.
A. Mit Verfügung vom 24. Oktober 2003 verneinte die IV-Stelle des Kantons Zürich den Anspruch von C._ (geb. 1954) auf eine Invalidenrente. Daran hielt sie mit Einspracheentscheid vom 22. April 2004 fest.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Mai 2005 ab.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Mai 2005 ab.
C. C._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine ganze Invalidenrente zuzusprechen. Eventuell sei die Sache zu näheren Abklärungen an die Verwaltung zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Wie die Vorinstanz richtig festgestellt hat, sind die massgebenden gesetzlichen Bestimmungen über den Umfang des Rentenanspruchs (<ref-law>), den Beginn der Rente (<ref-law>, Art. 29 und 29ter IVV) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) im Einspracheentscheid korrekt dargelegt. Sodann gibt die Vorinstanz die Rechtsprechung zum Beweiswert ärztlicher Auskünfte im Allgemeinen (<ref-ruling> Erw. 3a [Urteil B. vom 14. Juni 1999, I 139/98]) und solcher von Hausärzten im Besonderen (<ref-ruling> Erw. 3b/cc [erwähntes Urteil B.]) zutreffend wieder. Darauf wird verwiesen.
1. Wie die Vorinstanz richtig festgestellt hat, sind die massgebenden gesetzlichen Bestimmungen über den Umfang des Rentenanspruchs (<ref-law>), den Beginn der Rente (<ref-law>, Art. 29 und 29ter IVV) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) im Einspracheentscheid korrekt dargelegt. Sodann gibt die Vorinstanz die Rechtsprechung zum Beweiswert ärztlicher Auskünfte im Allgemeinen (<ref-ruling> Erw. 3a [Urteil B. vom 14. Juni 1999, I 139/98]) und solcher von Hausärzten im Besonderen (<ref-ruling> Erw. 3b/cc [erwähntes Urteil B.]) zutreffend wieder. Darauf wird verwiesen.
2. Streitig und zu prüfen ist der Invaliditätsgrad.
2.1 Verwaltung und Vorinstanz stellten in erster Linie auf die Angaben des Psychiatrie-Zentrums X._ und des Spitals Y._ deren Berichten vom 25. März 2004 bzw. 9. April 2002 ab. Demnach ist unbestritten, dass der Beschwerdeführer im zuletzt ausgeübten Beruf als Gebäudereiniger zu 100 % arbeitsunfähig ist. Hingegen bestehe in einer angepassten leichten Tätigkeit in wechselbelastender Position keine Einschränkung der Arbeitsfähigkeit. Die Berichte des Hausarztes, Dr. med. G._, Innere Medizin FMH, erachtete die Vorinstanz als nicht überzeugend, da dieser Arzt ursprünglich ebenfalls von einer Restarbeitsfähigkeit von 50 % bis 100 % in einer angepassten Tätigkeit ausgegangen sei, diese im Bericht vom 22. November 2003 jedoch ohne einleuchtende Begründung und bei gleich gebliebenen Diagnosen nach unten revidiert habe. Im Weiteren hielt die Vorinstanz fest, dass die von der Rechtsvertreterin des Versicherten am 2. September 2004 telefonisch eingeholte Auskunft bei Dr. med. S._, Fachärztin FMH für Psychiatrie, nicht massgebend sei. Eine blosse Telefonnotiz eigne sich nicht zum Nachweis eines relevanten Sachverhalts. Zudem bilde der Einspracheentscheid vom 22. April 2004 die zeitliche Grenze der richterlichen Überprüfungsbefugnis. Die Telefonnotiz sei erst mehrere Monate nach diesem Datum ergangen und daher unbeachtlich.
2.2 Hiegegen lässt der Beschwerdeführer einwenden, mit der erwähnten Telefonnotiz habe er lediglich nachweisen wollen, dass der massgebende Sachverhalt noch nicht genügend abgeklärt sei. In zeitlicher Hinsicht sei die Notiz sehr wohl relevant, da sie sich auch auf den Gesundheitszustand vor dem 22. April 2004 beziehe. In der Zwischenzeit lägen denn auch entsprechende Berichte von Frau Dr. med. S._ vor. Demnach befinde sich der Beschwerdeführer seit dem 9. Februar 2004 in Behandlung bei der genannten Ärztin. welche ihn auch in Verweisungstätigkeiten für voll arbeitsunfähig halte.
2.3 Gemäss Bericht vom 4. Juli 2004 (recte: 2005) geht der Versicherte seit dem 9. Februar 2004 zu Frau Dr. med. S._ in Behandlung. Der Therapiebeginn liegt somit rund eineinhalb Monate vor dem Datum des Einspracheentscheides. Indessen hat Frau Dr. med. S._ noch in der Telefonnotiz vom 2. September 2004 von einer Arbeitsfähigkeit von maximal 50 % in einer Verweisungstätigkeit gesprochen. Sodann bezieht sich die Einschätzung einer vollen Arbeitsunfähigkeit per 22. April 2004 ausdrücklich auf die Tätigkeit als Fensterputzer, was gemäss allen medizinischen Akten nicht bestritten ist. Hingegen sagt Frau Dr. med. S._ gerade nicht, dass der Beschwerdeführer bis 22. April 2004 auch in andern denkbaren Tätigkeiten voll arbeitsunfähig gewesen sei. Vielmehr ist die Rede von Einsatzprogrammen beim RAV von Februar bis August 2004 (an anderer Stelle des selben Berichts: Februar bis August 2005). Diese Versuche scheinen gescheitert zu sein, was den psychischen Zustand verschlechtert habe. Weiter erwähnt Dr. med. S._ eine vorübergehende Besserung und eine ab Mai 2005 eingetretene Verschlechterung.
2.4 Unter solchen Umständen ist der Bericht von Frau Dr. med. S._ nicht geeignet, für die kurze Zeit vom Behandlungsbeginn bis zum Datum des Einspracheentscheides eine relevante Verschlechterung des Gesundheitszustandes zu belegen, zumal das Psychiatriezentrum Y._ noch am 25. März 2004 eine volle Arbeitsfähigkeit aus psychischer Sicht bescheinigt und den Zustand als besserungsfähig bezeichnet hat. Wie es sich nach dem 22. April 2004 verhält, ist nicht im vorliegenden Verfahren zu prüfen.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 15. November 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: