Sachverhalt: Sachverhalt: A. Der 1954 geborene O._ arbeitete seit 24. Januar 1980 als hauswirtschaftlicher Angestellter (Gruppenleiter Reinigung) im Krankenheim X._. Am 11. Juli 1997 erlitt er einen Autounfall, bei dem er sich sich ein direktes Schädeltrauma, eine repetitive Distorsion der Halswirbelsäule unter Bewusstlosigkeit, extrakranielle Kopfweichteilverletzungen (u.a. eine ausgedehnte Schürfung fast der ganzen Kopfhaut und eine grosse Schnitt-Rissquetschwunde parietofrontal links) zuzog. Die IV-Stelle des Kantons Zürich sprach ihm ab 1. Juli 1998 bis 31. August 2000 bei einem Invaliditätsgrad von 84 % eine ganze Invalidenrente und ab 1. September 2000 bei einem Invaliditätsgrad von 40 % eine Viertelsrente zu (Verfügungen vom 24. September 2001). Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich in dem Sinne gut, dass es die Verfügung betreffend die Viertelsrente aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den weiteren Rentenanspruch neu verfüge (Entscheid vom 25. Februar 2003). In teilweiser Gutheissung der hiegegen eingereichten Verwaltungsgerichtsbeschwerde hob das Eidgenössische Versicherungsgericht den Entscheid auf und wies die Sache an das kantonale Gericht zurück, damit es im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung der IV-Stelle vom 24. September 2001 betreffend Zusprechung einer Viertelsrente ab 1. September 2000 neu entscheide. Es wurde angewiesen, ein polydisziplinäres Gerichtsgutachten einzuholen (Urteil vom 10. Mai 2004). A. Der 1954 geborene O._ arbeitete seit 24. Januar 1980 als hauswirtschaftlicher Angestellter (Gruppenleiter Reinigung) im Krankenheim X._. Am 11. Juli 1997 erlitt er einen Autounfall, bei dem er sich sich ein direktes Schädeltrauma, eine repetitive Distorsion der Halswirbelsäule unter Bewusstlosigkeit, extrakranielle Kopfweichteilverletzungen (u.a. eine ausgedehnte Schürfung fast der ganzen Kopfhaut und eine grosse Schnitt-Rissquetschwunde parietofrontal links) zuzog. Die IV-Stelle des Kantons Zürich sprach ihm ab 1. Juli 1998 bis 31. August 2000 bei einem Invaliditätsgrad von 84 % eine ganze Invalidenrente und ab 1. September 2000 bei einem Invaliditätsgrad von 40 % eine Viertelsrente zu (Verfügungen vom 24. September 2001). Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich in dem Sinne gut, dass es die Verfügung betreffend die Viertelsrente aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den weiteren Rentenanspruch neu verfüge (Entscheid vom 25. Februar 2003). In teilweiser Gutheissung der hiegegen eingereichten Verwaltungsgerichtsbeschwerde hob das Eidgenössische Versicherungsgericht den Entscheid auf und wies die Sache an das kantonale Gericht zurück, damit es im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügung der IV-Stelle vom 24. September 2001 betreffend Zusprechung einer Viertelsrente ab 1. September 2000 neu entscheide. Es wurde angewiesen, ein polydisziplinäres Gerichtsgutachten einzuholen (Urteil vom 10. Mai 2004). B. In der Folge holte das kantonale Gericht ein Gutachten des Instituts Y._ vom 15. Juni 2005 ein. Mit Entscheid vom 29. Mai 2006 wies es die Beschwerde ab. B. In der Folge holte das kantonale Gericht ein Gutachten des Instituts Y._ vom 15. Juni 2005 ein. Mit Entscheid vom 29. Mai 2006 wies es die Beschwerde ab. C. Mit Verwaltungsgerichtsbeschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei ihm mindestens eine halbe Invalidenrente zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.