Sachverhalt: A._, 1958 geboren, seit Januar 2003 arbeitslos, ist mazedonischer Staatsangehöriger und verursachte am 22. Februar 2003 durch Nichtgewähren des Vortritts eine Strassenverkehrskollision, wobei er sich verletzte. In der Folge übernahm die Schweizerische Unfallversicherungsanstalt (SUVA) die Heilbehandlung und erbrachte ein Taggeld. Ab 14. August 2003 war der Versicherte wieder zu 50 % arbeitsfähig. Mit rechtskräftigem Einspracheentscheid vom 14. Januar 2005 bestätigte die SUVA die Einstellung sämtlicher Versicherungsleistungen zum 12. Mai 2004. Die IV-Stelle des Kantons Zürich, bei welcher sich A._ am 4. November 2003 wegen den Unfallfolgen zum Rentenbezug angemeldet hatte, sprach ihm für die befristete Dauer vom 1. Februar bis 31. Mai 2004 eine halbe Invalidenrente zu (Verfügung vom 10. Dezember 2004) und hielt daran mit Einspracheentscheid vom 20. April 2005 fest. Die hiegegen erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. April 2006 ab. Mit Verwaltungsgerichtsbeschwerde lässt A._ beantragen, unter Aufhebung des kantonalen Gerichts- und des Einspracheentscheides sei ihm über den 31. Mai 2004 hinaus zumindest eine halbe Rente zuzusprechen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.