Sachverhalt: N._, geboren 1948, war seit 1998 als Bauarbeiter für die Firma M._ AG tätig und in dieser Eigenschaft bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen Unfälle und Berufskrankheiten versichert. Für die als Folgen von zwei Unfällen vom 3. Juli 2000 und 19. September 2001 dauerhaft verbleibenden Rücken- und Kniebeschwerden richtet ihm die SUVA gemäss rechtskräftiger Verfügung vom 24. September 2003 nebst einer einmaligen Integritätsentschädigung von Fr. 21'360.- bei einer Integritätseinbusse von 20% mit Wirkung ab 1. Oktober 2003 eine Invalidenrente auf Grund einer Erwerbsunfähigkeit von 21% aus. Zusätzlich leidet er an unfallfremden Hüftgelenksbeschwerden, Schulterschmerzen und einer psychischen Gesundheitsstörung. Am 21. Februar 2002 meldete sich N._ wegen den seit den Unfällen anhaltenden Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügungen vom 28. Juli und 12. August 2005 - bestätigt durch Einspracheentscheid vom 8. Dezember 2005 - sprach die IV-Stelle des Kantons Zürich dem Versicherten bei einem Invaliditätsgrad von 61% mit Wirkung ab 1. September 2002 eine halbe und ab 1. Januar 2004 eine Dreiviertelsrente zu. Die hiegegen erhobene Beschwerde des N._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 10. Mai 2006 ab. Mit Verwaltungsgerichtsbeschwerde lässt N._ unter Aufhebung des angefochtenen Entscheids die Rückweisung der Sache an die Vorinstanz zur weiteren Sachverhaltsabklärung beantragen. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.