Sachverhalt: Die Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, hielt mit Einspracheentscheid vom 29. Juni 2006 an der verfügten Ablehnung des Gesuches des 1998 geborenen M._ betreffend sensorische Integrationstherapie als pädagogisch-therapeutische Massnahme fest. Das Sozialversicherungsgericht des Kantons Zürich trat auf die dagegen erhobene Beschwerde mit Beschluss vom 7. September 2006 nicht ein. Erneut vertreten durch Rechtsanwalt Dr. Ueli Kieser lässt M._ mit Verwaltungsgerichtsbeschwerde beantragen, es sei die Nichtigkeit des Beschlusses vom 7. September 2006 festzustellen; eventualiter sei der Beschluss aufzuheben. Die Vorinstanz sei zu verpflichten, auf die Beschwerde vom 29. August 2006 einzutreten, eventuell sei die Sache zum Neuentscheid über die Eintretensfrage an sie zurückzuweisen. Das Sozialversicherungsgericht des Kantons Zürich stellt in der Vernehmlassung keinen Antrag.