Sachverhalt: Sachverhalt: A. Mit Verfügung vom 9. August 2004 und (rektifiziertem) Einspracheentscheid vom 21. September 2005 verneinte die IV-Stelle des Kantons Aargau nach Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere einer Abklärung an Ort und Stelle (Bericht vom 14. Juli 2004), einen Anspruch des 1948 geborenen, als Wirt und Koch tätigen P._ auf eine Invalidenrente, da eine Arbeitsunfähigkeit von mindestens 40% nicht während eines Jahres gedauert habe. A. Mit Verfügung vom 9. August 2004 und (rektifiziertem) Einspracheentscheid vom 21. September 2005 verneinte die IV-Stelle des Kantons Aargau nach Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere einer Abklärung an Ort und Stelle (Bericht vom 14. Juli 2004), einen Anspruch des 1948 geborenen, als Wirt und Koch tätigen P._ auf eine Invalidenrente, da eine Arbeitsunfähigkeit von mindestens 40% nicht während eines Jahres gedauert habe. B. Die hiegegen erhobene Beschwerde mit dem Antrag auf eine ganze Rente spätestens ab 1. Februar 2003, eventualiter auf Rückweisung an die IV-Stelle zur Neubeurteilung, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 29. August 2006 ab. B. Die hiegegen erhobene Beschwerde mit dem Antrag auf eine ganze Rente spätestens ab 1. Februar 2003, eventualiter auf Rückweisung an die IV-Stelle zur Neubeurteilung, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 29. August 2006 ab. C. P._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des kantonalen Entscheides sei ihm eine ganze Rente zuzusprechen, eventualiter die Sache an die IV-Stelle zur Neubeurteilung zurückzuweisen. Die IV-Stelle und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.