Sachverhalt:
A. Der 1947 geborene I._ war bis Ende Oktober 2003 (Kündigung wegen schlechter Auftragslage) in der Firma F._ AG, als Betriebsmitarbeiter tätig gewesen. Am 6. Mai 2005 meldete er sich zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle des Kantons Appenzell I.Rh. klärte die medizinischen sowie die beruflich-erwerblichen Verhältnisse ab. Sie holte zu diesem Zwecke insbesondere ein psychiatrisches Gutachten des Dr. med. L._, Eidg. Facharzt für Psychiatrie und Psychotherapie vom 6. März 2006 sowie eine Auskunft der Arbeitgeberin vom 17. August 2005 ein und lehnte gestützt darauf mit Verfügung vom 31. März 2006 das Leistungsbegehren ab. Daran hielt sie mit Einspracheentscheid vom 3. August 2006 fest.
B. Die hiegegen eingereichte Beschwerde wies das Kantonsgericht Appenzell I.Rh. ab (Entscheid vom 5. Dezember 2006).
C. I._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei zwecks Vornahme weiterer Abklärungen die Sache an die Verwaltung zurückzuweisen.

Das Bundesgericht zieht in Erwägung:
1. 1.1 Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten. Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>).
1.2 Im Hinblick darauf, dass die Verwaltungsgerichtsbeschwerde am 4. September 2006 der Post übergeben wurde und am 5. September 2006 beim Eidgenössischen Versicherungsgericht einging, ist Art. 132 Abs. 2 OG anwendbar. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Gemäss dem wie dargelegt anwendbaren Art. 132 Abs. 2 OG (i.V.m. Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG) prüft das Bundesgericht daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde.
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Begriffe der Invalidität (<ref-law>), der Arbeitsunfähigkeit (<ref-law>) und der Erwerbsunfähigkeit (<ref-law>; <ref-ruling>) sowie die Bedeutung ärztlicher Auskünfte für die Belange der Invaliditätsbemessung (<ref-ruling> E. 2 S. 134 vgl. auch <ref-ruling> E. 4 S. 261) zutreffend dargelegt. Darauf wird verwiesen.
3. Aufgrund der Vorbringen in der Verwaltungsgerichtsbeschwerde ist streitig, ob die Einschätzung des IV-Grades durch Verwaltung und Vorinstanz zu Recht erfolgte oder ob, wie es der Versicherte beantragt, die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen ist.
3.1 Dem vorinstanzlichen Entscheid ist zu entnehmen, dass eine volle Arbeitsfähigkeit besteht. Diese Feststellung ist tatsächlicher Natur (<ref-ruling> E. 3.2 S. 397) und daher für das Bundesgericht grundsätzlich verbindlich (E. 1.2 hievor).
3.2 In der Verwaltungsgerichtsbeschwerde wird das Gutachten des Dr. med. L._ kritisiert, weil es mangelhaft und unvollständig sei, da nicht sämtliche Gesundheitsprobleme des Beschwerdeführers berücksichtigt worden seien. Die Vorinstanz hat hingegen in nachvollziehbarer Weise dargelegt, warum sie auf das Gutachten des Dr. med. L._ vom 6. März 2006 abstellt, und dabei begründet, dass die Einschätzung der Arbeitsfähigkeit durch den Facharzt für Psychiatrie und Psychotherapie zu Recht nur die psychischen Einschränkungen berücksichtigte, weil unbestrittenenmassen weder die Hypercholesterinämie, fokale Dystonie, arterielle Hypertonie noch die Oligoepilepsie einen Einfluss auf die Arbeitsfähigkeit hätten. In Anbetracht des Berichts der Klinik für Neurologie des Spitals X._ vom 2. Juni 2005, welcher trotz umfangreichen apparativen und klinischen Untersuchungen keinen Befund mit Krankheitswert feststellte, bejahte sodann auch Dr. med. L._ explizit aus psychiatrischer Sicht die volle Arbeitsfähigkeit. Ferner räumt die Vorinstanz den umfassenden Berichten der Klinik für Neurologie des Spitals X._ und des Dr. med. L._ gegenüber den Berichten des behandelnden Arztes zu Recht einen höheren Beweiswert ein (<ref-ruling> E. 3b/cc S. 353), weshalb das kantonale Gericht von einer uneingeschränkten Arbeitsfähigkeit ausgeht. Diese Sachverhaltsdarstellung ist nicht offensichtlich unrichtig oder unvollständig und bindet daher das Bundesgericht (E. 1.2). Die vorinstanzliche Festlegung, es fehle an einer rentenbegründenden Erwerbsunfähigkeit, verletzt sodann kein Bundesrecht.

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Kantonsgericht Appenzell I.Rh. und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 27. September 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
i.V.