Sachverhalt:
A. Die IV-Stelle Bern sprach dem 1966 geborenen G._ mit Verfügung vom 4. August 2005 ab 1. November 2004 eine ganze Rente der Invalidenversicherung zu. Mit Entscheid vom 3. April 2006 hiess die IV-Stelle eine Einsprache teilweise gut und erhöhte die monatliche Rente um Fr. 28.-. Im Übrigen wies sie die Einsprache ab, insbesondere auch hinsichtlich des beantragten Rentenbeginns ab September 1999.
B. Das Verwaltungsgericht des Kantons Bern wies die hiegegen erhobene Beschwerde mit Entscheid vom 16. Oktober 2007 ab, soweit darauf einzutreten war, und setzte den Rentenbeginn auf 1. November 2005 fest.
C. G._ führt Verwaltungsgerichtsbeschwerde (recte: Beschwerde in öffentlich-rechtlichen Angelegenheiten) mit dem Antrag, der Anspruchsbeginn der Rente sei auf September 1999, eventualiter sogar August 1993, festzulegen. Weiter seien ihm Verzugs- und Vergütungszinsen sowie eine Parteikostenentschädigung zuzusprechen.

Erwägungen:
1. 1.1 Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) in Kraft getreten (AS 2006 1205, 1243). Damit ist unter anderem auch die Verwaltungsgerichtsbeschwerde nach Art. 128 ff. OG durch die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) abgelöst worden. Die vom Versicherten - trotz zutreffender Rechtsmittelbelehrung durch die Vorinstanz - fälschlicherweise noch als Verwaltungsgerichtsbeschwerde bezeichnete Eingabe vom 17. November 2007 kann indessen als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegengenommen werden, schadet doch die falsche Bezeichnung des Rechtsmittels nicht.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Dass der Beschwerdeführer spätestens ab 1. November 2005 Anspruch auf eine ganze Invalidenrente der Invalidenversicherung hat, ist unbestritten. Streitig ist einzig, ob bereits früher ein Rentenanspruch entstanden ist. Das kantonale Gericht hat die zur Beurteilung dieses Anspruchs einschlägigen Rechtsgrundlagen zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz hat gestützt auf den Bericht des Dr. med. H._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 22. Januar 2005, bei dem der Beschwerdeführer wegen der diagnostizierten querulatorisch-paranoiden Persönlichkeitsstörung (ICD-10: F60.0) seit 26. November 2004 in Behandlung steht, festgestellt, dass er erst ab diesem Datum vollständig arbeitsunfähig ist. Diese Feststellung ist tatsächlicher Natur und für das Bundesgericht grundsätzlich verbindlich (E. 1.2; vgl. <ref-ruling>). Inwiefern sie offensichtlich unrichtig oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruhen soll, legt der Beschwerdeführer jedenfalls nicht dar und geht auch sonst nicht aus den Akten hervor.
3.2 Das Bundesgericht bleibt nach dem Gesagten an die Feststellung des kantonalen Gerichts gebunden, der Beschwerdeführer sei erst ab 26. November 2004 voll arbeitsunfähig gewesen. Dies schliesst indessen nicht aus, dass ein Rentenanspruch bereits früher entstanden ist, ist dies doch nach <ref-law> in der bis 31. Dezember 2007 gültig gewesenen Fassung frühestens in dem Zeitpunkt der Fall, in dem der Versicherte mindestens zu 40 Prozent bleibend erwerbsunfähig (<ref-law>) geworden ist (lit. a) oder während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 Prozent arbeitsunfähig (<ref-law>) gewesen war (lit. b). Bei der Berechnung der durchschnittlichen Arbeitsunfähigkeit nach <ref-law> wird nach der Rechtsprechung eine Beeinträchtigung der Arbeitsfähigkeit im Umfang ab 20 % als erheblich angesehen (AHI 1998 S. 124 E. 3c).
3.3 Die im Zusammenhang mit der Frage der Eröffnung der Wartezeit getroffene Feststellung des kantonalen Gerichts, vor November 2004 sei keine Arbeitsunfähigkeit von mindestens 20 % ausgewiesen, ist offensichtlich unrichtig. Der behandelnde Psychiater hat die Krankheit als seit ca. 1995 bestehend bezeichnet und auf entsprechende Nachfrage der IV-Stelle hin am 13. Februar 2005 den Zeitpunkt, ab dem der Beschwerdeführer zu mindestens 20 % in seiner Arbeitsfähigkeit eingeschränkt war, auf Mai 1999 festgelegt. Diese beiden Aussagen, die unterschiedliche Fragen beantworten, stehen entgegen der Erwägung der Vorinstanz nicht in Widerspruch zueinander. Der Psychiater, auf dessen Einschätzung ansonsten sowohl die Vorinstanz als auch die IV-Stelle zu Recht abstellten, begründet durchaus plausibel, dass sich im Mai 1999 die Querulanz (als Symptom der Krankheit) massiv verschlimmert habe. Steht damit fest, dass der Beschwerdeführer ab Mai 1999 zu 20 % arbeitsunfähig wurde, ist die Erheblichkeitsschwelle von 20 %, welche die Wartezeit eröffnet (E. 3.2), zu diesem Zeitpunkt erreicht. Von diesem Grad der Arbeitsunfähigkeit ist bis am 26. November 2004 auszugehen, ab welchem Datum die Vorinstanz eine vollständige Einschränkung festgestellt hat.
3.4 Daraus lässt sich, Rz. 2017 f. des Kreisschreibens über Invalidität und Hilflosigkeit in der Invalidenversicherung (KSIH) und dessen Anhang II folgend, ohne Weiteres errechnen, dass die Wartezeit für den Anspruch auf eine Viertelsrente Ende Februar 2005 abgelaufen war (9 Monate zu 20 % und 3 Monate zu 100 %: Durchschnitt 40 %). Ende April 2005 lief die Wartezeit für eine halbe Rente ab (7 Monate zu 20 % und 5 Monate zu 100 %: Durchschnitt 53,33 %), Ende Mai jene für eine Dreiviertelsrente (6 Monate zu 20 % und 6 Monate zu 100 %: Durchschnitt 60 %) und schliesslich Ende Juli 2005 jene für eine ganze Rente (4 Monate zu 20 % und 8 Monate zu 100 %: Durchschnitt 73,33 %). Kann hier der Grad der Arbeitsunfähigkeit ausnahmseise mit der Erwerbsunfähigkeit gleichgesetzt werden, hat der Beschwerdeführer nach einem Prozentvergleich (vgl. dazu <ref-ruling> E. 2b S. 137) dementsprechend ab 1. März 2005 Anspruch auf eine Viertels-, ab 1. Mai 2005 auf eine halbe, ab 1. Juni 2005 auf eine Dreiviertels- und ab 1. August 2005 auf eine ganze Rente der Invalidenversicherung.
4. Der Vollständigkeit halber ist darauf hinzuweisen, dass ein, wie vom Beschwerdeführer beantragter, Rentenanspruch ab September 1999 aus prozessrechtlichen Gründen von vornherein nicht in Frage kommen kann. Nach Durchführung des Mahn- und Bedenkzeitverfahrens stellte die IV-Stelle mit Verfügung vom 26. März 2003 fest, dass der Beschwerdeführer in Verletzung der Schadenminderungspflicht auf Eingliederungsmassnahmen verzichtet hatte. Da die Rentenberechtigung nur bei fehlender Eingliederungsfähigkeit besteht (<ref-ruling>), verneinte sie im Einklang mit dem Rechtsgrundsatz "Eingliederung vor Rente" in der genannten Verfügung folgerichtig auch ausdrücklich einen Rentenanspruch. Auf die dagegen eingereichte Einsprache trat die IV-Stelle am 4. Juli 2003 nicht ein. Das kantonale Gericht wies die hiegegen erhobene Beschwerde mit Entscheid vom 29. Oktober 2003 ab und das Eidg. Versicherungsgericht (EVG) trat auf die dagegen eingereichte Verwaltungsgerichtsbeschwerde mit Urteil vom 16. Dezember 2003 nicht ein. Damit steht rechtskräftig fest, dass der Beschwerdeführer vor Sommer 2003 keinen Anspruch auf eine Rente hatte.
5. Die Gerichtskosten werden den unterliegenden Partein anteilsmässig auferlegt (<ref-law>). Der nicht anwaltlich vertretene Beschwerdeführer hat keinen Anspruch auf eine Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern vom 16. Oktober 2007 und der Einspracheentscheid der IV-Stelle Bern vom 3. April 2006 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. März 2005 Anspruch auf eine Viertels-, ab 1. Mai 2005 auf eine halbe, ab 1. Juni 2005 auf eine Dreiviertels- und ab 1. August 2005 auf eine ganze Rente der Invalidenversicherung hat. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer zu 4/5 und der Beschwerdegegnerin zu 1/5 auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, dem Bundesamt für Sozialversicherungen und der Ausgleichskasse des Kantons Bern schriftlich mitgeteilt.
Luzern, 9. Juni 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard