Sachverhalt: R._ (geb. 1942) beantragte am 29. Juli 2003 erstmals eine Invalidenrente. Mit Verfügung vom 30. September 2003 lehnte die IV-Stelle Schwyz dieses Gesuch ab. Daran hielt sie mit Einspracheentscheid vom 16. März 2004 fest. Auf Beschwerde von R._ hin widerrief die IV-Stelle Verfügung und Einspracheentscheid, worauf das Verwaltungsgericht des Kantons Schwyz am 13. Juli 2004 die Beschwerde als gegenstandslos geworden vom Geschäftsverzeichnis abschrieb. In der Folge lehnte die IV-Stelle das Rentengesuch mit Verfügung vom 13. September 2005 erneut ab. Auf Einsprache hin sprach die IV-Stelle R._ jedoch mit Eintscheid vom 1. Dezember 2005 eine ganze IV-Rente ab 1. August 2005 zu. Die gegen den Rentenbeginn gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 19. April 2006 ab. R._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die ganze Rente sei ihm mindestens ab 1. Januar 2001 zuzusprechen. Ferner ersucht er um unentgeltliche Verbeiständung. Das Verwaltungsgericht des Kantons Schwyz und die IV-Stelle schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.