Sachverhalt:
R._ (geb. 1942) beantragte am 29. Juli 2003 erstmals eine Invalidenrente. Mit Verfügung vom 30. September 2003 lehnte die IV-Stelle Schwyz dieses Gesuch ab. Daran hielt sie mit Einspracheentscheid vom 16. März 2004 fest. Auf Beschwerde von R._ hin widerrief die IV-Stelle Verfügung und Einspracheentscheid, worauf das Verwaltungsgericht des Kantons Schwyz am 13. Juli 2004 die Beschwerde als gegenstandslos geworden vom Geschäftsverzeichnis abschrieb.
In der Folge lehnte die IV-Stelle das Rentengesuch mit Verfügung vom 13. September 2005 erneut ab. Auf Einsprache hin sprach die IV-Stelle R._ jedoch mit Eintscheid vom 1. Dezember 2005 eine ganze IV-Rente ab 1. August 2005 zu.
Die gegen den Rentenbeginn gerichtete Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 19. April 2006 ab.
R._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, die ganze Rente sei ihm mindestens ab 1. Januar 2001 zuzusprechen. Ferner ersucht er um unentgeltliche Verbeiständung.
Das Verwaltungsgericht des Kantons Schwyz und die IV-Stelle schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Eidgenössische Versicherungsgericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung beim Eidgenössischen Versicherungsgericht hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 beim Eidgenössischen Versicherungsgericht hängig war, richtet sich dessen Kognition noch nach Art. 132 Abs. 1 OG.
1. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Eidgenössische Versicherungsgericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung beim Eidgenössischen Versicherungsgericht hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 beim Eidgenössischen Versicherungsgericht hängig war, richtet sich dessen Kognition noch nach Art. 132 Abs. 1 OG.
2. Die Vorinstanz hat die gesetzlichen Vorschriften zu den Begriffen der Arbeits- (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), zur Invalidität (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>), zum Rentenbeginn (<ref-law>) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) richtig dargelegt. Darauf wird verwiesen.
2. Die Vorinstanz hat die gesetzlichen Vorschriften zu den Begriffen der Arbeits- (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), zur Invalidität (<ref-law>), zum Umfang des Rentenanspruchs (<ref-law>), zum Rentenbeginn (<ref-law>) und zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (<ref-law>) richtig dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist der Rentenbeginn.
3.1 Die Vorinstanz kam auf Grund einer eingehenden und zutreffenden Würdigung der medizinischen Aktenlage zum Schluss, dass eine relevante Arbeitsunfähigkeit ab 10. August 2004 ausgewiesen und der Rentenanspruch damit nach Ablauf der gesetzlichen Wartezeit von einem Jahr im August 2005 entstanden sei. Der Versicherte habe sich ab 10. August 2004 in der Psychiatrischen Klinik O._ aufgehalten. Auf dieses Datum habe sich auch der Regionale ärztliche Dienst abgestützt. Selbst wenn sich der depressive Zustand in der vorausgegangenen Zeit schleichend entwickelt habe, sei eine nachvollziehbare andere Rückdatierung des Beginns der Arbeitsunfähigkeit nicht möglich. Auf diese korrekte Beweiswürdigung des kantonalen Gerichts wird verwiesen.
3.2 Was der Beschwerdeführer hiegegen einwenden lässt, ist nicht stichhaltig. Will er eine ganze IV-Rente ab 1. Januar 2001 erhalten, müsste spätestens seit Anfang 2000 eine erhebliche Arbeitsunfähigkeit ausgewiesen sein, auf Grund welcher ab Januar 2001 mindestens eine Invalidität von 66 2/3% (<ref-law> in der damals gültig gewesenen Fassung) hätte eintreten müssen. Solches lässt sich aus den medizinischen Akten nicht herauslesen. Namentlich sind keine echtzeitlichen Unterlagen vorhanden, datieren doch die ärztlichen Berichte entweder von 1992 und früher oder von 2003 und später. Laut Bericht des Dr. V._, Arzt für Allgemeine Medizin FMH, vom 10. September 2003 sei bisher keine Arbeitsunfähigkeit diskutiert oder attestiert worden. Der Arzt zeigte sich "überrascht" von der IV-Anmeldung. Auch das Spital N._ gab im Bericht vom 5. September 2003 an, es sei bislang keine Arbeitsfähigkeit (recte: Arbeitsunfähigkeit) bestätigt worden. Im Bericht vom 19. April 2004 führte Dr. V._ aus, dass die Beeinträchtigungen bezüglich der früheren Tätigkeit ab Juni 2001 "zunehmend manifest" geworden seien. Daraus lässt sich im Zusammenhang mit dem erwähnten Bericht vom 10. September 2003 keine Invalidität von 66 2/3% ab August 2001 ableiten. Dr. V._ schätzte zudem im selben Bericht die Arbeitsfähigkeit in einem Büro auf 50% und beantragte eine genauere Abklärung in einer Medas. Dr. med. A._, Spezialarzt für Neurologie FMH, sprach im Bericht vom 8. November 2004 von einer "aktuellen" Arbeitsunfähigkeit und äusserte Besserungsmöglichkeiten mit einer psychiatrischen Behandlung. Zwar nannte er die Diagnosen der vertebrobasilären Insuffizienz und der Depression mit Auswirkungen auf die Arbeitsfähigkeit, welche seit 2000 beständen. Indessen wird die konkrete Einschränkung der Arbeitsfähigkeit nirgends spezifiziert und befindet sich der Beschwerdeführer erst seit 5. Juni 2003 in Behandlung bei diesem Arzt. Aus dem genannten Bericht lässt sich daher für die Jahre 2000/2001 nichts ableiten. Die Psychiatrische Klinik O._ gab im Bericht vom 13. Dezember 2004 an, seit 10. August 2004 bestehe eine Arbeitsunfähigkeit von 100%. Diese blieb gemäss Bericht des Dr. med. W._, FMH Psychiatrie und Psychotherapie, vom 12. Oktober 2005 seit der Entlassung aus der genannten Klinik bestehen. Eine Arbeitsunfähigkeit in den Jahren 2000 und 2001 lässt sich diesem Bericht nicht entnehmen. Damit ist ungeachtet der vereinzelten Hinweise auf frühere gesundheitliche Probleme kein Beginn einer Invalidität in rentenberechtigendem Ausmass vor August 2005 rechtsgenüglich belegt. Zusätzliche Abklärungen über einen mehrere Jahre zurückliegenden Gesundheitszustand vermöchten sodann keine neuen Erkenntnisse zu bringen, weshalb es beim kantonalen Entscheid sein Bewenden haben muss.
3.2 Was der Beschwerdeführer hiegegen einwenden lässt, ist nicht stichhaltig. Will er eine ganze IV-Rente ab 1. Januar 2001 erhalten, müsste spätestens seit Anfang 2000 eine erhebliche Arbeitsunfähigkeit ausgewiesen sein, auf Grund welcher ab Januar 2001 mindestens eine Invalidität von 66 2/3% (<ref-law> in der damals gültig gewesenen Fassung) hätte eintreten müssen. Solches lässt sich aus den medizinischen Akten nicht herauslesen. Namentlich sind keine echtzeitlichen Unterlagen vorhanden, datieren doch die ärztlichen Berichte entweder von 1992 und früher oder von 2003 und später. Laut Bericht des Dr. V._, Arzt für Allgemeine Medizin FMH, vom 10. September 2003 sei bisher keine Arbeitsunfähigkeit diskutiert oder attestiert worden. Der Arzt zeigte sich "überrascht" von der IV-Anmeldung. Auch das Spital N._ gab im Bericht vom 5. September 2003 an, es sei bislang keine Arbeitsfähigkeit (recte: Arbeitsunfähigkeit) bestätigt worden. Im Bericht vom 19. April 2004 führte Dr. V._ aus, dass die Beeinträchtigungen bezüglich der früheren Tätigkeit ab Juni 2001 "zunehmend manifest" geworden seien. Daraus lässt sich im Zusammenhang mit dem erwähnten Bericht vom 10. September 2003 keine Invalidität von 66 2/3% ab August 2001 ableiten. Dr. V._ schätzte zudem im selben Bericht die Arbeitsfähigkeit in einem Büro auf 50% und beantragte eine genauere Abklärung in einer Medas. Dr. med. A._, Spezialarzt für Neurologie FMH, sprach im Bericht vom 8. November 2004 von einer "aktuellen" Arbeitsunfähigkeit und äusserte Besserungsmöglichkeiten mit einer psychiatrischen Behandlung. Zwar nannte er die Diagnosen der vertebrobasilären Insuffizienz und der Depression mit Auswirkungen auf die Arbeitsfähigkeit, welche seit 2000 beständen. Indessen wird die konkrete Einschränkung der Arbeitsfähigkeit nirgends spezifiziert und befindet sich der Beschwerdeführer erst seit 5. Juni 2003 in Behandlung bei diesem Arzt. Aus dem genannten Bericht lässt sich daher für die Jahre 2000/2001 nichts ableiten. Die Psychiatrische Klinik O._ gab im Bericht vom 13. Dezember 2004 an, seit 10. August 2004 bestehe eine Arbeitsunfähigkeit von 100%. Diese blieb gemäss Bericht des Dr. med. W._, FMH Psychiatrie und Psychotherapie, vom 12. Oktober 2005 seit der Entlassung aus der genannten Klinik bestehen. Eine Arbeitsunfähigkeit in den Jahren 2000 und 2001 lässt sich diesem Bericht nicht entnehmen. Damit ist ungeachtet der vereinzelten Hinweise auf frühere gesundheitliche Probleme kein Beginn einer Invalidität in rentenberechtigendem Ausmass vor August 2005 rechtsgenüglich belegt. Zusätzliche Abklärungen über einen mehrere Jahre zurückliegenden Gesundheitszustand vermöchten sodann keine neuen Erkenntnisse zu bringen, weshalb es beim kantonalen Entscheid sein Bewenden haben muss.
4. Das Verfahren ist kostenlos (Art. 134 OG in der bis Ende Juni 2006 gültig gewesenen Fassung). Die unentgeltliche Verbeiständung kann gewährt werden, da die entsprechenden Voraussetzungen (dazu <ref-ruling> Erw. 4a) erfüllt sind. Der Beschwerdeführer wird aber auf Art. 152 Abs. 3 OG hingewiesen, wonach er dem Gericht Ersatz zu leisten haben wird, falls er dereinst dazu im Stande sein sollte.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Zufolge Gewährung der unentgeltlichen Rechtspflege wird Rechtsanwalt Dr. Domenico Acocella, Schwyz, für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
3. Zufolge Gewährung der unentgeltlichen Rechtspflege wird Rechtsanwalt Dr. Domenico Acocella, Schwyz, für das Verfahren vor dem Eidgenössischen Versicherungsgericht aus der Gerichtskasse eine Entschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 7. Dezember 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Der Gerichtsschreiber: