Sachverhalt:
A. A.a Der 1950 geborene D._ war bis September 2002 teilzeitlich als Hilfsschreiner bei der Firma S._ angestellt. Nach krankheitsbedingten Absenzen ab September 2001 meldete er sich am 12. März 2002 (Posteingang) unter Hinweis auf chronische Rückenbeschwerden bei der Invalidenversicherung zum Rentenbezug an. Die Medizinische Abklärungsstelle (MEDAS) erstattete am 5. Mai 2003 im Auftrag der IV-Stelle des Kantons Schwyz ein polydisziplinäres Gutachten. Mit Verfügung vom 12. Dezember 2003 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente (Invaliditätsgrad: 28 %), welche sie im Ergebnis mit Einspracheentscheid vom 3. Oktober 2005 (Invaliditätsgrad: 35 %) bestätigte. Mit Entscheid vom 8. Februar 2006 wies das Verwaltungsgericht des Kantons Schwyz die Beschwerde von D._ ab. Das Bundesgericht hiess mit Urteil vom 4. April 2007 (I 251/06) die dagegen erhobene Beschwerde in dem Sinne gut, dass die Sache zur Einholung einer zusätzlichen fachärztlichen Expertise an die IV-Stelle zurückgewiesen wurde.
A.b Am 19. März 2008 erstattete die MEDAS im Auftrag der IV-Stelle ein weiteres Gutachten, in dem nebst somatischen Diagnosen eine leichtgradige depressive Episode mit somatischem Syndrom und eine leicht- bis mittelgradige Merkfähigkeitsstörung im Rahmen eines langjährigen Alkoholüberkonsums diagnostiziert wurde. Im Vorbescheid vom 13. Mai 2008 stellte die IV-Stelle eine halbe Invalidenrente ab 1. Februar 2007 in Aussicht (Invaliditätsgrad: 50 %). Mit Verfügung vom 7. Oktober 2008 bestätigte sie den Vorbescheid.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 26. März 2009 ab.
C. Mit Beschwerde lässt D._ die Abänderung des vorinstanzlichen Entscheides dahingehend beantragen, dass ihm bereits ab 1. September 2002, spätestens aber ab dem 1. März 2003, eine Invalidenrente zustehe. Eventualiter sei die Sache zu ergänzenden Abklärungen an die Beschwerdegegnerin zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 Die Frage nach dem Zeitpunkt des Eintritts der (invalidisierenden) Arbeitsunfähigkeit im Sinne von <ref-law> (in der bis 31. Dezember 2007 gültig gewesenen Fassung), ist eine Tatfrage (SVR 2008 BVG Nr. 34 S. 143, 9C_127/2008 E. 2.2; Urteil 9C_689/2008 vom 25. Februar 2009 E. 3.1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Als Rechtsfragen zu prüfen sind dagegen die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> (Urteil 9C_941/2008 vom 18. Februar 2009 E. 3.2 mit Hinweisen) sowie die auf allgemeine Lebenserfahrung gestützten Annahmen und Schlussfolgerungen (<ref-ruling> E. 3.2 S. 398 f.).
2. Unbestritten ist der Anspruch des Versicherten auf eine halbe Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 50 %. Streitig und zu prüfen ist der Zeitpunkt der Eröffnung der Wartezeit und damit der Rentenbeginn (vgl. <ref-law> in der bis 31. Dezember 2007 gültig gewesenen Fassung, heute <ref-law>). Dieser hängt im vorliegenden Fall vom Eintritt der Arbeitsunfähigkeit des psychischen Leidens ab. Im angefochtenen Entscheid werden insbesondere die Bestimmungen über den Begriff der Arbeitsunfähigkeit (<ref-law>) und der Invalidität (<ref-law>), den Beginn des Rentenanspruchs (aArt. 29 Abs. 1 IVG) und dessen Umfang (aArt. 28 Abs. 1 IVG) sowie die Grundsätze hinsichtlich des Beweiswertes ärztlicher Berichte (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz ist unter Hinweis auf zwei Stellungnahmen von Dr. med. G._ vom Regionalen Ärztlichen Dienst (RAD) und den Berichten der Psychiatrischen Klinik Z._ aus den Jahren 2005, 2006 und 2007 von einem Anspruch auf eine halbe Invalidenrente ab Februar 2007 ausgegangen. Sie wies darauf hin, eine leichte depressive Episode mit somatischen Symptomen (ICD-10: F32.01) alleine sei grundsätzlich nicht geeignet eine leistungsspezifische Invalidität zu begründen. Für die Bemessung der Arbeitsunfähigkeit sei die leicht- bis mittelgradige Merkfähigkeitsstörung im Rahmen des langjährigen Alkoholüberkonsums (ICD-10: F10.74) relevant. Im MEDAS-Gutachten 2003 sei eine Merkfähigkeitsstörung explizit ausgeschlossen und erst im MEDAS-Gutachten 2008 diagnostiziert worden. Zuvor in den Jahren 2005 und 2006 seien bei Austritt aus der Psychiatrischen Klinik Z._ noch keine Hinweise auf Konzentrations- oder Gedächtnisstörungen vorhanden gewesen und erstmals anlässlich der Hospitalisation ab Februar 2007 festgehalten worden.
3.2 Der Beschwerdeführer rügt hingegen eine offensichtlich unrichtige Feststellung des Sachverhalts. Die Einschätzung von Dr. med. G._ sei eine reine Mutmassung, welche aktenwidrig sei. Seine Angaben entsprächen nicht dem Beweisgrad der überwiegenden Wahrscheinlichkeit und seine Berichte nicht den Beweisanforderungen an einen Arztbericht. Es sei dem MEDAS-Gutachten vom 19. März 2008 folgend von einem Rentenanspruch bereits ab 1. September 2002, spätestens ab 1. März 2003 auszugehen. Zumindest hätten ergänzende medizinische Abklärungen angeordnet werden müssen, wenn nicht dem Gutachten der MEDAS aus dem Jahr 2008 gefolgt werde.
3.2 Der Beschwerdeführer rügt hingegen eine offensichtlich unrichtige Feststellung des Sachverhalts. Die Einschätzung von Dr. med. G._ sei eine reine Mutmassung, welche aktenwidrig sei. Seine Angaben entsprächen nicht dem Beweisgrad der überwiegenden Wahrscheinlichkeit und seine Berichte nicht den Beweisanforderungen an einen Arztbericht. Es sei dem MEDAS-Gutachten vom 19. März 2008 folgend von einem Rentenanspruch bereits ab 1. September 2002, spätestens ab 1. März 2003 auszugehen. Zumindest hätten ergänzende medizinische Abklärungen angeordnet werden müssen, wenn nicht dem Gutachten der MEDAS aus dem Jahr 2008 gefolgt werde.
3.3 3.3.1 Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie, diagnostizierte im Konsiliarbericht vom 5. Januar 2008 zum MEDAS-Gutachten vom 19. März 2008 mit Auswirkungen auf die Arbeitsfähigkeit eine leichtgradige depressive Episode mit somatischem Syndrom (ICD 10-F32.01) und eine leicht- bis mittelgradige Merkfähigkeitsstörung im Rahmen eines längjährigen Alkoholüberkonsums (ICD10-F10.74). Der Beschwerdeführer sei in einer der körperlichen Belastbarkeit angepassten Tätigkeit noch zu 60 % arbeitsfähig. Zur Frage nach dem Beginn der Arbeitsunfähigkeit verwies er auf das MEDAS-Gutachten aus dem Jahr 2003. Der Hauptbefund im psychopathologischen Untersuch sei die Merkfähigkeitsstörung. Im Unterschied zum Vorgutachter Dr. med. B._ sei er der Meinung, dass Grad und Intensität der depressiven Störung zu wenig ausgeprägt seien, um eine Arbeitsunfähigkeit alleine durch die Depression zu begründen. Die depressive Störung habe sich nach seiner Meinung seit der letzten Begutachtung nicht verschlimmert.
3.3.2 Dr. med. G._, Facharzt für Allgemeinmedizin vom RAD, wies in seiner Stellungnahme vom 18. April 2008 darauf hin, dass das zentrale Problem die hirnorganische Beeinträchtigung des Beschwerdeführers sei. Diese Störungen seien erstmals anlässlich der Hospitalisation in der Psychiatrischen Klinik Z._ im Februar 2007 im wesentlichen Ausmass festgehalten worden, weshalb eine anhaltende Verschlechterung ab diesem Zeitpunkt bestehe. In einer weiteren Stellungnahme vom 17. Juni 2008 nahm Dr. med. G._ noch einmal Stellung zum Zeitpunkt des Eintritts der Arbeitsunfähigkeit. Er verwies auf die Berichte der Psychiatrischen Klinik Z._ aus den Jahren 2005 und 2006, in denen beim Austritt keine neuropsychologischen Einschränkungen festgestellt wurden, und auf den Bericht der Psychiatrischen Klinik Z._ aus dem Jahr 2007, wo die Ärzte erstmals eine verminderte kognitive Leistungsfähigkeit festhielten. Es gehe hier klar um einen langsam progredienten Gesundheitsschaden. Die Festlegung eines Fixpunktes einer Verschlechterung sei vorliegend sicherlich nicht einfach. Die einschneidenste Verschlechterung im langen Verlauf seit 2002 werde jedoch im Bericht der Psychiatrischen Klinik Z._ 2007 festgehalten. Fixpunkt für die Verschlechterung sei mit überwiegender Wahrscheinlichkeit somit die Hospitalisation im Februar 2007 gewesen.
3.3.2 Dr. med. G._, Facharzt für Allgemeinmedizin vom RAD, wies in seiner Stellungnahme vom 18. April 2008 darauf hin, dass das zentrale Problem die hirnorganische Beeinträchtigung des Beschwerdeführers sei. Diese Störungen seien erstmals anlässlich der Hospitalisation in der Psychiatrischen Klinik Z._ im Februar 2007 im wesentlichen Ausmass festgehalten worden, weshalb eine anhaltende Verschlechterung ab diesem Zeitpunkt bestehe. In einer weiteren Stellungnahme vom 17. Juni 2008 nahm Dr. med. G._ noch einmal Stellung zum Zeitpunkt des Eintritts der Arbeitsunfähigkeit. Er verwies auf die Berichte der Psychiatrischen Klinik Z._ aus den Jahren 2005 und 2006, in denen beim Austritt keine neuropsychologischen Einschränkungen festgestellt wurden, und auf den Bericht der Psychiatrischen Klinik Z._ aus dem Jahr 2007, wo die Ärzte erstmals eine verminderte kognitive Leistungsfähigkeit festhielten. Es gehe hier klar um einen langsam progredienten Gesundheitsschaden. Die Festlegung eines Fixpunktes einer Verschlechterung sei vorliegend sicherlich nicht einfach. Die einschneidenste Verschlechterung im langen Verlauf seit 2002 werde jedoch im Bericht der Psychiatrischen Klinik Z._ 2007 festgehalten. Fixpunkt für die Verschlechterung sei mit überwiegender Wahrscheinlichkeit somit die Hospitalisation im Februar 2007 gewesen.
3.4 3.4.1 Die Beurteilung von Dr. med. F._ im Rahmen der MEDAS-Begutachtung aus dem Jahr 2008 erweist sich in Bezug auf die Bestimmung des Beginns der von ihm bescheinigten Arbeitsunfähigkeit als nicht schlüssig. Er verweist hierzu auf das MEDAS-Gutachten aus dem Jahr 2003. Einerseits führt er die Arbeitsunfähigkeit auf die von ihm diagnostizierte leicht- bis mittelgradige Merkfähigkeitsstörung zurück, während die zusätzlich bescheinigte leichtgradige depressive Episode mit somatischem Syndrom, nach seinen Angaben, für sich keine Arbeitsunfähigkeit begründet (vgl. dazu auch Urteil I 251/06 vom 4. April 2007 E. 3.3.1), andererseits diagnostizierten die Ärzte im MEDAS-Gutachten aus dem Jahr 2003 gerade keine Merkfähigkeitsstörung. Im Gegenteil hielt der damalige Gutachter Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie, fest, im untersuchenden Gespräch habe er beim Beschwerdeführer keine Anhaltspunkte für das Bestehen mnestischer, ins Gewicht fallender intellektueller oder gar psychotischer Störungen feststellen können.
3.4.2 Die Beschwerdegegnerin hat zu Recht weitere Abklärungen zur Bestimmung des Zeitpunkts eines relevanten Auftretens der Merkfähigkeitsstörung vorgenommen. Dr. med. G._ gab hierzu am 17. Juni 2008 eine Beurteilung ab. Diese begründete er mit dem Hinweis auf die Berichte der Psychiatrischen Klinik Z._ anlässlich der stationären Aufenthalte vom 25. November 2004 bis 26. Februar 2005 und vom 3. März bis 15. April 2006, in denen die psychiatrischen Fachärzte ausdrücklich "keine Konzentrationsstörungen, keine Gedächtnisstörung" bzw. "keine Hinweise auf Störung der Konzentration, Merkfähigkeit, Auffassung oder des Gedächtnisses" angaben. Hingegen stellten die Ärzte erstmals bei der Hospitalisation vom 28. Februar bis 26. April 2007 eine deutlich unter der Norm liegende kognitive Leistungsfähigkeit fest, weshalb Dr. med. G._ den Beginn der Arbeitsunfähigkeit überwiegend wahrscheinlich auf Februar 2007 festlegte.
3.4.3 Bei der Beurteilung von Dr. med. G._ handelt es sich nicht um eine aktenwidrige, unbegründete Mutmassung, wie eingewendet wird, sondern um eine durch medizinische Akten gestützte, schlüssig begründete Beurteilung. Soweit Dr. med. F._ anlässlich des MEDAS-Gutachtens im Jahr 2008 angibt, aufgrund der Aktenlage gehe er davon aus, dass die Merkfähigkeitsstörung schon 2003 bestanden habe, findet diese Aussage hingegen nach dem Dargelegten keine Stütze in den Akten und sie widerspricht sowohl den Angaben der MEDAS aus dem Jahr 2003 als auch den später erhobenen Befunden der Psychiatrischen Klinik Z._ in den Jahren 2005 und 2006. Das MEDAS-Gutachten aus dem Jahr 2008 entspricht in Bezug auf die Frage des Beginns der Merkfähigkeitsstörung nicht den von der Rechtsprechung gestellten Anforderungen an einen Arztbericht (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352), da die Schlussfolgerung in diesem Punkt nicht begründet ist und den übrigen Akten widerspricht. Im Urteil I 251/06 vom 4. April 2007 wurde dem psychiatrischen Teilgutachten der MEDAS aus dem Jahr 2003 nicht gefolgt. Dies lag zum einen am Widerspruch zwischen der damals gestellten Diagnose und den bescheinigten Auswirkungen auf die Arbeitsfähigkeit sowie am Widerspruch zur Beurteilung der Psychiatrischen Klinik Z._. Die Erhebungen der Befunde durch den MEDAS-Gutachter Dr. med. B._ aus dem Jahr 2003 waren hingegen nicht der Grund für die Rückweisung zur erneuten Abklärung durch das Bundesgericht. Die damalige Befunderhebung, insbesondere die ausdrückliche Feststellung, dass keine mnestischen Störungen vorlagen, kann daher bei einer späteren Beurteilung berücksichtigt werden. Dr. med. G._ gab in seiner Beurteilung vom 17. Juni 2008 auch die Gründe an, weshalb bei den jeweiligen Klinikaufenthalten der Status bei Austritt massgebend ist. So sollen nicht die kognitiven Beeinträchtigungen während eines laufenden Alkoholmissbrauchs gemessen werden, was beim Beschwerdeführer beim Eintritt in die Psychiatrische Klinik Z._ in den Jahren 2004 und 2006 jeweils der Fall war. Durch den Alkoholmissbrauch könnten die Beeinträchtigungen ziemlich ausgeprägt, jedoch auch teilweise reversibel sein. Erst nach durchgeführtem Entzug könne das Ausmass des irreversiblen Folgeschadens quantifiziert werden. Auch in diesem Punkt erweist sich die Beurteilung von Dr. med. G._ als begründet und schlüssig. Mit der Beurteilung des Eintritts der Arbeitsunfähigkeit durch Dr. med. G._ ist die Beschwerdegegnerin damit der hinreichenden Abklärung des Sachverhaltes im Rahmen des Untersuchungsgrundsatzes nachgekommen. Die Sachverhaltsfeststellung der Vorinstanz erweist sich nicht als offensichtlich unrichtig. Die Beschwerde ist demgemäss abzuweisen.
4. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Rechtsvertretung) kann entsprochen werden, da die entsprechenden Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu imstande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Willi Füchslin wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Oktober 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner