Sachverhalt:
A. A.a Aufgrund eines rechtskräftigen Einspracheentscheides der IV-Stelle des Kantons Thurgau vom 1. Februar 2007 bezog der 1974 geborene N._ ab 1. November 2003 bis 30. November 2006 eine ganze Invalidenrente. Der Entscheid stützte sich im Wesentlichen auf ein Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 5. Januar 2007, in welchem als Hauptdiagnosen ein chronisches panvertebrales und thoracales Schmerzsyndrom, eine undifferenzierte Somatisierungsstörung sowie eine Störung der Persönlichkeitsentwicklung mit narzisstischen und histrionischen Anteilen festgehalten und aus somatischer Sicht keine Arbeitsunfähigkeit, aus psychiatrischer Sicht höchstens eine solche von 30% attestiert worden waren.
A.b Am 25. Januar 2009 meldete sich N._ erneut bei der Invalidenversicherung zum Leistungsbezug an, da sich sein Gesundheitszustand seit Sommer 2008 erheblich verschlechtert habe. Die IV-Stelle tätigte verschiedene Abklärungen. Im eingeholten polydisziplinären Gutachten der MEDAS vom 7. Mai 2010 wurde eine Verschlechterung des psychischen Gesundheitszustandes festgehalten und eine Arbeitsunfähigkeit von 50% attestiert. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle N._ mit Verfügung vom 4. Juli 2011 rückwirkend ab 1. Juli 2009 eine halbe Invalidenrente zu.
B. Die hiegegen erhobene Beschwerde, mit welcher N._ die Zusprechung einer ganzen Invalidenrente und die anteilsmässige Auszahlung der seit 2009 ausstehenden Rente im Betrag von Fr. 20'000.- sowie einer Entschädigung für Unannehmlichkeiten und Administrativaufwand im Betrag von Fr. 5'000.- beantragte, hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 26. Oktober 2011 teilweise gut, hob die Verfügung vom 4. Juli 2011 auf und stellte fest, dass N._ bereits ab 1. September 2008 Anspruch auf eine halbe Invalidenrente habe.
C. C.a Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, in Aufhebung des Entscheids des Verwaltungsgerichts des Kantons Thurgau vom 26. Oktober 2011 sei festzustellen, dass der Versicherte ab 1. Januar 2009 Anspruch auf eine halbe Invalidenrente habe. Sie ersucht zudem um Gewährung der aufschiebenden Wirkung.
N._ lässt auf Abweisung der Beschwerde und des Gesuchs um aufschiebende Wirkung schliessen und um Gewährung der unentgeltlichen Rechtspflege ersuchen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
C.b N._ lässt ebenfalls Beschwerde erheben und beantragen, in Aufhebung des angefochtenen Entscheids sei ihm eine ganze Invalidenrente seit September 2008, eventualiter eine höhere als die einer 50%igen Erwerbsunfähigkeit entsprechende Rente zuzusprechen, subeventualiter sei die Sache zwecks Einholung eines polydisziplinären Gutachtens an die Vorinstanz zurückzuweisen, schliesslich seien die ihm von der Vorinstanz auferlegten Gerichtskosten von Fr. 500.- der IV-Stelle anzulasten. Er ersucht zudem um Gewährung der unentgeltlichen Rechtspflege. Ein Schriftenwechsel wurde nicht durchgeführt.
D. Mit Verfügung vom 12. April 2012 hat das Bundesgericht der Beschwerde der IV-Stelle die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Da den beiden Beschwerden derselbe Sachverhalt zugrunde liegt, sich die gleichen Rechtsfragen stellen und die Rechtsmittel den nämlichen vorinstanzlichen Entscheid betreffen, rechtfertigt es sich, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (<ref-ruling> E. 1 S. 126 mit Hinweisen).
2. 2.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 2.1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_665/2011 vom 21. November 2011 E. 2.2 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
3. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
Die für die Beurteilung des geltend gemachten Rentenanspruchs massgebenden gesetzlichen Bestimmungen und die von der Rechtsprechung weiter konkretisierten Grundsätze dazu sind im vorinstanzlichen Entscheid zutreffend dargelegt. Dies gilt insbesondere auch für die Rechtsprechung zur Aufgabe des Arztes oder der Ärztin bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 f. mit Hinweisen) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis; vgl. auch <ref-ruling> E. 4.3 S. 468 ff. und 137 V 210 E. 1.3.4. S. 227). Darauf wird verwiesen.
4. Was zunächst die Höhe des Rentenanspruchs betrifft, gelangte das kantonale Gericht in Würdigung der medizinischen Aktenlage, namentlich gestützt auf das MEDAS-Gutachten vom 7. Mai 2010, aber auch auf die Berichte des Dienstes X._ vom 9. Juli 2009 sowie des behandelnden Arztes Dr. med. S._ vom 18. September 2009, zum Schluss, dass sich der psychische Zustand des Versicherten ab September 2008 verschlechtert habe und seither eine 50%ige Arbeitsunfähigkeit vorliege, wobei die Einschränkung auf dieselbe Erkrankung zurückzuführen sei, die bereits von November 2003 bis November 2006 einen Rentenanspruch ausgelöst habe. Die Vorinstanz zeigte auf, dass der von der IV-Stelle vorgenommene, durch den Versicherten nicht beanstandete Einkommensvergleich - selbst bei Zugrundelegung des Einkommens eines Malers als Valideneinkommen sowie bei Gewährung eines leidensbedingten Abzuges von 10% - Anspruch auf eine halbe Rente ergebe.
4.1 Soweit der Versicherte zunächst formelle Einwendungen gegen das MEDAS-Gutachten vom 7. Mai 2010 erhebt und eine Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) einschliesslich einer Missachtung des Untersuchungsgrundsatzes (Art. 61 lit. c ATSG) rügt, kann dem nicht beigepflichtet werden. In Nachachtung seiner Pflicht zu umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) hat das kantonale Gericht willkürfrei dargelegt, dass das Gutachten vom 7. Mai 2010 als voll beweiskräftig einzustufen ist.
4.1.1 In <ref-ruling> E. 6 S. 266 hat das Bundesgericht - worauf die Vorinstanz zutreffend hinweist - bestätigt, die Anwendbarkeit der von der Rechtsprechung erarbeiteten Grundsätze auf laufende Verfahren bedeute nicht, dass nach altem Verfahrensstandard eingeholte Gutachten ihren Beweiswert per se verlören. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob das abschliessende Abstellen auf die vorhandenen Beweisgrundlagen im angefochtenen Entscheid vor Bundesrecht stand hält.
4.1.2 Dies trifft hier zu. Die Beauftragung einer MEDAS ist verfassungskonform und rechtsprechungsgemäss auch mit der Europäischen Menschenrechtskonvention vereinbar (<ref-ruling> E. 2.1 bis 2.3 S. 229 ff.). Richtig ist wohl, dass das Bundesgericht in diesem Urteil in Änderung der Rechtsprechung erkannt hat, die MEDAS-Begutachtung müsse mittels erstinstanzlich anfechtbarer Zwischenverfügung angeordnet werden (E. 3.4.2.6 S. 256) und die versicherte Person sei befugt, vorgängig zu den Gutachterfragen Stellung zu nehmen und entsprechende Ergänzungsfragen zu stellen (E. 3.4.2.9 S. 258). Dass die Vorgehensweise der Verwaltung in diesen beiden Punkten mit den Vorgaben der am 28. Juni 2011 geänderten Rechtsprechung nicht übereinstimmt, steht fest. Abgesehen davon, dass dazu nach dem damaligen Stand der Rechtsprechung kein Anlass bestand, legt der Versicherte nicht dar, welche zusätzlichen Fragen noch zu unterbreiten gewesen wären. Zutreffend ist sodann, dass der versicherten Person vorgängig mitzuteilen gewesen wäre, von wem eine Begutachtung durchgeführt wird, dies frühzeitig genug, damit sie in der Lage gewesen wäre, noch vor der eigentlichen Begutachtung ihre Mitwirkungsrechte wahrzunehmen. Unbestritten ist, dass dem Versicherten seitens der MEDAS lediglich eine Liste der für sie tätigen Gutachter zugestellt worden war, ohne die an der Begutachtung beteiligten Ärzte zu spezifizieren. Indessen ist zu beachten, dass der Versicherte nach Vorliegen des Gutachtens vom 7. Mai 2010 weder im Verwaltungsverfahren noch im vorinstanzlichen Beschwerdeverfahren noch letztinstanzlich konkrete gesetzliche Ausstands- und/oder Ablehnungsgründe gegen die Gutachter vorbrachte und entsprechende Rügen ohnehin verwirkt wären (<ref-ruling> E. 7.4.2 S. 112; Urteil 8C_711/2010 vom 14. Januar 2011 E. 3.3.2). Es liegen weder eine Gehörsverletzung noch eine Missachtung des Untersuchungsgrundsatzes vor.
4.2 Entscheidwesentlich ist des Weiteren, ob konkrete Indizien gegen die Zuverlässigkeit des im Rahmen des Verwaltungsverfahrens eingeholten Gutachtens der MEDAS sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 3b/bb S. 353).
4.2.1 Unbestritten ist der Zeitpunkt der Verschlechterung des Gesundheitszustandes ab September 2008.
4.2.2 Was die Höhe der seitherigen Arbeitsunfähigkeit anbelangt, gehen MEDAS und Dienst X._, wo der Versicherte seit September 2008 wieder in psychotherapeutischer Behandlung steht, von einer 50%igen Arbeitsfähigkeit in einer leidensadaptierten Tätigkeit aus. Der Versicherte beruft sich demgegenüber auf Berichte seines Hausarztes Dr. med. S._, welcher ihm eine 30%ige Arbeitsfähigkeit in einer leichten leidensangepassten Tätigkeit attestiere. Dies vermag eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellungen indessen nicht zu begründen, zumal sich das kantonale Gericht dazu eingehend geäussert und namentlich dargelegt hat, dass es Dr. med. S._ an der fachlichen Qualifikation zur Beurteilung des psychischen Gesundheitszustandes fehle und er sich weder mit dem MEDAS-Gutachten noch mit der Beurteilung durch den Dienst X._ auseinandergesetzt, sondern lediglich unbegründete Arbeitsunfähigkeitszeugnisse ausgestellt habe. Das Bundesgericht ist deshalb an die vorinstanzliche Sachverhaltsfeststellung gebunden.
4.3 Zusammenfassend ist das nach altem Verfahrensstand eingeholte MEDAS-Gutachten vom 7. Mai 2010, soweit vom Bundesgericht in Anbetracht der eingeschränkten Kognition anhand der vorgebrachten Einwände zu überprüfen, weder in formeller noch in materieller Hinsicht zu beanstanden. Im Rahmen der freien, pflichtgemässen Würdigung der Beweise durch die Vorinstanz ergab sich ein nachvollziehbares und schlüssiges Bild des Gesundheitszustandes, das nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit hinreichende Klarheit über den rechtserheblichen Sachverhalt vermittelt, weshalb ihre Sachverhaltsfeststellung bundesrechtskonform ist. Von weiteren medizinischen Abklärungen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 5.2 S. 69, 136 I 229 E. 5.3 S. 236; Urteil 8C_838/2011 vom 20. März 2012 E. 4.2).
4.4 Auch die Einwendungen des Versicherten zum vorgenommenen Einkommensvergleich vermögen den vorinstanzlichen Entscheid nicht als offensichtlich unrichtig oder bundesrechtswidrig erscheinen zu lassen. Das kantonale Gericht hat entgegen der Behauptung des Versicherten - obwohl keine Beanstandungen zum Einkommensvergleich der IV-Stelle erhoben worden waren - eine Überprüfung desselben vorgenommen. Es hat aufgezeigt, dass sich auch bei der Zugrundelegung des Lohnes eines Malers als Valideneinkommen und bei Gewährung eines 10%igen leidensbedingten Abzuges kein höherer Rentenanspruch ergebe.
4.4.1 Soweit der Versicherte betreffend Valideneinkommen einen beruflichen Aufstieg im Gesundheitsfall geltend macht, ist ihm entgegen zu halten, dass die Frage, welche berufliche Tätigkeit die versicherte Person ohne gesundheitliche Beeinträchtigung ausüben würde, als Beurteilung hypothetischer Geschehensabläufe eine Tatfrage darstellt, soweit sie auf Beweiswürdigung beruht, selbst wenn darin auch Schlussfolgerungen aus der allgemeinen Lebenserfahrung berücksichtigt werden (SVR 2010 IV Nr. 49 S. 151, 9C_85/2009 E. 3.4). Die Feststellung der Vorinstanz bleibt daher für das Bundesgericht grundsätzlich verbindlich, ausser sie sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (E. 2.1), wofür vorliegend keine Anhaltspunkte vorliegen.
4.4.2 Das Invalideneinkommen wurde korrekterweise für eine 50%ige, nicht für eine 30%ige Tätigkeit ermittelt. Die Höhe des im konkreten Fall grundsätzlich angezeigten Leidensabzuges ist eine Ermessensfrage, deren Beantwortung letztinstanzlicher Korrektur nurmehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 S. 399). Da keine rechtsfehlerhafte Ermessensausübung erkennbar ist, ist eine Erhöhung des leidensbedingten Abzuges entgegen den Einwendungen des Versicherten ausgeschlossen.
4.4.3 Ein Anspruch auf eine höhere als die zugesprochene halbe Rente ist zusammenfassend nicht ausgewiesen.
5. Die IV-Stelle hat mit Verfügung vom 4. Juli 2011 die halbe Rente ab 1. Juli 2009 zugesprochen, wohingegen das kantonale Gericht mit Entscheid vom 26. Oktober 2011 festgestellt hat, der Versicherte habe mit Wirkung ab 1. September 2008 Anspruch auf eine halbe Invalidenrente. Beschwerdeweise beantragt die IV-Stelle, der Beginn des Rentenanspruchs sei auf 1. Januar 2009 festzusetzen. Streitig und zu prüfen ist diesbezüglich somit (nur), ob bereits im Zeitraum zwischen 1. September 2008 und 31. Dezember 2008 ein Rentenanspruch bestand.
5.1 Der Zeitpunkt des Rentenbeginns wurde im Rahmen der per 1. Januar 2008 in Kraft getretenen 5. IV-Revision neu normiert. So entsteht der Rentenanspruch gemäss Art. 29 Abs. 1 IVG, sofern die entsprechenden Anspruchsvoraussetzungen (Art. 28 Abs. 1 IVG) gegeben sind, frühestens sechs Monate nach Geltendmachung des Leistungsanspruchs nach Art. 29 Abs. 1 ATSG. Eine Anspruchswahrung i.S. von Art. 48 Abs. 2 erster Satz aIVG von bis zu zwölf Monaten vor der Anmeldung ist nicht mehr möglich (vgl. Ulrich Meyer, Bundesgesetz über die Invalidenversicherung [IVG], 2. Aufl., 2010, S. 361). Wurde die Rente nach Verminderung des Invaliditätsgrades aufgehoben, erreicht dieser jedoch in den folgenden drei Jahren wegen einer auf dasselbe Leiden zurückzuführenden Arbeitsunfähigkeit erneut ein rentenbegründendes Ausmass, werden gemäss Art. 29bis IVV bei der Berechnung der Wartezeit nach Art. 28 Abs. 1 Buchstabe b IVG früher zurückgelegte Zeiten angerechnet. Bei der Revision einer Rente erfolgt die Erhöhung gemäss Art. 88bis Abs. 1 lit. a IVV, sofern der Versicherte die Revision verlangt, frühestens von dem Monat an, in dem das Revisionsbegehren gestellt wurde.
5.2 Nachdem die IV-Stelle verfügungsweise den Rentenbeginn gemäss Art. 29 Abs. 1 IVG auf sechs Monate nach der erneuten Anmeldung festgesetzt hatte, korrigierte dies die Vorinstanz im angefochtenen Entscheid in dem Sinne, als sie unter Anrechnung der früher zurückgelegten Wartezeit gemäss Art. 29bis IVV den Rentenbeginn auf den Zeitpunkt der Verschlechterung des Gesundheitszustandes im September 2008 legte. Dies mag wohl wartezeitrechtlich gerechtfertigt sein, doch hat das kantonale Gericht dabei übersehen, dass nach der seit 1. Januar 2008 geltenden gesetzlichen Regelung ein Rentenbeginn vor der Anmeldung nicht mehr möglich ist, grundsätzlich der Anspruch gar frühestens sechs Monate nach der Anmeldung entsteht. Ob beim Wiederaufleben der Invalidität innerhalb von drei Jahren nach Aufhebung der Rente - wie es beim Versicherten der Fall ist - die für das Revisionsverfahren geltende Sonderregelung von Art. 88bis Abs. 1 lit. a IVV, wonach eine Erhöhung frühestens vom Monat der Geltendmachung an möglich ist, analog anwendbar ist oder ob die allgemeine gesetzliche Regelung von Art. 29 Abs. 1 IVG mit der sechsmonatigen Wartezeit zum Zuge kommt, kann vorliegend offen bleiben, da die IV-Stelle beantragt, es sei festzustellen, dass der Versicherte ab 1. Januar 2009 - somit ab Beginn des Monats der erneuten Anmeldung - Anspruch auf eine halbe Invalidenrente habe. Über die Begehren der Parteien darf das Bundesgericht nicht hinausgehen (Art. 107 Abs. 1 BGG).
6. Die Beschwerde der IV-Stelle ist somit gutzuheissen, während diejenige des Versicherten abzuweisen ist.
7. Dem Ausgang des letztinstanzlichen Verfahrens entsprechend besteht kein Anlass, von der vorinstanzlichen Kostenverlegung abzuweichen.
8. Das bundesgerichtliche Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Versicherten auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege im Sinne der vorläufigen Befreiung von den Gerichtskosten kann entsprochen werden, da die entsprechenden Voraussetzungen erfüllt sind (Art. 64 Abs. 1 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist. Was das Gesuch um unentgeltliche Rechtsvertretung betrifft, ist Art. 64 Abs. 2 BGG massgeblich, wonach als unentgeltlicher Rechtsbeistand nur ein Anwalt oder eine Anwältin beigegeben werden kann. Der Versicherte hat am 25. November 2011 eine Anwaltsvollmacht unterzeichnet, die eine Substitutionsklausel enthält. Der bevollmächtigte Anwalt hat am 5. Dezember 2011 eine Substitutionsvollmacht ausgestellt. Die Rechtsschriften wurden vom Substituten verfasst, der um Beigabe des Unterzeichnenden als unentgeltlichem Rechtsbeistand ersucht. Es handelt sich dabei zwar um einen Juristen (lic. iur.), der jedoch nicht Rechtsanwalt ist. Dessen Bestellung als unentgeltlicher Vertreter nach Art. 64 Abs. 2 BGG ist daher nicht zulässig. Der bevollmächtigte Anwalt selber kann nicht bestellt werden, da die massgebliche Rechtsvertretungsarbeit, für die Entschädigung aus der Gerichtskasse beantragt wird, nicht von ihm geleistet wurde. Das Gesuch um unentgeltliche Rechtsvertretung ist daher abzuweisen (vgl. Urteil 2C_323/2011 vom 29. August 2011 E. 2).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 8C_888/2011 und 8C_900/2011 werden vereinigt.
2. Die Beschwerde der IV-Stelle wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 26. Oktober 2011 und die Verfügung der IV-Stelle vom 4. Juli 2011 werden insoweit abgeändert, als N._ ab 1. Januar 2009 Anspruch auf eine halbe Invalidenrente hat.
3. Die Beschwerde von N._ wird abgewiesen.
4. N._ wird die unentgeltliche Rechtspflege im Sinne der vorläufigen Befreiung von den Gerichtskosten gewährt. Das Gesuch um Beigabe eines unentgeltlichen Rechtsvertreters wird abgewiesen.
5. Die Gerichtskosten von Fr. 1'000.- werden N._ auferlegt, indes vorläufig auf die Gerichtskasse genommen.
6. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Mai 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch