Sachverhalt:
A. Der 1971 geborene K._ erlernte in seiner serbisch-montenegrinischen Heimat den Beruf eines Autospenglers/-Lackierers und reiste 1992 in die Schweiz ein. Ab 1998 war er als Maschinenbediener in der Q._ AG tätig. Bereits ab 1999 traten lumbale Rückenschmerzen auf, die ab 21. Mai 2002 zu einer vollständigen Arbeitsunfähigkeit führten. Am 10. Juli 2002 wurde eine Diskushernie L3/4 operiert. Es persistierten eine Lumbo-Femoralgie sowie Parästhesien am ventro-medialen Oberschenkel rechts. Vom 7. Juli 2003 bis 9. Januar 2004 absolvierte er in der Institution X._ eine von der Arbeitslosenversicherung gewährte berufliche Eingliederungsmassnahme (Bericht vom 4. Dezember 2003). K._ meldete sich am 10. März 2004 bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug an. Diese holte unter anderem einen Bericht des den Versicherten behandelnden Neurologen Dr. med. J._ vom 29. März 2004 ein und liess ihn - mangels freier Kapazität in der neurologischen Poliklinik - an der Klinik für Rheumatologie des Spitals Y._ begutachten. Die Expertise datiert vom 9. November 2004. Gestützt auf dieses Gutachten eröffnete die IV-Stelle dem Versicherten, als Gesunder würde er ein jährliches Einkommen von Fr. 45'370.- erzielen, mit Behinderung betrage dieses Fr. 669.- mehr, also Fr. 46'039.-, weshalb er bei einem Invaliditätsgrad von 0 % keinen Leistungsanspruch habe (Verfügung vom 27. Januar 2005). Daran hielt sie auf Einsprache hin fest (Entscheid vom 9. Juni 2005).
B. Das Versicherungsgericht des Kantons Solothurn wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 5. Februar 2007 ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien ihm die gesetzlichen Leistungen bei einem Invaliditätsgrad von mindestens 40 % nebst Verzugszins von 5 % auszurichten. Eventuell sei die Sache zur Einholung eines polydisziplinären Gutachtens und zur neuen Entscheidung an die IV-Stelle zurückzuweisen. Im Weiteren ersucht K._ um die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung im letztinstanzlichen Verfahren sowie darum, das kantonale Versicherungsgericht sei anzuweisen, dem als unentgeltlichen Rechtsbeistand eingesetzten Anwalt die Gelegenheit zu gewähren, eine Kostennote für seine Bemühungen einzureichen.
Die IV-Stelle des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Gemäss Art. 105 Abs. 1 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG; Ausnahme: Beschwerden gemäss Art. 97 Abs. 2 BGG [Art. 105 Abs. 3 BGG]). Zu den Rechtsverletzungen gemäss Art. 95 lit. a BGG gehören namentlich auch die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen (Urteil 9C_539/2007 vom 31. Januar 2008, E. 1; Ulrich Meyer, N 25, 36 und 58-61 zu Art. 105, in: Niggli/ Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar Bundesgerichtsgesetz, Basel 2008 [nachfolgend: BSK BGG]) und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (Urteile 8C_364/2007 vom 19. November 2007, [E. 3.3]; vgl. auch Markus Schott, N 17 zu Art. 97, in: BSK BGG).
2. Streitig ist in erster Linie der Anspruch auf eine Rente der Invalidenversicherung.
2.1 Die Vorinstanz hat die gesetzlichen Bestimmungen und die Rechtsprechung über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und Invalidität erwerbstätiger Versicherter (Art. 8 Abs. 1 ATSG) sowie den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG in Verbindung mit Art. 16 ATSG) richtig wiedergegeben. Darauf wird verwiesen. Richtig dargelegt hat sie zudem in beweisrechtlicher Hinsicht die Aufgabe von Arzt und Ärztin im Rahmen der Invaliditätsbemessung, die Anforderungen an eine beweistaugliche und beweiskräftige medizinische Expertise (BGE 125 V 256 E. 4 S. 261, 105 V 156 E. 1 S. 159), die Grundsätze der freien Beweiswürdigung, welche das Gericht verpflichten, die Beweise - ohne Bindung an förmliche Regeln - umfassend, pflichtgemäss und objektiv zu würdigen, insbesondere die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt (BGE 125 V 351 E. 3a S. 352).
2.2 In beweisrechtlicher Hinsicht zu ergänzen ist, dass das Administrativverfahren vor der IV-Stelle wie auch der kantonale Sozialversicherungsprozess vom Untersuchungsgrundsatz beherrscht sind (Art. 43 Abs. 1, Art. 61 lit. c ATSG). Danach haben IV-Stelle und Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht. Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (BGE 132 V 393 E. 4.1 S. 400) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich (BGE 126 V 353 E. 5b S. 360, 125 V 193 E. 2 S. 195, je mit Hinweisen) zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; vgl. SVR 2001 IV Nr. 10 S. 27 E. 4 S. 28; zu Art. 4 Abs. 1 aBV ergangene, weiterhin geltende Rechtsprechung: BGE 124 V 90 E. 4b S. 94, 122 V 157 E. 1d S. 162, je mit Hinweisen). Bleiben jedoch erhebliche Zweifel an Vollständigkeit und/oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen, ist weiter zu ermitteln, soweit von zusätzlichen Abklärungsmassnahmen noch neue wesentliche Erkenntnisse zu erwarten sind (Urteil I 828/06 vom 5. September 2007).
2.3 Die Beweiswürdigung im Allgemeinen - wie auch die antizipierte Beweiswürdigung als Teil derselben - betreffen Tatfragen (Entscheid I 9/07 vom 9. Februar 2007, E. 4; BSK BGG-Meyer, N 34 zu Art. 105 und BSK BGG-Schott, N 29 zu Art. 95, je mit Hinweisen), die das Bundesgericht lediglich auf offensichtliche Unrichtigkeit und Rechtsfehlerhaftigkeit hin zu überprüfen befugt ist (Art. 105 Abs. 2 BGG; vgl. E. 1 hievor). Unter diesem Blickwinkel hält ein Verzicht der Vorinstanz auf weitere Beweisvorkehren aufgrund antizipierter Beweiswürdigung etwa dann nicht stand, wenn die Sachverhaltsfeststellung unauflösbare Widersprüche enthält (vgl. etwa BGE 124 II 103 E. 1a S. 105; in BGE 126 III 431 nicht publizierte E. 4c/bb des Urteils 5P.119/2000 vom 24. Juli 2000) oder wenn eine entscheidwesentliche Tatsache auf unvollständiger Beweisgrundlage - beispielsweise ohne Beizug des notwendigen Fachwissens unabhängiger Experten/Expertinnen, obwohl im Einzelfall unabdingbar - beantwortet wird (vgl. etwa BGE 132 III 83 E. 3.5 S. 88; vgl. auch Urteil I 1051/06 vom 4. Mai 2007, E. 3.3 und 3.4 [publ. in: SVR 2007 IV Nr. 39 S. 132]). Demgegenüber ändern blosse Zweifel an der Richtigkeit der vorinstanzlichen Sachverhaltsfeststellung an deren Verbindlichkeitswirkung gemäss Art. 105 Abs. 1 BGG nichts (vgl. die Hinweise in Urteil 9C_539/2007 vom 31. Januar 2008 E. 2.2.2).
3. Der Beschwerdeführer beanstandet die vorinstanzliche Beweiswürdigung, die unrichtige und unvollständige Feststellung des rechtserheblichen Sachverhaltes, die Berechnung des Valideneinkommens sowie die Höhe des leidensbedingten Abzugs beim Invalideneinkommen.
3. Der Beschwerdeführer beanstandet die vorinstanzliche Beweiswürdigung, die unrichtige und unvollständige Feststellung des rechtserheblichen Sachverhaltes, die Berechnung des Valideneinkommens sowie die Höhe des leidensbedingten Abzugs beim Invalideneinkommen.
3.1 3.1.1 In tatsächlicher Hinsicht hat das kantonale Gericht festgestellt, gemäss Gutachten der Rheumatologischen Klinik des Spitals Y._ vom 9. November 2004 - welches die rechtsprechungsgemässen Kriterien eines beweisrelevanten Gutachtens vollumfänglich erfülle und auf welches abzustellen sei - sei der Beschwerdeführer für schwere Arbeiten vollständig arbeitsunfähig; für mittelschwere bestehe eine 50%ige Arbeitsfähigkeit, welche durch rekonditionierende Massnahmen noch steigerbar sei, und für eine wechselbelastende leichte bis mittelschwere Tätigkeit sei eine vollständige Arbeitsfähigkeit gegeben. Den Berichten des behandelnden Arztes Dr. med. J._, Neurologie FMH, und der Klinik Z._ wird jeglicher Beweiswert abgesprochen.
3.1.2 Dies ist in dieser absoluten Form nicht begründet. Hingegen kann es auch nicht als offensichtlich unrichtig oder rechtsfehlerhaft bezeichnet werden, wenn die Vorinstanz unter Würdigung der gesamten medizinischen Akten zur Erkenntnis gelangt ist, es sei auf das Gutachten des Spitals Y._ abzustellen. Der Beschwerdeführer weist zwar mit Recht darauf hin, dass dieses unter anderem hinsichtlich der als zumutbar erachteten Arbeitsfähigkeiten in den verschiedenen Anforderungsprofilen (schwere, mittlere oder leichte bis höchstens mittelschwere Tätigkeit) nicht widerspruchsfrei ist. Das ändert jedoch nichts an der Tatsachenfeststellung des kantonalen Gerichts, dass dem Beschwerdeführer bei einer wechselbelastenden, leichten bis mittelschweren Tätigkeit eine volle Arbeitsfähigkeit zuzumuten ist. Auch wenn die anderslautenden Atteste des Dr. med. J._ und der Klinik Z._ - welche bei einer entsprechenden Tätigkeit lediglich eine 50%ige Arbeitsfähigkeit attestieren - an dieser Beurteilung gewisse Zweifel entstehen lassen, genügen diese nicht, die vorinstanzlichen Feststellungen als offensichtlich unrichtig oder willkürlich zu bezeichnen. Das gilt insbesondere auch für die Frage, ob es nicht angezeigt gewesen wäre, den Gesundheitszustand des Beschwerdeführers durch einen neurologischen anstelle eines rheumatologischen Experten prüfen zu lassen, oder für die Begutachtung ein aktuelles MRI anzufertigen. Angesichts des Umstandes, dass der Beginn der Arbeitsunfähigkeit in der angestammten Tätigkeit auf den 21. Mai 2002 festzusetzen ist und ein möglicher Rentenbeginn folglich auf Mai 2003 fällt (Art. 29 Abs. 1 lit. b IVG), kann die Beurteilung anhand von im November 2002 angefertigten Magnetresonanz-Bildern nicht als offensichtlich unrichtig beurteilt werden. Da der behandelnde Arzt bis zum relevanten Beurteilungszeitpunkt (Erlass des Einspracheentscheides vom 9. Juni 2005; BGE 130 V 138 E. 2.1 S. 140) nicht von einer wesentlichen Verschlechterung des medizinischen Sachverhalts ausgeht, ist die vorinstanzliche Sachverhaltsfeststellung nicht - auch nicht als Verletzung des Untersuchungsgrundsatzes - zu beanstanden. Das gilt gleichermassen hinsichtlich des psychischen Gesundheitszustandes. Insbesondere hat die Vorinstanz nicht gegen den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) verstossen bzw. den rechtserheblichen Sachverhalt in Verletzung wesentlicher Verfahrensvorschriften festgestellt. Das kantonale Gericht hat vielmehr alle vorliegenden Berichte berücksichtigt und überzeugend dargelegt, weshalb es dem einen und nicht dem anderen Bericht gefolgt ist. Für die Beurteilung des bis Anfang Juni 2005 massgebenden Sachverhaltes durfte das kantonale Gericht im Sinne einer antizipierten Beweiswürdigung auf die Einholung weiterer Gutachten neurologischer, neurochirurgischer oder psychiatrischer Fachrichtung verzichten und die Erwerbsunfähigkeit des Beschwerdeführers unter Berücksichtigung eines hypothetischen Einkommens bei einer wechselbelastenden leichten bis mittelschweren Tätigkeit und einer vollen Arbeitsfähigkeit prüfen.
3.1.2 Dies ist in dieser absoluten Form nicht begründet. Hingegen kann es auch nicht als offensichtlich unrichtig oder rechtsfehlerhaft bezeichnet werden, wenn die Vorinstanz unter Würdigung der gesamten medizinischen Akten zur Erkenntnis gelangt ist, es sei auf das Gutachten des Spitals Y._ abzustellen. Der Beschwerdeführer weist zwar mit Recht darauf hin, dass dieses unter anderem hinsichtlich der als zumutbar erachteten Arbeitsfähigkeiten in den verschiedenen Anforderungsprofilen (schwere, mittlere oder leichte bis höchstens mittelschwere Tätigkeit) nicht widerspruchsfrei ist. Das ändert jedoch nichts an der Tatsachenfeststellung des kantonalen Gerichts, dass dem Beschwerdeführer bei einer wechselbelastenden, leichten bis mittelschweren Tätigkeit eine volle Arbeitsfähigkeit zuzumuten ist. Auch wenn die anderslautenden Atteste des Dr. med. J._ und der Klinik Z._ - welche bei einer entsprechenden Tätigkeit lediglich eine 50%ige Arbeitsfähigkeit attestieren - an dieser Beurteilung gewisse Zweifel entstehen lassen, genügen diese nicht, die vorinstanzlichen Feststellungen als offensichtlich unrichtig oder willkürlich zu bezeichnen. Das gilt insbesondere auch für die Frage, ob es nicht angezeigt gewesen wäre, den Gesundheitszustand des Beschwerdeführers durch einen neurologischen anstelle eines rheumatologischen Experten prüfen zu lassen, oder für die Begutachtung ein aktuelles MRI anzufertigen. Angesichts des Umstandes, dass der Beginn der Arbeitsunfähigkeit in der angestammten Tätigkeit auf den 21. Mai 2002 festzusetzen ist und ein möglicher Rentenbeginn folglich auf Mai 2003 fällt (Art. 29 Abs. 1 lit. b IVG), kann die Beurteilung anhand von im November 2002 angefertigten Magnetresonanz-Bildern nicht als offensichtlich unrichtig beurteilt werden. Da der behandelnde Arzt bis zum relevanten Beurteilungszeitpunkt (Erlass des Einspracheentscheides vom 9. Juni 2005; BGE 130 V 138 E. 2.1 S. 140) nicht von einer wesentlichen Verschlechterung des medizinischen Sachverhalts ausgeht, ist die vorinstanzliche Sachverhaltsfeststellung nicht - auch nicht als Verletzung des Untersuchungsgrundsatzes - zu beanstanden. Das gilt gleichermassen hinsichtlich des psychischen Gesundheitszustandes. Insbesondere hat die Vorinstanz nicht gegen den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) verstossen bzw. den rechtserheblichen Sachverhalt in Verletzung wesentlicher Verfahrensvorschriften festgestellt. Das kantonale Gericht hat vielmehr alle vorliegenden Berichte berücksichtigt und überzeugend dargelegt, weshalb es dem einen und nicht dem anderen Bericht gefolgt ist. Für die Beurteilung des bis Anfang Juni 2005 massgebenden Sachverhaltes durfte das kantonale Gericht im Sinne einer antizipierten Beweiswürdigung auf die Einholung weiterer Gutachten neurologischer, neurochirurgischer oder psychiatrischer Fachrichtung verzichten und die Erwerbsunfähigkeit des Beschwerdeführers unter Berücksichtigung eines hypothetischen Einkommens bei einer wechselbelastenden leichten bis mittelschweren Tätigkeit und einer vollen Arbeitsfähigkeit prüfen.
3.2 3.2.1 Bei der Frage, ob im Rahmen der Ermittlung des Invaliditätsgrades beim Valideneinkommen auf den zuletzt erzielten Lohn oder aber auf Tabellenlöhne abzustellen ist, handelt es sich um eine Rechtsfrage (BGE 132 V 393 E. 3.3 S. 399). Für die Ermittlung des Einkommens, welches die versicherte Person ohne Gesundheitsschaden erzielen könnte (Valideneinkommen), ist entscheidend, was sie im Zeitpunkt des frühestmöglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte; dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre (BGE 129 V 222 E. 4.3.1 S. 224 mit Hinweis).
3.2.2 Die Vorinstanz hat die Festsetzung des Valideneinkommens der IV-Stelle, welche unter Aufrechnung der für das Jahr 2003 relevanten Teuerung vom zuletzt erzielten Lohn ausging, geschützt. Verglichen mit dem hypothetisch erreichbaren Invalideneinkommen, welches mit Hilfe der Tabellen des Bundesamtes für Statistik ermittelt wurde, ist das Invalideneinkommen trotz eines Abzuges von 20 % vom Tabellenlohn höher als das Valideneinkommen. Da nicht anzunehmen ist, dass sich der Beschwerdeführer freiwillig mit einem 20 % kleineren Lohn, als er ihn auf dem ihm offenen Arbeitsmarkt hätte erzielen können, zufrieden gab, spielten offenbar noch weitere arbeitsmarktrelevante Faktoren eine Rolle. Sie sind entweder beim Invalideneinkommen zu berücksichtigen, oder haben auch beim Valideneinkommen ausser Betracht zu fallen. Bei einem derart offensichtlichen Missverhältnis ist auch bei der Bemessung des Valideneinkommens auf die Tabellenlöhne abzustellen. Vorliegend ändert dies jedoch nichts am Anspruch auf eine Rente, da dem Beschwerdeführer zumindest bis Juni 2005 eine volle Arbeitsfähigkeit attestiert wurde, worauf abzustellen ist (E. 3.1).
3.2.3 Hinsichtlich der geltend gemachten Rüge, der vorinstanzlich bestätigte behinderungsbedingte Abzug von 20 % sei zu tief, ist dem Beschwerdeführer entgegenzuhalten, dass es sich bei der Höhe des Abzuges um eine Ermessensfrage handelt, die - von hier nicht interessierenden Ausnahmen abgesehen - letztinstanzlich nicht mehr überprüft werden kann (Art. 95 lit. a BGG; BGE 132 V 393 E. 3.3 S. 399). Im Übrigen würde selbst die Gewährung des Maximalabzuges von insgesamt 25 % (BGE 126 V 75 E. 5b/bb und cc S. 80) noch immer nicht zu einer rentenbegründenden Invalidität führen.
4. Beanstandet wird ferner die Höhe der durch die Vorinstanz im Rahmen der unentgeltlichen Rechtsvertretung zugesprochenen Entschädigung und eine bei der Festsetzung erfolgte Verletzung des rechtlichen Gehörs.
4.1 Nach der Rechtsprechung kann eine von einem kantonalen Gericht festgesetzte Entschädigung im Rahmen der unentgeltlichen Verbeiständung nur vom Rechtsvertreter beim Bundesgericht angefochten werden (vgl. BGE 110 V 360 E. 2 S. 363 f. e contrario; ARV 1996/97 Nr. 27 S. 151), während die Beschwerde führende Person selber dazu nicht legitimiert ist, ebenso wenig der Rechtsvertreter, wenn er im Namen seines Mandanten Beschwerde führt. Dies gründet im Umstand, dass die Gewährung der unentgeltlichen Verbeiständung durch ein kantonales Gericht ein Rechtsverhältnis zwischen dem Rechtsbeistand und dem Staat entstehen lässt, an welchem der Mandant nicht beteiligt ist. Letzterer ist, soweit es um die Höhe der unter dem Titel unentgeltliche Verbeiständung zugesprochenen Entschädigung an seinen Rechtsvertreter geht, nicht berührt. Ein schutzwürdiges Interesse an der Anfechtung des Kostenentscheides hat nur der Rechtsvertreter einer Partei, welcher bei einem zu tief festgesetzten Honorar seinem Klienten nicht zusätzlich Rechnung stellen darf (SVR 2007 UV Nr. 16 S. 54 E. 2.1, U 63/04; Urteil M 2/06 vom 17. September 2007, E. 5.3.2).
4.2 Die Rüge, das fragliche Honorar sei zu niedrig, wurde letztinstanzlich durch den Versicherten erhoben. Daneben hat der Rechtsvertreter weder ein Rechtsmittel in eigenem Namen eingereicht, noch in der für seinen Klienten erhobenen Beschwerde in öffentlich-rechtlichen Angelegenheiten erklärt, hinsichtlich der Entschädigung in eigenem Namen Beschwerde zu führen. Der Versicherte war durch Dispositiv-Ziffer 2 des vorinstanzlichen Entscheides nicht berührt und hatte kein schutzwürdiges Interesse an deren Aufhebung oder Änderung. Daher ist er im vorliegenden Verfahren zur Anfechtung der Höhe des Honorars aus unentgeltlicher Verbeiständung nicht legitimiert und es kann auf die Beschwerde in diesem Punkt nicht eingetreten werden.
5. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Prozessführung (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Claude Wyssmann, Oensingen, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. März 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer