Sachverhalt: A. Der 1971 geborene K._ erlernte in seiner serbisch-montenegrinischen Heimat den Beruf eines Autospenglers/-Lackierers und reiste 1992 in die Schweiz ein. Ab 1998 war er als Maschinenbediener in der Q._ AG tätig. Bereits ab 1999 traten lumbale Rückenschmerzen auf, die ab 21. Mai 2002 zu einer vollständigen Arbeitsunfähigkeit führten. Am 10. Juli 2002 wurde eine Diskushernie L3/4 operiert. Es persistierten eine Lumbo-Femoralgie sowie Parästhesien am ventro-medialen Oberschenkel rechts. Vom 7. Juli 2003 bis 9. Januar 2004 absolvierte er in der Institution X._ eine von der Arbeitslosenversicherung gewährte berufliche Eingliederungsmassnahme (Bericht vom 4. Dezember 2003). K._ meldete sich am 10. März 2004 bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug an. Diese holte unter anderem einen Bericht des den Versicherten behandelnden Neurologen Dr. med. J._ vom 29. März 2004 ein und liess ihn - mangels freier Kapazität in der neurologischen Poliklinik - an der Klinik für Rheumatologie des Spitals Y._ begutachten. Die Expertise datiert vom 9. November 2004. Gestützt auf dieses Gutachten eröffnete die IV-Stelle dem Versicherten, als Gesunder würde er ein jährliches Einkommen von Fr. 45'370.- erzielen, mit Behinderung betrage dieses Fr. 669.- mehr, also Fr. 46'039.-, weshalb er bei einem Invaliditätsgrad von 0 % keinen Leistungsanspruch habe (Verfügung vom 27. Januar 2005). Daran hielt sie auf Einsprache hin fest (Entscheid vom 9. Juni 2005). B. Das Versicherungsgericht des Kantons Solothurn wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 5. Februar 2007 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien ihm die gesetzlichen Leistungen bei einem Invaliditätsgrad von mindestens 40 % nebst Verzugszins von 5 % auszurichten. Eventuell sei die Sache zur Einholung eines polydisziplinären Gutachtens und zur neuen Entscheidung an die IV-Stelle zurückzuweisen. Im Weiteren ersucht K._ um die Gewährung der unentgeltlichen Rechtspflege und Verbeiständung im letztinstanzlichen Verfahren sowie darum, das kantonale Versicherungsgericht sei anzuweisen, dem als unentgeltlichen Rechtsbeistand eingesetzten Anwalt die Gelegenheit zu gewähren, eine Kostennote für seine Bemühungen einzureichen. Die IV-Stelle des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.