Sachverhalt: A. I._ (Jg. 1980) meldete sich am 20. Dezember 2002 wegen Rückenschmerzen bei der Invalidenversicherung zum Rentenbezug an. Auf Grund ihrer Abklärungen medizinischer und erwerblicher Art lehnte die IV-Stelle des Kantons Zürich das Leistungsbegehren mit Verfügung vom 25. Januar 2005 (recte: 2006) mangels rentenrelevanter Invalidität ab. Daran hielt sie mit Einspracheentscheid vom 3. April 2006 fest. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. Februar 2008 ab. C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten und gleichzeitig in derselben Rechtsschrift subsidiäre Verfassungsbeschwerde führen. Er beantragt die Zusprechung einer ganzen Invalidenrente; eventuell sei die Sache zur Neubeurteilung nach neutraler Begutachtung in der Klinik X._ an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. Mit Schreiben vom 15. Oktober 2008 reicht I._ als zusätzliches Beweismittel einen Bericht der Klinik Y._ vom 19. Juni 2008 über die "Teilnahme an einem spezifischen 4-wöchigen, ganzheitlich orientierten, interdisziplinären Behandlungsprogramm für Patienten mit chronischen Schmerzen" nach.