Sachverhalt:
A. I._ (Jg. 1980) meldete sich am 20. Dezember 2002 wegen Rückenschmerzen bei der Invalidenversicherung zum Rentenbezug an. Auf Grund ihrer Abklärungen medizinischer und erwerblicher Art lehnte die IV-Stelle des Kantons Zürich das Leistungsbegehren mit Verfügung vom 25. Januar 2005 (recte: 2006) mangels rentenrelevanter Invalidität ab. Daran hielt sie mit Einspracheentscheid vom 3. April 2006 fest.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. Februar 2008 ab.
C. I._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten und gleichzeitig in derselben Rechtsschrift subsidiäre Verfassungsbeschwerde führen. Er beantragt die Zusprechung einer ganzen Invalidenrente; eventuell sei die Sache zur Neubeurteilung nach neutraler Begutachtung in der Klinik X._ an die IV-Stelle zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Mit Schreiben vom 15. Oktober 2008 reicht I._ als zusätzliches Beweismittel einen Bericht der Klinik Y._ vom 19. Juni 2008 über die "Teilnahme an einem spezifischen 4-wöchigen, ganzheitlich orientierten, interdisziplinären Behandlungsprogramm für Patienten mit chronischen Schmerzen" nach.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
1.2 Gegen den angefochtenen, kantonal letztinstanzlichen Entscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig. Mit dieser kann unter anderem auch die Verletzung von Bundesrecht (einschliesslich Verfassungsrecht) gerügt werden (Art. 95 lit. a BGG). Für eine subsidiäre Verfassungsbeschwerde nach den Art. 113 ff. BGG bleibt in dieser Konstellation kein Raum. Die Rechtsschrift vom 7. April 2008 ist daher vollumfänglich als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen (Art. 113 BGG).
2. Bezüglich der bis 31. Dezember 2007 gültig gewesenen gesetzlichen Bestimmungen über die Voraussetzungen für einen Rentenanspruch und dessen Umfang (Art. 28 Abs. 1 IVG; auch in der bis 31. Dezember 2003 gültig gewesenen Fassung), über die Invaliditätsbemessung bei Erwerbstätigen nach der Einkommensvergleichsmethode (Art. 28 Abs. 2 IVG in Verbindung mit Art. 16 ATSG) sowie über den Rentenbeginn (Art. 29 Abs. 1 IVG) kann mit der Vorinstanz auf die Ausführungen im Einspracheentscheid vom 3. April 2006 verwiesen werden. Dasselbe gilt für die den ärztlichen Angaben zur Arbeitsfähigkeit im Rahmen der Invaliditätsbemessung zukommende Bedeutung (BGE 125 V 256 E. 4 S. 261 mit Hinweisen). Im kantonalen Entscheid richtig dargelegt wurden weiter die an einen beweistauglichen ärztlichen Bericht zu stellenden Anforderungen (BGE 125 V 351 E. 3a S. 352).
3. 3.1 Zur Abklärung des medizinischen Sachverhalts zog die IV-Stelle nebst Berichten des Spitals A._, Rheumaklinik und Institut für Physikalische Medizin, vom 28. Oktober 2002 und der Klinik B._ vom 31. Oktober 2002 Stellungnahmen des Hausarztes Dr. med. C._ vom 21. März 2003 und des Dr. med. D._ vom Psychiatrie-Zentrum E._ vom 21. Januar 2004 bei. Weiter veranlasste sie eine Abklärung im Institut Z._, welches seine Expertise am 10. März 2005 erstattete. Zudem holte sie im Medizinischen Zentrum F._ Auskünfte des Dr. med. G._, Facharzt Psychiatrie und Psychotherapie, und des Dr. phil. H._, Klinischer Psychologe und Supervisor, vom 14. Juni 2005 ein. Der Beschwerdeführer reichte überdies im kantonalen Verfahren eine Bestätigung der Dres. G._ und H._ vom 12. Mai 2006 sowie Stellungnahmen der Dres. med. C._ vom 14. Mai 2006 und K._, Facharzt für orthopädische Chirurgie, vom 7. März 2006 und 12. Mai 2006 ein.
3.2 Diese Unterlagen vermitteln hinreichende Aufschlüsse, um sich ein zuverlässiges Bild von der medizinischen Situation im hier massgebenden Zeitraum bis zum Erlass des Einspracheentscheids vom 3. April 2006 (BGE 130 V 445 E. 1.2 S. 446 f. mit Hinweisen) zu machen. Entgegen der Argumentation in der Beschwerdeschrift kann nicht von einer Verletzung des Untersuchungsgrundsatzes zufolge ungenügender Abklärung des rechtserheblichen Sachverhalts und damit einer Verletzung der Art. 69 Abs. 2 IVV und 43 Abs. 1 ATSG gesprochen werden. Ergänzende Erhebungen erübrigen sich, wären von solchen - in antizipierter Beweiswürdigung (vgl. BGE 124 V 90 E. 4b S. 94, 122 V 157 E. 1d S. 162) - doch keine neuen Erkenntnisse zu erwarten, welche sich auf die Beurteilung des streitigen Rentenanspruches auswirken könnten. Der erst im bundesgerichtlichen Verfahren eingereichte Austrittsbericht der Klinik Y._ vom 19. Juni 2008 über einen vom 28. April bis 26. Mai 2008 dauernden Spitalaufenthalt kann schon deshalb nicht berücksichtigt werden, weil für die Beurteilung der Streitsache einzig die Verhältnisse massgebend sind, wie sie sich bis zum Erlass des angefochtenen Einspracheentscheids vom 3. April 2006 verwirklicht haben. Anlass für die Beibringung dieses Dokuments bildete im Übrigen nicht erst der angefochtene kantonale Entscheid, sodass dieses als neues Beweismittel auch auf Grund von Art. 99 Abs. 1 BGG im bundesgerichtlichen Beschwerdeverfahren nicht zulässig ist (E. 1.1 hievor). Sollten sich die Verhältnisse seit Erlass des Einspracheentscheids vom 3. April 2006 in einem für einen Rentenanspruch entscheidwesentlichen Ausmass geändert haben, steht es dem Beschwerdeführer frei, sich mit einem neuen Leistungsbegehren an die IV-Stelle zu wenden (Art. 87 Abs. 4 IVV).
3.3 Der Beschwerdeführer beanstandet, dass das kantonale Gericht bei der Beurteilung des ihm verbliebenen Leistungsvermögens wesentlich auf das Gutachten des Instituts Z._ vom 10. März 2005 abgestellt hat, welches im Zeitpunkt des Erlasses des Einspracheentscheids vom 3. April 2006 nicht mehr aktuell gewesen sei. Zwar trifft es zu, dass die dieser Expertise zugrunde liegende Untersuchung bereits am 3. Januar 2005 und damit mehr als ein Jahr vor der rentenverweigernden Verfügung vom 25. Januar 2006 und dem diese bestätigenden Einspracheentscheid erfolgt ist. Dennoch besteht kein Anlass, die Zuverlässigkeit der Angaben im darüber erstatteten Gutachten vom 10. März 2005 bezogen auf den Zeitpunkt des Entscheids über den geltend gemachten Rentenanspruch in Zweifel zu ziehen. Die Gutachter des Instituts Z._ haben den Gesundheitszustand des Beschwerdeführers in orthopädischer, psychiatrischer und neurologischer Hinsicht gründlich untersucht und auch die damals schon vorhandenen ärztlichen Stellungnahmen in ihre Beurteilung mit einbezogen. Inwiefern seither eine wesentliche Veränderung des Krankheitsbildes eingetreten sein sollte, ist nicht ersichtlich und geht insbesondere auch aus den späteren Berichten der Dres. G._ und H._ nicht hervor. Dass die Fachleute des Instituts Z._ die verbliebene Arbeitsfähigkeit insgesamt günstiger einstuften als die übrigen den Beschwerdeführer behandelnden Ärzte, stellt ihre Objektivität nicht ernsthaft in Frage. Es gehört gerade zur Aufgabe von Verwaltung und erstinstanzlichen Gerichten, aus unterschiedlich lautenden fachärztlichen Stellungnahmen und den darin zum Ausdruck gebrachten Meinungen die ihnen richtig erscheinenden Schlüsse zu ziehen. Dies geschieht im Rahmen der pflichtgemässen Beweiswürdigung, welche als Tatfrage einer letztinstanzlichen Überprüfung durch das Bundesgericht grundsätzlich nicht zugänglich ist, solange - wie hier - nicht offensichtlich unrichtige oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhende Feststellungen vorliegen (Art. 97 Abs. 1 BGG). Allein aus dem Umstand, dass mehrere Ärzte die noch vorhandene Restarbeitsfähigkeit geringer einschätzten, ist nicht auf eine offensichtliche Unrichtigkeit der von den Gutachtern des Instituts Z._ vertretenen Ansicht zu schliessen. Auch die gegenüber Verwaltung und Vorinstanz erhobene Willkürrüge entbehrt jeglicher Rechtfertigung.
3.4 Es muss daher mit der auf das Gutachten des Instituts Z._ vom 10. März 2005 gestützten vorinstanzlichen Feststellung sein Bewenden haben, wonach die frühere Beschäftigung als Verkäufer für den Beschwerdeführer zwar nicht mehr geeignet ist, er aber trotz seiner Behinderung "seit März 2002 in einer leidensangepassten Tätigkeit mit wechselnder Position und ohne Zwangshaltungen oder repetitive grössere Bewegungsexkursionen der Wirbelsäule zeitlich und leistungsmässig voll arbeitsfähig ist".
4. 4.1 Zur Bestimmung der erwerblichen Auswirkungen der festgestellten Beeinträchtigung haben Vorinstanz und Verwaltung einen Einkommensvergleich vorgenommen. Diesbezüglich beanstandet der Beschwerdeführer einzig, dass der ohne Gesundheitsschaden mutmasslich erzielbare Verdienst (Valideneinkommen) ohne Berücksichtigung des von ihm erwarteten Aufstiegs zum Geschäftsführer festgelegt worden ist und Vorinstanz und Verwaltung insbesondere von der in diesem Zusammenhang beantragten Zeugeneinvernahme abgesehen haben.
4.2 Das kantonale Gericht ging davon aus, der Beschwerdeführer wäre ohne Gesundheitsschaden weiterhin an seiner bis Ende 2002 besetzten Stelle tätig geblieben. Es setzte deshalb den dort erzielten Verdienst - unter Berücksichtigung der seither eingetretenen Nominallohnentwicklung - dem Valideneinkommen gleich. Eine Verletzung von Bundesrecht kann allein darin nicht erblickt werden. Indem der Beschwerdeführer geltend macht, er hätte, wäre er gesund geblieben, eine besser bezahlte Stelle als Geschäftsführer erhalten, will er der Bestimmung des Valideneinkommens lediglich einen andern als den von der Vorinstanz angenommenen Sachverhalt zugrunde legen, was auf die Rüge eines im kantonalen Entscheid unrichtig festgestellten Sachverhalts hinausläuft. Die vorinstanzliche Sachverhaltsermittlung jedoch ist einer Überprüfung im bundesgerichtlichen Beschwerdeverfahren grundsätzlich nicht zugänglich, es sei denn, eine unrichtige Sachverhaltsfeststellung durch das vorinstanzliche Gericht wäre offensichtlich oder würde auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 97 Abs. 1 BGG). Ersteres wird in der Beschwerdeschrift nicht geltend gemacht. Hingegen wird darin eine Verletzung von Art. 43 ATSG gerügt, wonach der Versicherungsträger unter anderem die notwendigen Abklärungen von Amtes wegen vorzunehmen und die erforderlichen Auskünfte einzuholen hat (Abs. 1 Satz 1).
4.3 Nach der Rechtsprechung ist die Annahme eines ohne Gesundheitsschaden mit überwiegender Wahrscheinlichkeit mutmasslich realisierten beruflichen Aufstiegs an strenge Voraussetzungen geknüpft. Der Beschwerdeführer hat indessen keine konkreten Anhaltspunkte nennen können, welche die von ihm behauptete berufliche Weiterentwicklung als realistisch hätten erscheinen lassen. So hat er insbesondere nicht angegeben, wo und auf welchen Zeitpunkt hin er eine Geschäftsführerstelle hätte besetzen können und bei welcher Gelegenheit davon überhaupt die Rede gewesen wäre. Die Vorinstanz hat im Übrigen einzelne Gegebenheiten angeführt, welche ihrer Ansicht nach den behaupteten beruflichen Aufstieg als "sehr unwahrscheinlich" erscheinen lassen. Unter diesen Umständen aber wären von der beantragten Befragung der bisherigen Vorgesetzten als Zeugin von vornherein keine Aufschlüsse zu erwarten gewesen, welche einen kurz bevorstehenden Karriereschritt mit dem erforderlichen Wahrscheinlichkeitsgrad hätten belegen können. Im Verzicht auf die beantragte Zeugenbefragung ist daher keine Verletzung von Art. 43 Abs. 1 ATSG zu sehen. Auch von einer Verletzung des Willkürverbots kann keine Rede sein.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG). Diesem kann indessen die unentgeltliche Rechtspflege gewährt werden (Art. 64 BGG), da die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichen und die Vertretung notwendig war (vgl. BGE 125 V 201 E. 4a S. 202 und 371 E. 5b S. 372). Er wird der Gerichtskasse Ersatz zu leisten haben, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Markus Braun, Hirzel, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'500.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. November 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl