Sachverhalt:
A. Der 1955 geborene M._ war von 1997 bis 31. Mai 2005 (letzter Arbeitstag: 25. Mai 2004) als Officemitarbeiter bei der Firma C._ AG angestellt. Am 28. Juni 2005 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die Sozialversicherungsanstalt des Kantons Zürich, IV-Stelle, holte Berichte der Arbeitgeberin vom 4. Juli 2005, der psychologischen Therapeutin lic. phil. S._ vom 16. August 2005 und des Hausarztes Dr. med. K._ vom 29. Oktober 2005 (mit Beilagen) sowie ein psychiatrisches Gutachten von Dr. med. H._ vom 1. Februar 2006 ein. Rückfragen der Verwaltung vom 16. Februar 2006 beantwortete Dr. med. H._ am 18. Februar 2006. Daraufhin lehnte es die IV-Stelle mit Verfügung vom 3. April 2006 und Einspracheentscheid vom 15. Juni 2006 ab, dem Versicherten eine Rente auszurichten.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 4. September 2007).
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben mit dem Rechtsbegehren, es sei ihm ab Mai 2005 eine ganze Rente zuzusprechen; eventuell sei die Sache zur ergänzenden Abklärung an die IV-Stelle zurückzuweisen. Ferner wird um unentgeltliche Prozessführung ersucht.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss <ref-law> erhoben werden. Dabei legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>), wozu namentlich auch die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift gehören.
1.2 Tatsächlicher Natur und damit im dargestellten Rahmen grundsätzlich verbindlich sind insbesondere die Feststellungen zur Arbeits(un)fähigkeit, welche das kantonale Gericht gestützt auf medizinische Untersuchungen trifft (<ref-ruling> E. 3.2 S. 398). Bei der Beurteilung, ob eine anhaltende somatoforme Schmerzstörung - oder ein sonstiger vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustand (<ref-ruling> E. 3.2 S. 399) - mit invalidisierender Wirkung vorliegt, gilt folgende Abgrenzung: Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt, ob eine anhaltende somatoforme Schmerzstörung vorliegt, und, bejahendenfalls, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist dagegen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (SVR 2008 IV Nr. 23 S. 71 E. 2.2, I 683/06).
2. In somatischer Hinsicht hält die Vorinstanz fest, der Beschwerdeführer habe gemäss diversen ärztlichen Berichten am 26. Mai 2004 ein Verhebetrauma erlitten. Er sei vom 30. September bis 15. Oktober 2004 in der Klinik für Rheumatologie und Rehabilitation, Spital X._, hospitalisiert gewesen. Am 10. November und 15. Dezember 2004 sei er in dieser Institution erneut untersucht worden. Am 20. Dezember 2004 habe Dr. med. T._, Oberarzt des Spitals, festgehalten, aus rein rheumatologischer Sicht sei dem Beschwerdeführer eine leichte bis mittelschwere Tätigkeit tagsüber mit vermehrten Pausen zumutbar. Eine wesentliche, sich aus strukturellen Befunden ableitende Behinderung bestehe nicht. Wenn das kantonale Gericht auf dieser Grundlage zum Ergebnis gelangte, das festgestellte chronische lumbospondylogene Syndrom mit/bei degenerativen Veränderungen L4/5 und L5/S1 stehe der Zumutbarkeit einer leichten bis mittelschweren angepassten Tätigkeit im Umfang von 100 % nicht entgegen, lässt sich dies nicht als offensichtlich unrichtig bezeichnen. Die vorinstanzliche Beurteilung der Arbeitsfähigkeit aus Sicht des somatischen Gesundheitszustandes wird denn auch in der Beschwerdeschrift nicht beanstandet.
3. 3.1 Das kantonale Gericht ging auch aus psychiatrischer Sicht von einer vollen Arbeitsfähigkeit aus. Es erwog, Dr. med. H._ lege in seinem Gutachten vom 1. Februar 2006 überzeugend dar, beim Beschwerdeführer liege keine posttraumatische Belastungsstörung, sondern eine anhaltende somatoforme Schmerzstörung im Rahmen eines Entwurzelungssyndroms vor. Eine diagnostizierte anhaltende somatoforme Schmerzstörung vermöge in der Regel keine lange dauernde, zu einer Invalidität führende Einschränkung der Arbeitsfähigkeit zu bewirken. Die Voraussetzungen für die ausnahmsweise Annahme des invalidisierenden Charakters dieser Störung (<ref-ruling> E. 2.2.3 S. 354) seien nicht erfüllt.
3.2 Der Beschwerdeführer lässt ausführen, der behandelnde Arzt Dr. med. K._, die Psychologin lic. phil. S._ und der psychatrische Gutachter Dr. med. H._ seien übereinstimmend von einer vollständigen Arbeitsunfähigkeit ausgegangen, dies gestützt auf die Diagnosen "posttraumatische Belastungsstörung" respektive "somatoforme Schmerzstörung". Auch seien sie allesamt von einer schlechten Prognose hinsichtlich einer allfälligen Behandlung ausgegangen. Dr. med. H._ habe in seinem Gutachten vom 1. Februar 2006 erklärt, die Differenzialdiagnose sei in Bezug auf den Zweck des Gutachtens, nämlich Beurteilung und Arbeitsfähigkeit, unwichtig. Die Bedeutung der Diagnose sei ihm somit nicht bewusst gewesen. Der Gutachter habe die Rechtsprechung <ref-ruling> nicht gekannt, aber auf Nachfrage der Verwaltung ohne weitere Begründung seine Einschätzung einer vollständigen Arbeitsunfähigkeit in jene einer vollständigen Arbeitsfähigkeit geändert. Eine Begründung hierfür, welche die Organe der Rechtsanwendung nachvollziehen könnten, liege nicht vor. Die von der erwähnten Rechtsprechung entwickelten Kriterien für die Anerkennung des invalidisierenden Charakters einer somatoformen Schmerzstörung seien erfüllt.
3.3 Zu prüfen ist zunächst, ob die Beweiskraft des Gutachtens von Dr. med. H._ durch die Einflussnahme des RAD-Arztes geschmälert wird.
3.3.1 Das Bundesgericht hat eine unzulässige Beeinflussung in einem Fall bejaht, in welchem der RAD-Arzt in einem vor der Begutachtung geführten Telefonat mit dem Experten materiell über den Fall sprach und ihn - gemäss Eintrag im Verlaufsprotokoll - von seiner Meinung, die Diagnose einer schweren depressiven Episode sei nicht ausgewiesen, zu überzeugen vermochte (SVR 2007 IV Nr. 39 S. 132 E. 3.3, I 1051/06).
3.3.2 Wie die Vorinstanz festhält, führt Dr. med. H._ im Gutachten vom 1. Februar 2006 unter anderem aus, beim Ereignis vom 26. Mai 2004 handle es sich nicht um ein Psychotrauma. Er gehe daher mit dem RAD-Arzt Dr. med. B._ einig, wonach die Arbeitsunfähigkeit des Beschwerdeführers nicht auf ein psychisches Ereignis zurückgeführt werden könne. Diese Aussage erfolgte nach Lage der Akten gestützt auf den Begutachtungsauftrag der IV-Stelle vom 27. Dezember 2005 und in Beantwortung der diesem Auftrag beigelegten zusätzlichen Fragen von Dr. med. B._. Der RAD-Arzt erklärte, es werde eine posttraumatische Belastungsstörung und eine Schmerzverarbeitungsstörung postuliert. Ihm sei nicht ganz klar, weswegen der Versicherte "seit der Einreise Dezember 1992 (November 1997 bis Mitte 2004 voll gearbeitet)" trotzdem habe arbeiten können, also keine Beeinträchtigung durch die postulierte "posttraumatische Belastungsstörung" gehabt habe, "und nun seit Mitte 2004 (Auslöser war ein somatisches, und nicht psychisches Ereignis) dies nicht mehr möglich ist-"
Eine unzulässige Beeinflussung eines Gutachters ist grundsätzlich nicht nur in Form eines Telefonats mit der bei dieser Kommunikationsform zwingend fehlenden verfahrensmässigen Transparenz, sondern auch durch andere nicht im Dossier festgehaltene, den materiellen Aspekt des Falles betreffende Kontakte zwischen Verwaltung und Experte denkbar. Sie kann sich grundsätzlich auch aus offensichtlich suggestiven Fragestellungen ergeben. Die IV-Stelle hat jedoch die speziellen Fragen von Dr. med. B._ im Dossier festgehalten und damit transparent gemacht. Inhaltlich können diese nicht als unzulässige Beeinflussung gewertet werden. Die zusätzlichen Fragen des RAD-Arztes vermögen daher den Beweiswert des Gutachtens von Dr. med. H._ nicht zu schmälern.
3.3.3 Die nach der Erstattung des Gutachtens vom 1. Februar 2006 erfolgte Intervention von Dr. med. B._, deren Inhalt in Form von Ergänzungsfragen der IV-Stelle an den Experten ebenfalls aus dem Dossier ersichtlich ist, betraf, wie die Vorinstanz zu Recht festhält, nicht mehr den spezifisch medizinischen Aspekt. Von einer unzulässigen Beeinflussung des Experten kann deshalb auch insoweit nicht gesprochen werden.
3.3.3 Die nach der Erstattung des Gutachtens vom 1. Februar 2006 erfolgte Intervention von Dr. med. B._, deren Inhalt in Form von Ergänzungsfragen der IV-Stelle an den Experten ebenfalls aus dem Dossier ersichtlich ist, betraf, wie die Vorinstanz zu Recht festhält, nicht mehr den spezifisch medizinischen Aspekt. Von einer unzulässigen Beeinflussung des Experten kann deshalb auch insoweit nicht gesprochen werden.
3.4 3.4.1 In Bezug auf den psychischen Gesundheitszustand führt die Vorinstanz aus, der Beschwerdeführer leide an einer somatoformen Schmerzstörung. Eine weitere psychische Beeinträchtigung sei zu verneinen. Die somatische Komponente beschränke sich auf das diagnostizierte Rückenleiden, welches gemäss ärztlicher Einschätzung bei fehlender struktureller Ursache wesentlich durch die Schmerzfixierung des Beschwerdeführers geprägt sei. Es bestünden keine Hinweise auf einen vollständigen sozialen Rückzug oder auf einen primären Krankheitsgewinn. Diese Feststellungen sind tatsächlicher Natur und damit für das Bundesgericht grundsätzlich verbindlich (E. 1.2 hiervor). Die Vorbringen des Beschwerdeführers sind nicht geeignet, sie als offensichtlich unrichtig erscheinen zu lassen. Ebenso wenig kann dem kantonalen Gericht vorgeworfen werden, es habe im Zusammenhang mit den getroffenen Feststellungen eine Bundesrechtsverletzung begangen.
3.4.2 Auf der Grundlage der genannten Feststellungen ist der Vorinstanz darin beizupflichten, dass der somatoformen Schmerzstörung des Beschwerdeführers keine invalidisierende Wirkung zukommt. Dementsprechend ist die Anspruchsbeurteilung des kantonalen Gerichts korrekt. Die Beschwerde ist abzuweisen.
4. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten sind dem Beschwerdeführer als der unterliegenden Partei aufzuerlegen (<ref-law>). Ihm kann die unentgeltliche Rechtspflege im Sinne der Befreiung von den Gerichtskosten gewährt werden, da die Bedürftigkeit erstellt ist und die Beschwerde nicht als aussichtslos zu bezeichnen war (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Oktober 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Flückiger