Sachverhalt:
A. Der 1953 geborene B._ arbeitete seit 1. Januar 2000 als EDV-Administrator bei der C._. Am 26. Juni 2005 zog er sich bei einem Sturz beim Fussballspielen eine intraligamentäre Patellarsehnenruptur zu. Er musste sich deswegen am gleichen Tag im Spital D._ einem operativen Eingriff unterziehen. Am 4. September 2006 meldete sich B._ bei der Invalidenversicherung zum Rentenbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht und die beigezogenen Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) sowie des Krankentaggeldversicherers und nach Rücksprache mit dem regionalen ärztlichen Dienst ermittelte die IV-Stelle des Kantons Zürich einen Invaliditätsgrad von 39 %. Mit Verfügung vom 31. März 2008 lehnte sie daher das Rentengesuch ab.
B. Die vom Versicherten hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich nach Beizug der SUVA-Akten betreffend den Unfall vom 26. Juni 2005 mit Entscheid vom 8. November 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine Invalidenrente zuzusprechen; eventuell sei die Sache zu ergänzenden medizinischen Abklärungen und neuer Verfügung an die IV-Stelle zurückzuweisen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über den Anspruch auf eine Invalidenrente (<ref-law>), den Umfang des Rentenanspruchs (<ref-law>), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law> in Verbindung mit <ref-law>) und die Bedeutung ärztlicher Auskünfte für die Belange der Invaliditätsschätzung (<ref-ruling> E. 4 S. 261) sowie den in zeitlicher Hinsicht für die gerichtliche Beurteilung massgebenden Sachverhalt (<ref-ruling> E. 2.1 S. 140) zutreffend wiedergegeben. Darauf wird verwiesen.
3. 3.1 Aufgrund der umfangreichen medizinischen Akten stellte das Sozialversicherungsgericht in Übereinstimmung mit der Verwaltung fest, dem Beschwerdeführer sei die bisher ausgeübte Tätigkeit im EDV-Support nicht mehr zumutbar. Hingegen wäre er in der Lage, eine seiner Behinderung angepasste leichte Arbeit zu 100 % zu verrichten. Die in erster Linie behindernden Kniebeschwerden ständen der Ausübung einer entsprechenden Tätigkeit nicht entgegen. Gleiches gelte für das seit Jahren persistierende Rückenleiden. Die Vorinstanz erachtete es als erwiesen, dass seit dem stationären Aufenthalt des Versicherten in der Klinik E._ vom 23. Juli bis 5. August 2007 bis zum Erlass der Verwaltungsverfügung am 31. März 2008 keine erhebliche Verschlechterung des Gesundheitszustandes eingetreten sei. Zwar sei SUVA-Kreisarzt Dr. med. M._ in seinem Bericht vom 7. Mai 2008 auf seine frühere Einschätzung der Arbeitsunfähigkeit zurückgekommen. Der Grund dafür sei jedoch darin zu suchen, dass der Kreisarzt über die bisherige Tätigkeit des Beschwerdeführers nicht im Bilde und von einer sitzenden Tätigkeit ausgegangen war. Spätere Arbeitsunfähigkeitsbescheinigungen liessen keine Rückschlüsse auf die Situation bei Verfügungserlass zu. Für eine Krankheitswertigkeit der psychischen Probleme bestünden sodann keine hinreichenden Anhaltspunkte.
3.2 Der Beschwerdeführer macht im Wesentlichen geltend, die Vorinstanz verkenne, dass er seit Juni 2005 von der SUVA ein Taggeld für volle Arbeitsunfähigkeit bezieht. Dieser Umstand sei auch für die Invalidenversicherung relevant; für die Bemessung des Taggeldanspruchs gegenüber der Unfallversicherung werde nach einer gewissen Zeit auch auf den allgemeinen Arbeitsmarkt abgestellt. Ferner habe das kantonale Gericht es unterlassen, die Akten der SUVA beizuziehen. Damit habe es sein rechtliches Gehör verletzt. Nicht gefolgt werden könne der Vorinstanz auch insoweit, als sie feststellte, er hätte zum Verfügungszeitpunkt eine vollzeitliche Erwerbstätigkeit ausüben können. Es sei unzulässig, die Beeinträchtigungen in Knie-, Rücken- und psychische Beschwerden aufzuteilen. Vielmehr hätte eine interdisziplinäre Abklärung vorgenommen werden müssen. Indem die Vorinstanz auf eine solche verzichtet hat, habe sie den Sachverhalt ungenügend abgeklärt. Schliesslich verweist der Versicherte auf den Bericht der Universitätsklinik F._ über die von der SUVA veranlasste Untersuchung vom 17. Juli 2009. Darin werde die Arbeitsunfähigkeit in einer angepassten Tätigkeit auf 50 % geschätzt.
4. Gemäss den verbindlichen Feststellungen der Vorinstanz (E. 1 hievor) war es dem Beschwerdeführer zum Zeitpunkt des Verfügungserlasses vom 31. März 2008 mit Blick auf die Rückenbeschwerden, die Unfallfolgen im Bereich des linken Knies und die psychische Beeinträchtigung möglich und zumutbar, eine leidensangepasste Arbeit in einem vollen Pensum zu verrichten.
Was in der Beschwerde eingewendet wird, ist nicht geeignet, die vorinstanzliche Feststellung des rechtserheblichen medizinischen Sachverhalts als offensichtlich unrichtig oder auf einer anderweitigen Bundesrechtsverletzung beruhend erscheinen zu lassen. Zunächst ist festzuhalten, dass das Sozialversicherungsgericht entgegen den Ausführungen in der Beschwerde die (Original) Akten der SUVA betreffend den Unfall vom 26. Juni 2005 beigezogen und die entsprechenden ärztlichen Angaben berücksichtigt hat. Soweit der Beschwerdeführer behauptet, die Invalidenversicherung sei an den von der SUVA ermittelten Invaliditätsgrad gebunden, kann ihm nicht gefolgt werden, abgesehen davon, dass bislang keine Rentenverfügung der Unfallversicherung ergangen ist; eine Bindung des für die Invalidenversicherung massgebenden Invaliditätsgrades an den von der Unfallversicherung zugrunde gelegten Arbeitsunfähigkeitsgrad lässt sich schon rein begrifflich nicht vertreten, sind Arbeitsunfähigkeit und Invalidität doch nicht deckungsgleich. Der von den SUVA-Ärzten festgelegte, die Unfallfolgen betreffende Arbeitsunfähigkeitsgrad ist insofern für die Invalidenversicherung nicht relevant. Dass die SUVA dem Beschwerdeführer seit dem Unfall zunächst ein Taggeld von 100 % und seit 18. November 2009 bis 17. Februar 2010 noch ein solches von 50 % ausgerichtet hat, trifft zu. Da sich der nach dem Unfall bescheinigte Grad der Arbeitsunfähigkeit indessen auf die versicherte Tätigkeit im EDV-Support bezogen hat und selbst noch in der Verfügung vom 23. November 2009 auf die frühere Beschäftigung als leitender EDV-Mitarbeiter Bezug genommen wurde, kann der Beschwerdeführer aus dem Taggeldbezug für die Invaliditätsbemessung nichts zu seinen Gunsten ableiten. Des Weiteren hat die Vorinstanz die verschiedenen Beschwerden einer gesonderten Beurteilung unterzogen; die für die Festlegung der Arbeitsunfähigkeit und damit die Invaliditätsbemessung bedeutsame Einschränkung in der Leistungsfähigkeit hat sie indessen gesamthaft gewürdigt. Der Vorwurf, das kantonale Gericht sei mit der Aufteilung der verschiedenen Beschwerden nicht korrekt vorgegangen, zielt daher ins Leere.
Da der medizinische Sachverhalt nicht offensichtlich unrichtig festgestellt wurde, keine Verletzung des Untersuchungsgrundsatzes und auch kein Verstoss gegen das rechtliche Gehör vorliegen, ist dem Eventualantrag auf Rückweisung der Sache an die Verwaltung zu ergänzenden Abklärungen und neuer Verfügung nicht stattzugeben. Schliesslich hat die von der SUVA veranlasste Untersuchung in der Universitätsklinik F._, vom 14. Juli 2009 ausser Acht zu bleiben, da sich die Abklärungsergebnisse nicht auf den für die richterliche Beurteilung massgebenden Sachverhalt im Zeitpunkt des Verfügungserlasses vom 31. März 2008 beziehen.
5. Der vom kantonalen Gericht durchgeführte Einkommensvergleich, der einen Invaliditätsgrad von 33 % ergeben hat, wird vom Beschwerdeführer nicht beanstandet, weshalb darauf nicht einzugehen ist.
6. Dem Gesuch um Bewilligung der unentgeltlichen Rechtspflege ist stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Der Beschwerdeführer wird jedoch auf <ref-law> hingewiesen. Danach hat er der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwältin Lotti Sigg Bonazzi wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Februar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer