Sachverhalt: A. A.a Der 1950 geborene M._ meldete sich am 9. März 1998 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 28. Juli 2000 lehnte die IV-Stelle Zürich die Zusprechung einer Invalidenrente ab. Das Sozialversicherungsgericht des Kantons Zürich hiess die hiegegen erhobene Beschwerde mit Entscheid vom 31. Oktober 2001 in dem Sinne teilweise gut, dass es die Verfügung vom 28. Juli 2000 aufhob und die Sache an die IV-Stelle zurückwies, damit diese nach Durchführung ergänzender Abklärungen im Sinne der Erwägungen über den Rentenanspruch neu verfüge. A.b Die IV-Stelle des Kantons Zürich holte hierauf ein Gutachten der Medizinischen Abklärungsstelle (Medas) vom 30. Januar 2003 ein und zog die Akten der SUVA betreffend einem Arbeitsunfall bei, den der Versicherte am 13. Januar 1997 erlitten hatte. Nach Durchführung des Vorbescheidverfahrens sprach sie ihm mit Verfügungen vom 6. Juni 2007 und 19. Juli 2007 rückwirkend ab 1. Januar 1998 eine halbe Invalidenrente nebst einer Kinderrente auf der Grundlage eines Invaliditätsgrades von 58 % zu. B. M._ liess Beschwerde führen mit dem Rechtsbegehren, es sei ihm ab 1. Januar 1998 eine ganze Invalidenrente zuzusprechen. Mit Entscheid vom 31. Januar 2008 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ sein vorinstanzliches Rechtsbegehren erneuern und ersucht um Bewilligung der unentgeltlichen Rechtspflege. Die IV-Stelle beantragt Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) hat auf eine Vernehmlassung verzichtet.