Sachverhalt:
A. A.a Der 1965 geborene D._ meldete sich wegen den Folgen eines am 20. April 1997 erlittenen Autounfalls, bei dem er sich verschiedene Frakturen und andere Verletzungen zugezogen hatte, am 21. April 1998 zum Leistungsbezug bei der Invalidenversicherung an. Mit Entscheid vom 30. Mai 2001 bejahte das Sozialversicherungsgericht des Kantons Zürich für die Zeit vom 1. April bis 30. September 1998 den Anspruch auf eine ganze, für den Monat Oktober 1998 auf eine halbe und für die Zeit ab November 1998 bis Juli 1999 auf eine ganze Rente der Invalidenversicherung. Zur Abklärung des Rentenanspruchs ab August 1999 wies es die Sache an die IV-Stelle des Kantons Zürich zurück. Nach zusätzlichen medizinischen Abklärungen verneinte diese mit Verfügung vom 6. Juli 2005 und Einspracheentscheid vom 16. Dezember 2005 weitergehende Leistungsansprüche. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich teilweise gut, indem es erkannte, D._ stehe bis 30. Juni 2000 und vom 1. September 2002 bis 31. Januar 2003 eine ganze Rente der Invalidenversicherung zu sowie vom 1. Februar bis 31. März 2003 bestehe Anspruch auf eine halbe Invalidenrente (Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 19. März 2007, bestätigt mit bundesgerichtlichem Urteil 8C_234/2007 vom 14. November 2007).
A.b Wenige Wochen später am 22. Dezember 2007 machte D._ eine Verschlechterung seines Gesundheitszustandes geltend. Dr. med. G._, Facharzt FMH für Psychiatrie und Psychotherapie, stellte anlässlich einer psychiatrischen Abklärung (mit Bericht vom 2. Juli 2008) gegenüber dem Gutachten der MEDAS vom 12. März 2003 keine Diskrepanz fest. Am 4. Juli 2008 wurde D._ in der interdisziplinären Schmerzsprechstunde des Spitals X._ beurteilt. Elektrophysiologische Untersuchungen an der Augenklinik des Spitals X._ (vom 24. und 28. Januar 2008) ergaben sodann eine traumatische Opticusneuropathie links (eventuell wenig rechts). Nach einer vom 4. Juni bis 4. August 2008 dauernden ambulanten Rehabilitationsbehandlung am Medizinischen Zentrum Y._ kam dieses zum Schluss, der Versicherte sei seit der rund elf Jahre dauernden Erkrankung vollständig arbeitsunfähig (Bericht vom 7. November 2008). Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie FMH, vom Regionalen Ärztlichen Dienst (RAD) der IV-Stelle des Kantons Zürich, hielt in seinem Untersuchungsbericht vom 19. Mai 2009 keine wesentliche Veränderung zu der psychiatrischen Begutachtung durch Dr. med. G._ im Juni 2008 fest. Die IV-Stelle wies gestützt hierauf verfügungsweise am 28. August 2009 das Leistungsbegehren ab.
B. Die dagegen geführte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich am 11. Februar 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ das Rechtsbegehren stellen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids ab wann rechtens, spätestens ab Dezember 2006, eine ganze Rente der Invalidenversicherung zuzusprechen. Eventualiter sei die Sache im Sinne der Erwägungen zu ergänzenden Abklärungen und neuer Entscheidung an die Vorinstanz oder die IV-Stelle zurückzuweisen. Ferner wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Vorinstanz, IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 130 III 136 E. 1.4 S. 140). Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
2. Nachdem die Verwaltung auf die Neuanmeldung (Art. 87 Abs. 4 IVV in Verbindung mit Art. 87 Abs. 3 IVV) eingetreten ist, hat die Vorinstanz zu Recht nur geprüft, ob seit Erlass des Einspracheentscheids vom 16. Dezember 2005, mit welchem die IV-Stelle eine Rentenzusprechung ab August 1999 abgelehnt hatte, bis zum Datum der vorliegend streitigen Verfügung vom 28. August 2009 eine wesentliche Verschlechterung des Gesundheitszustands des Versicherten eingetreten ist und wiederum ein rentenbegründender Invaliditätsgrad vorliegt. Das kantonale Gericht hob im damaligen Verfahren den Einspracheentscheid (vom 16. Dezember 2005) teilweise auf, indem es befristete Renten bis 31. März 2003 zusprach. Diese Zusprechung befristeter Renten für Zeitperioden vor dem 16. Dezember 2005 verändert den massgebenden Bezugszeitpunkt jedoch nicht.
3. 3.1 In medizinischer Hinsicht hat die Vorinstanz nach einlässlicher Würdigung der umfangreichen ärztlichen Unterlagen, namentlich des früheren Gutachtens der MEDAS vom 12. Mai 2003, der Berichte des Dr. med. dipl. psych. O._, FMH Psychiatrie und Psychotherapie, vom 14. August 2008, des Dr. med. A._, Facharzt für Allgemeinmedizin FMH, vom 6. März 2008 und des Dr. med. Z._, Facharzt für Allgemeinmedizin, vom 26. März 2008, aber auch der beim Psychiater Dr. med. G._ in Auftrag gegebenen Expertise (vom 2. Juli 2008) sowie des psychiatrischen Untersuchungsberichts des Arztes des Regionalen Ärztlichen Dienstes (RAD), Dr. med. H._ (vom 19. Mai 2009), festgehalten, dass gegenüber dem Einspracheentscheid vom 16. Dezember 2005 eine unveränderte Arbeitsfähigkeit in einer angepassten Tätigkeit von 75 % bestünde.
3.2 Diese Feststellung ist das Resultat einer sorgfältigen Beweiswürdigung, beschlägt tatsächliche Aspekte und ist daher für das Bundesgericht verbindlich (Art. 105 Abs. 1 BGG), soweit das kantonale Gericht den rechtserheblichen Sachverhalt nicht offensichtlich unrichtig oder in Verletzung von Bundesrecht festgestellt hat (Art. 97 Abs. 1 in Verbindung mit Art. 95 lit. a BGG). Eine derartige Sachverhaltsfeststellung ist entgegen der Behauptung des Beschwerdeführers nicht erkennbar, noch ist in der vorinstanzlichen Ablehnung von Beweisweiterungen eine Verletzung des Untersuchungsgrundsatzes oder des rechtlichen Gehörs zu erblicken.
3.3 Entgegen den Ausführungen in der Beschwerde hat die Vorinstanz mit Blick auf die psychischen Leiden zu Recht nicht auf die Beurteilung der behandelnden Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie FMH und Dr. phil. S._, Klinischer Psychologe und Supervisor, des Medizinischen Zentrums Y._ abgestellt. Diese diagnostizierten in ihren Berichten vom 1. September 2008, 7. November 2008 (dort unterzeichnete noch lic. phil. C._, Psychologin FSP) und vom 17. September 2009 eine schwere depressive Episode, eine Migräne ohne Aura, Übergewicht sowie ein Status nach Schädel-Hirntrauma. Die Frage nach einer allfälligen hirnorganischen Läsion aufgrund des Unfalles vom 20. April 1997 wurde indessen bereits durch den Neurologen Dr. med. B._ im Rahmen einer am 26. März 2002 durchgeführten konsiliarischen Untersuchung ausgeschlossen. Diese Erkenntnis wurde später im MEDAS-Gutachten vom 12. Mai 2003 bestätigt. Der Psychiater Dr. med. F._ und der Psychologe Dr. phil. S._ gingen also - ausserhalb ihres Fachgebietes - von einer falschen neurologischen Diagnose (Status nach Schädel-Hirntrauma) aus, obwohl sie sich nach Konsultation der den Verfahrensbeteiligten bekannten Akten hätten vergewissern können, dass sich der Beschwerdeführer kein Schädel-Hirntrauma zugezogen hatte. Die Diagnose einer Migräne stellten sie ferner ohne Begründung, obwohl eine solche weder im Gutachten der MEDAS noch in demjenigen des Dr. med. G._ aufgeführt ist. Auch Dr. med. H._ erwähnte keine entsprechende Diagnose. Dr. med. F._ und Dr. phil. S._ betrachteten schliesslich eine schwere depressive Episode als gegeben und begründen damit eine schon seit elf Jahren und demnach schon vor dem 16. Dezember 2005 bestehende 100%ige Arbeitsunfähigkeit. Dr. med. G._ und Dr. med. H._ diagnostizierten demgegenüber lediglich eine leichte depressive Episode, beziehungsweise eine leichte depressive anhaltende Störung. Dabei handelt es sich aber um eine unterschiedliche Beurteilung eines grundsätzlich gleichen Leidens, wobei festzustellen ist, dass Dr. med. F._ und Dr. phil. S._ sich nicht mit den invalidenversicherungsrechtlich irrelevanten psychosozialen Faktoren, auf welche Dr. med. G._ in seinem Gutachten ausdrücklich hinwies, auseinandersetzten. Die unterschiedliche Wertung der depressiven Episode (leicht oder schwer) und die daraus abgeleitete Arbeitsfähigkeit resultieren aus der Verschiedenheit von Behandlungsauftrag einerseits und Begutachtungsauftrag andererseits (vgl. dazu das Urteil 9C_842/2009 vom 17. November 2009 E. 2.2 mit Hinweisen). Auch der den Beschwerdeführer bis ca. Ende 2007 behandelnde Psychiater Dr. med. O._ ging am 14. Januar 2008 von einer stationären Situation aus, wenn er vermerkte, dass sich seit seinem letzten Bericht keine Veränderung ergeben hätte, wobei er ebenfalls der Auffassung war, es liesse sich lediglich eine leichte depressive Symptomatik beschreiben (Wiedergabe des Telefonates von Dr. med. G._ mit Dr. med. O._). Überdies belegten Dr. med. F._ und Dr. med. S._ mit ihrer am 8. November 2008 gemachten Angabe, die Erkrankung und die 100%ige Arbeitsunfähigkeit bestünden bereits seit elf Jahren, selber, dass sich gegenüber dem massgebenden Zeitpunkt (16. Dezember 2005) keine relevante Veränderung des Gesundheitszustands eingestellt hatte.
3.4 Das kantonale Gericht legte sodann zutreffend dar, dass auch im somatischen Bereich keine wesentliche Veränderung des Gesundheitszustands mit Auswirkung auf die Arbeitsfähigkeit ausgewiesen ist. Es hat sich mit dem Bericht des Dr. med. L._, Spezialarzt FMH für Chirurgie, Wirbelsäulenleiden, Schleudertrauma und orthopädische Traumatologie, vom 26. August 2009 auseinandergesetzt und überzeugend die Gründe dargelegt, weshalb es darin keinen Beleg für eine Verschlechterung des Gesundheitszustandes zu erkennen vermochte, wobei auch Dr. med. Z._, der den Beschwerdeführer während Jahren als Hausarzt betreute, am 26. März 2008 seit Jahren objektiv unveränderte Befunde feststellte und gleichzeitig auf bestehende soziale (und somit invaliditätsfremde) Probleme verwies.
3.5 Bestehen keine erheblichen Zweifel an Vollständigkeit und Richtigkeit der Feststellung, dass sich der Gesundheitszustand des Beschwerdeführers seit Dezember 2005 nicht leistungserheblich verändert hat (vgl. Urteil 8C_364/2007 vom 19. November 2007 E. 3.2), sah das kantonale Gericht zu Recht von einer weiteren Beweiserhebung ab (vgl. BGE 124 V 90 E. 4b S. 94; 122 V 157 E. 1d S. 162). Dem Eventualantrag auf Rückweisung der Sache zu ergänzender Abklärung kann daher nicht entsprochen werden. Die Beschwerde ist unbegründet.
4. Nach Gesetz (Art. 64 BGG) und Praxis sind in der Regel die Voraussetzungen für die Bewilligung der unentgeltlichen Prozessführung und Verbeiständung erfüllt, wenn der Prozess nicht aussichtslos erscheint, die Partei bedürftig und die anwaltliche Verbeiständung notwendig oder doch geboten ist (BGE 125 V 201 f. E. 4a und 371 f. E. 5b, je mit Hinweisen). Nachdem die Vorinstanz in ihrem Entscheid die Sachverhalts- und Rechtslage einlässlich darlegte und begründete und in der Beschwerde dagegen nichts Erhebliches vorgebracht wird, war diese von vornherein aussichtslos. Das Gesuch um unentgeltliche Rechtspflege ist somit abzuweisen (BGE 129 I 129 E. 2.3.1 S. 135 f.; Urteil 8C_1076/2009 vom 21. Januar 2010 E. 4).
5. Der unterliegende Beschwerdeführer trägt die Gerichtskosten (Art. 66 Abs. 1 BGG). Die obsiegende IV-Stelle hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG; SVR 2009 UV Nr. 11 S. 45 E. 11 [8C_606/2007]).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. September 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Polla