Sachverhalt:
A. Der 1977 geborene F._ reiste 1998 aus Mazedonien in die Schweiz ein. Ab 1999 arbeitete er als Chauffeur bei der Auslieferung von Videokassetten und CDs, wobei er am 6. November 2000 mit dem Auto verunfallte und sich nebst einer Thoraxkontusion mit Rippenfrakturen eine Halswirbelsäulen-Kontusion und eine Hirnerschütterung zuzog. Einen weiteren (Auffahr-)Unfall erlitt F._ am 8. Februar 2002. Dieser führte zu einer vorübergehenden Exacerbation der HWS-Beschwerden. Am 1. März 2002 meldete er sich wegen Schmerzen im Bereich der Hals- und Lendenwirbelsäule, Kopfschmerzen und Schwindel bei der Invalidenversicherung zum Leistungsbezug an. Der Versicherte nahm nach dem ersten Unfall keine Erwerbstätigkeit mehr auf. Das Bundesgericht bestätigte mit Urteil vom 10. Juli 2009 die von der Unfallversicherung per 31. Juli 2005 verfügte Einstellung der Versicherungsleistungen mangels adäquater Kausalität zwischen den geltend gemachten Gesundheitsschäden und dem versicherten Unfall. Nach einem langjährigen Verlauf mit verschiedenen spezialmedizinischen Untersuchungen, insbesondere einer polydisziplinären Abklärung an der Abklärungsstelle X._ vom 22. September 2008, verneinte die IV-Stelle einen Leistungsanspruch, da weder eine langandauernde Arbeitsunfähigkeit bestanden habe, noch aktuell eine solche bestehe, weshalb keine Invalidität vorliege (Verfügung vom 3. Februar 2009).
B. Die hiegegen erhobene Beschwerde des F._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 4. März 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt F._ unter Aufhebung des angefochtenen Entscheides beantragen, es sei ihm ab November 2001 mindestens eine halbe Rente auszurichten, eventuell sei ein Obergutachten einzuholen. Zudem wird um unentgeltliche Rechtspflege ersucht.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
Der aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitszustand und die damit einhergehende Arbeitsfähigkeit betreffen eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsverletzungen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> f. E. 5.1 mit Hinweis). Die Rüge einer rechtsfehlerhaften Sachverhaltsfeststellung darf sich grundsätzlich nicht darauf beschränken, den bestrittenen Feststellungen des kantonalen Gerichts den nach eigener Auffassung richtigen Sachverhalt gegenüberzustellen oder die eigene Beweiswürdigung zu erläutern. Vielmehr ist hinreichend genau anzugeben, inwiefern die vorinstanzlichen Feststellungen rechtswidrig oder mit einem klaren Mangel behaftet sind. Eine diesen Anforderungen nicht genügende (appellatorische) Kritik ist unzulässig (Urteil 9C_569/2008 vom 1. Oktober 2008 E. 1.2 mit Hinweisen). Die konkrete Beweiswürdigung ist wie die darauf beruhende Sachverhaltsfeststellung ebenfalls nur unter diesem eingeschränkten Blickwinkel überprüfbar (Urteil 8C_585/2009 vom 5. Januar 2010 E. 1.2 mit Hinweisen).
2. 2.1 Die streitige Verfügung datiert vom 3. Februar 2009. Somit sind für die Zeit bis Ende 2003 sowie bis Ende 2007 die damals geltenden Bestimmungen und ab 1. Januar 2004 bzw. ab 1. Januar 2008 die neuen Normen der 4. bzw. 5. IV-Revision anzuwenden (<ref-ruling> E. 3.1.1 S. 220, 130 V 445). Dies ist materiellrechtlich jedoch ohne Belang, weil diese IV-Revisionen bezüglich der Invaliditätsbemessung keine substanziellen Änderungen gebracht haben, sodass die zur altrechtlichen Regelung ergangene Rechtsprechung weitergilt (Urteil 8C_249/2010 vom 1. Juni 2010 E. 2.1). Neu normiert wurde hingegen im Rahmen der 5. IV-Revision der Rentenbeginn (<ref-law>), was angesichts des beantragten Rentenbeginns ab 6. November 2001 vorliegend ebenfalls ohne Belang bleibt.
2.2 Das kantonale Gericht hat die Grundlagen über die Invalidität (<ref-law>; <ref-law>) richtig dargelegt. Gleiches gilt hinsichtlich der Ausführungen über den invalidisierenden Charakter psychischer Gesundheitsschäden (<ref-ruling> E. 1.2 S. 50 f.; <ref-ruling> ff., 396 ff.), die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 mit Hinweis) und den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232 mit Hinweis). Darauf wird verwiesen.
3. 3.1 Die Vorinstanz erwog nach eingehender Darstellung der medizinischen Aktenlage, das Gutachten der Abklärungsstelle X._ vom 22. September 2008 ermögliche insgesamt eine abschliessende und rechtskonforme Beurteilung und erfülle die an den Beweiswert ärztlicher Gutachten gestellten Anforderungen. Es lägen keine konkreten Indizien vor, welche gegen seine Zuverlässigkeit sprächen. Demgemäss habe nach dem Unfallereignis vom 6. November 2000 aus somatischer Sicht maximal für die Dauer von drei Monaten, nach dem zweiten für allenfalls zwei bis drei Wochen, eine Arbeitsunfähigkeit vorgelegen. Das kantonale Gericht setzte sich im weiteren eingehend mit dem psychischen Gesundheitszustand des Beschwerdeführers auseinander. Demnach sei im April 2003 von Dr. med. S._, Facharzt für Psychiatrie und Psychotherapie, zwar die Verdachtsdiagnose einer posttraumatischen Belastungsstörung in psychosozialer Belastungssituation gestellt worden. Diese hätte aber in späteren Abklärungen nicht bestätigt werden können und sie sei auch nicht schlüssig und nachvollziehbar begründet worden, weshalb nicht darauf abgestellt werden könne. Eine um ein Drittel eingeschränkte Arbeitsfähigkeit sei in der Folge von Dr. med. M._ im Gutachten des Medizinischen Zentrums Y._ vom 21. Januar 2005 aufgrund einer diagnostizierten Angst- und depressiven Störung (ICD-10: F41.2) und einer anhaltenden somatoformen Schmerzstörung (ICD-10: F45.4) attestiert worden. Das Gericht setzte sich in der Folge eingehend mit der in BGE <ref-ruling> begründeten Rechtsprechung auseinander und hielt zusammenfassend fest, es liege keine Komorbidität von erheblicher Schwere vor, noch seien die weiteren Kriterien für eine ausnahmsweise invalidisierende Wirkung dieser Diagnosen erfüllt. Aus rechtlicher Sicht sprächen keine hinreichenden Gründe dafür, dass die psychischen Ressourcen es dem relativ jungen Beschwerdeführer nicht erlaubten, trotz seiner Schmerzen eine leichte bis mittelschwere Tätigkeit weiterhin in vollem Umfange auszuüben. Da aus weiteren medizinischen Abklärungen keine neuen Erkenntnisse zu erwarten seien, erübrige sich, solche einzuholen.
3.2 Inwiefern die von der Vorinstanz in diesem Kontext entsprechend und sinngemäss getroffenen Feststellungen offensichtlich unrichtig oder die daraus gezogenen Schlussfolgerungen bundesrechtswidrig sein sollten, tut der Beschwerdeführer nicht dar und ist nach der Aktenlage auch nicht ersichtlich. Wider die Bezeichnung als rechtliche Rügen (offensichtliche unrichtige und rechtsverletzende Sachverhaltsfeststellungen und rechtsfehlerhaftes Ausüben des Ermessens) handelt es sich bei den Beschwerdevorbringen im Wesentlichen um die Behauptung, die tatsächliche Leistungsfähigkeit betrage entgegen den Feststellungen der Vorinstanz lediglich 50 %, womit in unzulässiger Weise appellatorische Kritik am Beweisergebnis der Vorinstanz geübt wird, was im Rahmen von <ref-law> nicht genügt (E. 1 hievor). Wie bereits das kantonale Gericht zutreffend und eingehend begründet dargetan hat, fehlen für einen invalidisierenden psychischen Gesundheitsschaden konkrete Hinweise, weshalb auch keine Veranlassung für weitere medizinische Abklärungen besteht. Schliesslich sind auch die Einwendungen zum Einkommensvergleich unbegründet, da ein solcher entfällt, weil er seine angestammte körperlich leichte Tätigkeit weiterhin ausüben könnte.
Da die Beschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach <ref-law> mit summarischer Begründung erledigt.
4. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist somit abzuweisen. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>), da seinem Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Rechtsvorkehr nicht entsprochen werden kann (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. November 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer