Sachverhalt:
A. Der 1965 geborene S._ arbeitete seit dem 1. Juni 2003 als Barmann/Kellner bei der G._ AG, welche ein Nachtlokal betrieb. Am 1. Dezember 2003 wurde er dort nach Betriebsschluss um 2.15 Uhr Opfer eines bewaffneten Raubüberfalles, bei dem er bedroht und geschlagen wurde. In körperlicher Hinsicht erlitt er nebst oberflächlichen Wunden im Gesicht eine Rippenkontusion. S._ nahm seine berufliche Tätigkeit nach dem Vorfall nicht mehr auf. Das Arbeitsverhältnis wurde per Ende Februar 2004 gekündigt. Die Unfallversicherung erbrachte Leistungen in Form von Taggeld und Heilbehandlung, stellte ihre Leistungen auf den 1. Juli 2005 jedoch ein, da ein adäquater Kausalzusammenhang zwischen dem Ereignis und den persistierenden psychischen Beschwerden nicht mehr bestehe. Dieser Entscheid wurde letztinstanzlich mit Urteil vom 14. April 2008 bestätigt.
Am 17. August 2004 meldete S._ sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte nebst den medizinischen Akten der Unfallversicherung auch Berichte des Hausarztes, Dr. med. B._, Facharzt FMH für innere Medizin, und der behandelnden Psychotherapeutin, lic. phil. L._, ein und liess durch die Dres. med. J._, Facharzt FMH für innere Medizin und Rheumatologie, und I._, Facharzt FMH für Psychiatrie und Psychotherapie, ein bidisziplinäres Gutachten erstellen. Gestützt auf die Expertise vom 14. April 2009 verneinte die IV-Stelle mit Verfügung vom 23. Dezember 2009 bei einem ermittelten Invaliditätsgrad von 34 % einen Rentenanspruch.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. Januar 2011 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides seien ihm die gesetzlich geschuldeten Leistungen, insbesondere eine Rente zuzusprechen. Eventualiter seien weitere Abklärungen des Sachverhaltes vorzunehmen. Im weiteren lässt er um die unentgeltliche Prozessführung ersuchen.
Die IV-Stelle verzichtet mit Hinweis auf die Begründung des angefochtenen Entscheides auf eine Vernehmlassung. Das Bundesamt für Sozialversicherungen lässt sich nicht vernehmen.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255; zur Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung vgl. <ref-ruling>).
2. Streitig und zu prüfen ist der Rentenanspruch, insbesondere die Arbeitsunfähigkeit (<ref-law>) und der Invaliditätsgrad.
2.1 Am 1. Januar 2008 sind die Änderungen des Bundesgesetzes über die Invalidenversicherung (IVG) und anderer Erlasse wie des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2006 (5. IV-Revision, AS 2007 5129 ff.) in Kraft getreten. Bei der Prüfung eines allenfalls schon vorher entstandenen Anspruchs auf eine Rente der Invalidenversicherung sind die allgemeinen intertemporalrechtlichen Regeln heranzuziehen, wonach in zeitlicher Hinsicht diejenigen Rechtssätze massgebend sind, die bei Verwirklichung des zu Rechtsfolgen führenden Sachverhalts galten. Demzufolge ist der vorliegend zu beurteilende Rentenanspruch für die Zeit bis zum 31. Dezember 2007 auf Grund der bisherigen und ab diesem Zeitpunkt - bis zum Erlass der strittigen Verfügung vom 23. Dezember 2009, welcher rechtsprechungsgemäss die zeitliche Grenze der richterlichen Überprüfungsbefugnis bildet (<ref-ruling> E. 3.1.1 S. 220 mit Hinweisen) - nach den neuen Normen zu prüfen (<ref-ruling> E. 1 S. 446 f. [mit Hinweis u.a. auf <ref-ruling>]). Dies fällt materiellrechtlich indessen nicht ins Gewicht, weil die 5. IV-Revision hinsichtlich der Invaliditätsbemessung keine substanziellen Änderungen gegenüber der bis 31. Dezember 2007 gültig gewesenen Rechtslage gebracht hat, sodass die zur altrechtlichen Regelung ergangene Rechtsprechung weiterhin massgebend ist.
2.2 Die Vorinstanz hat die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze über die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> [in der vom 1. Januar 2004 bis 31. Dezember 2007 geltenden Fassungen] und <ref-law>; <ref-ruling> E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 4 S. 99 f. mit Hinweisen; <ref-ruling> E. 3a S. 352 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Das kantonale Gericht hat als Ergebnis seiner ausführlich begründeten Würdigung der medizinischen Unterlagen - insbesondere der Begutachtung der Dres. med. J._ und I._ vom 14. April 2009, welcher es vollen Beweiswert zuerkannte - festgehalten, dass der Beschwerdeführer sowohl in seiner bisherigen Tätigkeit als Kellner/Barmann als auch in einer Verweistätigkeit seit dem Raubüberfall im Dezember 2003 zumutbarerweise zu 70 % arbeitsfähig sei. Es traf im weiteren in antizipierter Beweiswürdigung die Feststellung, dass zusätzliche Abklärungen entbehrlich seien, da der entscheidwesentliche Sachverhalt aus den Akten mit genügender Klarheit hervorgehe und daher keine zusätzlichen Erkenntnisse zu erwarten seien. In einem Einkommensvergleich hat die Vorinstanz bei einem Valideneinkommen von Fr. 60'975.- und einem Invalideneinkommen von Fr. 42'617.- auf einen Invaliditätsgrad von 30 % geschlossen, welcher keinen Anspruch auf eine Invalidenrente begründet (<ref-law>).
4. 4.1 Dass das kantonale Gericht im Rahmen freier Beweiswürdigung (<ref-law>) der im Gutachten der Dres. med. J._ und I._ vom 14. April 2009 in Berücksichtigung der relevanten Vorakten und der geklagten Beschwerden und aufgrund eines bidisziplinären, spezialärztlichen Konsenses für die Zeit ab Dezember 2003 (bis Verfügungserlass am 23. Dezember 2009) attestierten Arbeitsunfähigkeit von 30 % beweismässig ausschlaggebendes Gewicht beigemessen hat, ist - mit Blick auf die vorinstanzlich vollständige und inhaltlich korrekte Darlegung der medizinischen Aktenlage sowie deren sorgfältige und objektive Prüfung (vgl. <ref-ruling> E. 4.1 S. 400), aber auch angesichts der beweisrechtlich bedeutsamen Verschiedenheit von Behandlungs-/Therapieauftrag einerseits und Begutachtungsauftrag andererseits (vgl. <ref-ruling> E. 4 S. 175; s. auch Urteil I 701/05 vom 5. Januar 2007, E. 2 in fine, mit zahlreichen Hinweisen) - weder offensichtlich unrichtig noch willkürlich oder sonstwie bundesrechtswidrig. Das vorinstanzliche Beweisergebnis beruht insbesondere auf einer dem Anspruch auf rechtliches Gehör (<ref-law>) genügenden Auseinandersetzung mit den Einwänden des Versicherten.
4.2 Soweit der Beschwerdeführer letztinstanzlich vorbringt, auf das psychiatrische Gutachten des Dr. med. I._ könne nicht abgestellt werden, da die von diesem Experten gewählte Untersuchungsmethode im konkreten Fall ungenügend beziehungsweise unvollständig gewesen sei, weil er keine fremdanamnestischen Angaben eingeholt habe, ist ihm nicht zu folgen. Bereits das kantonale Gericht hat ausführlich dargelegt, weshalb die Einwände des Versicherten gegen das Gutachten nicht zutreffen. Wenn es zur Hauptsache darauf abgestellt hat, ohne aber die weiteren Berichte von behandelnden und untersuchenden Ärzten ausser Acht zu lassen, nahm es eine Beweiswürdigung vor, die grundsätzlich nur unter der Voraussetzung der offensichtlich unrichtigen oder sonstwie bundesrechtswidrigen Sachverhaltsfeststellung einer Überprüfung durch das Bundesgericht zugänglich ist (E. 1 hievor), was nicht zutrifft und auch nicht substanziiert behauptet wird. Die umfangreichen Vorbringen des Beschwerdeführers, die sich mit dem erwähnten Gutachten und damit mit der vorinstanzlichen Beweiswürdigung befassen, sind daher als unzulässige appellatorische Kritik am angefochtenen Entscheid nicht weiter zu beachten. Hinsichtlich der geforderten fremdanamnestischen Ergänzungen, insbesondere was die persönliche Geschichte des Beschwerdeführers vor seiner Einreise als Flüchtling in die Schweiz betrifft, ist anzufügen, dass auch die den Versicherten bis zum Verfügungszeitpunkt während mehr als fünf Jahren behandelnde Psychologin in ihren Berichten und Zeugnissen keine diesbezüglich relevanten Angaben über irgendwelche die psychische Gesundheit des Patienten gefährdende Erlebnisse schildert. Damit verletzt die vorinstanzliche Feststellung, dass vollumfänglich auf die Ergebnisse gemäss Gutachten vom 14. April 2009 abgestellt werden kann, kein Bundesrecht.
4.2 Soweit der Beschwerdeführer letztinstanzlich vorbringt, auf das psychiatrische Gutachten des Dr. med. I._ könne nicht abgestellt werden, da die von diesem Experten gewählte Untersuchungsmethode im konkreten Fall ungenügend beziehungsweise unvollständig gewesen sei, weil er keine fremdanamnestischen Angaben eingeholt habe, ist ihm nicht zu folgen. Bereits das kantonale Gericht hat ausführlich dargelegt, weshalb die Einwände des Versicherten gegen das Gutachten nicht zutreffen. Wenn es zur Hauptsache darauf abgestellt hat, ohne aber die weiteren Berichte von behandelnden und untersuchenden Ärzten ausser Acht zu lassen, nahm es eine Beweiswürdigung vor, die grundsätzlich nur unter der Voraussetzung der offensichtlich unrichtigen oder sonstwie bundesrechtswidrigen Sachverhaltsfeststellung einer Überprüfung durch das Bundesgericht zugänglich ist (E. 1 hievor), was nicht zutrifft und auch nicht substanziiert behauptet wird. Die umfangreichen Vorbringen des Beschwerdeführers, die sich mit dem erwähnten Gutachten und damit mit der vorinstanzlichen Beweiswürdigung befassen, sind daher als unzulässige appellatorische Kritik am angefochtenen Entscheid nicht weiter zu beachten. Hinsichtlich der geforderten fremdanamnestischen Ergänzungen, insbesondere was die persönliche Geschichte des Beschwerdeführers vor seiner Einreise als Flüchtling in die Schweiz betrifft, ist anzufügen, dass auch die den Versicherten bis zum Verfügungszeitpunkt während mehr als fünf Jahren behandelnde Psychologin in ihren Berichten und Zeugnissen keine diesbezüglich relevanten Angaben über irgendwelche die psychische Gesundheit des Patienten gefährdende Erlebnisse schildert. Damit verletzt die vorinstanzliche Feststellung, dass vollumfänglich auf die Ergebnisse gemäss Gutachten vom 14. April 2009 abgestellt werden kann, kein Bundesrecht.
4.3 4.3.1 Für den Einkommensvergleich ging die Vorinstanz von einem hypothetischen Einkommen ohne Invalidität (Valideneinkommen) für das für die Invaliditätsbemessung massgebende Jahr 2004 (ein Jahr nach Eintritt des invalidisierenden Gesundheitsschadens im Dezember 2003) in der Höhe von Fr. 60'975.- aus. Das entspricht den Angaben der letzten Arbeitgeberin und ist nicht zu beanstanden. Das kantonale Gericht hat bereits hinlänglich erklärt und begründet, dass die behaupteten Trinkgelder von Fr. 800.- pro Monat nicht zum Valideneinkommen zu zählen sind. Zum einen wird diese Behauptung durch nichts belegt und darüber hinaus würde es auch nicht angehen, bestimmte regelmässige Einkünfte mit Lohncharakter bei den Sozialversicherungsbeiträgen nicht anzugeben, um sie dann im Versicherungsfall trotzdem geltend zu machen (<ref-law>).
4.3.2 Das Invalideneinkommen hat die Vorinstanz anhand statistischer Werte (Schweizerische Lohnstrukturerhebungen [LSE]) ermittelt, was richtig ist, da der Beschwerdeführer seit dem Ereignis vom 1. Dezember 2003 keiner Erwerbstätigkeit mehr nachgeht und da ihm gemäss Feststellung im angefochtenen Entscheid die zuletzt ausgeführte Arbeit als Barmann/Kellner bei der G._ AG nicht mehr zumutbar ist. Das kantonale Gericht ging im Gegensatz zur IV-Stelle zu Gunsten des Beschwerdeführers von den Löhnen im Gastgewerbe aus und ermittelte ein nominallohnangepasstes Jahresgehalt von Fr. 42'617.-. Es hat dabei übersehen, dass dieses dem festgestellten Grad der Arbeitsfähigkeit von 70 % angepasst werden müsste. Indessen rechtfertigt es sich gar nicht, das zumutbare Invalideneinkommen einzig aufgrund der statistischen Werte in der schlecht entlöhnten Branche des Gastgewerbes zu ermitteln. Gemäss den vorinstanzlichen Feststellungen umfasst die Arbeitsfähigkeit von 70 % auch andere leichte Tätigkeiten. Damit ist mit der verfügenden IV-Stelle vom Totalwert für Männer im gesamten privaten Sektor, TA1, Anforderungsniveau 4, entsprechend einem Ausgangswert von Fr. 57'396.- (2004: Fr. 4588 x 12 : 40 x 41,7) auszugehen. Bei einer Arbeitsfähigkeit von 70 % entspricht das einem zumutbaren Invalideneinkommen von Fr. 40'177.-, was verglichen mit dem Valideneinkommen von Fr. 60'975.- einen Invaliditätsgrad von 34 % ergibt. Damit wurde der Anspruch auf eine Invalidenrente zu Recht verneint.
5. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Markus Zimmermann wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer