Sachverhalt:
A. Der 1963 geborene K._ war seit 1. April 2001 als Betriebsmitarbeiter bei der D._ AG angestellt. Am 22. November 2002 zog er sich bei einem Arbeitsunfall eine Malleolarfraktur Typ Weber B rechts sowie Verbrennungen Grad I und II am Rücken zu. Nachdem der Kreisarzt der Schweizerischen Unfallversicherungsanstalt, bei welcher K._ obligatorisch gegen Unfälle versichert war, volle Arbeitsfähigkeit attestiert und die Anstalt ihre Leistungen per 24. März 2005 eingestellt hatte, wurde der Versicherte von der Arbeitgeberfirma auf Ende Juni 2005 entlassen. Am 3. Oktober 2005 meldete er sich unter Hinweis auf Beschwerden in Bein, Hüfte und Rücken, Verbrennungen sowie Depressionen bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen in erwerblicher und medizinischer Hinsicht, insbesondere eine Expertise des Instituts X._ vom 23. November 2006 lehnte die IV-Stelle des Kantons Aargau das Leistungsgesuch mit Verfügung vom 20. Juni 2007 ab. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 26. August 2008).
Mit Schreiben vom 6. Februar 2009 liess K._ die Invalidenversicherung unter Beilage verschiedener Arztberichte um eine neue Beurteilung seiner Arbeits- und Erwerbsunfähigkeit ersuchen. Die IV-Stelle veranlasste eine erneute Begutachtung des Versicherten im Institut X._ (Expertise vom 23. August 2010). Am 24. November 2010 lehnte sie das Invalidenrentengesuch wiederum verfügungsweise ab, wobei sie den Invaliditätsgrad aufgrund der fachärztlichen Angaben auf 20 % festsetzte.
B. Die von K._ hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 3. Januar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine Invalidenrente zuzusprechen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Wurde eine Rente wegen eines zu geringen Invaliditätsgrades verweigert, so wird eine neue Anmeldung nur geprüft, wenn glaubhaft gemacht wird, dass sich der Grad der Invalidität des Versicherten in einer für den Anspruch erheblichen Weise geändert hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV). Der Beschwerdeführer hat mit seiner Neuanmeldung eine solche Änderung glaubhaft gemacht, weshalb zu prüfen ist, ob im Zeitraum seit der ursprünglichen Ablehnung des Rentengesuchs (Verfügung vom 20. Juni 2007) bis zur neuerlichen Verneinung eines Invalidenrentenanspruchs (Verfügung vom 24. November 2010) eine anspruchserhebliche Änderung in den tatsächlichen Verhältnissen eingetreten ist (zur massgebenden zeitlichen Vergleichsbasis siehe <ref-ruling>; SVR 2010 IV Nr. 54 S. 67, 9C_899/2009). Dabei bildet die bloss andere Beurteilung der Auswirkungen eines im Wesentlichen unverändert gebliebenen Gesundheitszustandes auf die Arbeitsfähigkeit für sich allein betrachtet keinen Revisionsgrund (<ref-ruling> E. 4a/bb S. 313; Urteil 9C_468/2009 vom 9. September 2009).
3. 3.1 Die Vorinstanz stellte fest, laut Gutachten des Instituts X._ vom 23. August 2010 bestehe für körperlich leichte, adaptierte Tätigkeiten eine vollschichtig umsetzbare, 80 %ige Arbeitsfähigkeit. Zu dieser Einschätzung seien die Ärzte bereits im ersten Gutachten (vom 23. November 2006) gelangt, worin festgehalten wurde, für jegliche körperlich leichten bis mittelschweren Tätigkeiten bestehe eine ganztägig zumutbare Arbeitsfähigkeit mit einer Leistungseinschränkung der Arbeitsfähigkeit von 20 %. Dass verschiedene Erfordernisse, wie regelmässiges Wechseln der Arbeitsplatzposition, nur kurzzeitiges Sitzen oder Stehen an Ort (20 bis 30 Minuten) oder Vermeiden von Rotationsbewegungen der Halswirbelsäule erfüllt sein müssten, ändere nichts daran, dass der Versicherte im Rahmen der Gesamtbeurteilung nach wie vor als zu 80 % arbeitsfähig in einer angepassten Tätigkeit eingeschätzt wird.
3.2 Der Beschwerdeführer wendet ein, sein Gesundheitszustand habe sich im massgeblichen Zeitraum verschlechtert, indem ihm gemäss Gutachten vom 23. August 2010 nicht mehr leichte bis mittelschwere, sondern nur noch leichte Arbeit im Umfang von 80 % zumutbar sei.
3.3 Dieser Auffassung ist beizupflichten. Die Vorinstanz hat den rechtserheblichen Sachverhalt in Bezug auf die dem Beschwerdeführer noch zumutbaren Arbeitsleistungen offensichtlich unrichtig festgestellt (E. 1 hievor), indem sie unterschiedliche Aussagen der Gutachter des Instituts X._ in den beiden Expertisen als gleichwertig bezeichnet hat, obwohl gerade die Art der dem Versicherten mit Rücksicht auf seinen Gesundheitszustand noch zumutbaren Tätigkeiten (leicht oder leicht bis mittelschwer; gesundheitlich bedingte Einschränkungen bei der Ausübung bestimmter Arbeiten) für den Einkommensvergleich und demzufolge auch den Rentenanspruch entscheidend sein kann. Die vorinstanzlichen Feststellungen sind daher hinsichtlich der Arbeitsunfähigkeit und der zumutbaren Arbeitsleistung für das Bundesgericht nicht verbindlich. Auszugehen ist mit dem Beschwerdeführer von der Stellungnahme des Instituts X._ zur Beeinträchtigung der Arbeitsfähigkeit im zweiten Gutachten vom 23. August 2010. Danach besteht für körperlich leichte adaptierte Tätigkeiten eine vollschichtig realisierbare, 80 %ige Arbeits- resp. Leistungsfähigkeit. Im Weiteren zählen die Ärzte verschiedene Bedingungen auf, die der Arbeitsplatz erfüllen muss: So soll der Versicherte seine Arbeitsplatzposition regelmässig nach eigenem Gutdünken wechseln können, längeres Sitzen und Stehen an Ort ist auf 20 bis 30 Minuten zu limitieren, stereotype Rotationsbewegungen der Lendenwirbelsäule sind zu vermeiden und das berufsbedingte Zurücklegen von Gehstrecken, Treppensteigen oder die Benützung von Leitern sind nach fachärztlichen Darlegungen ungünstig. Zu guter Letzt soll auch das repetitive Heben und Tragen von Lasten über 10 kg unterbleiben.
4. Es stellt sich die Frage, wie sich die aus medizinischen Gründen reduzierte Arbeitsfähigkeit des Beschwerdeführers in erwerblicher Hinsicht auswirkt.
4.1 Für die Belange des Einkommensvergleichs stellte die Vorinstanz sowohl für das hypothetische Einkommen ohne Invalidität (Valideneinkommen) als auch das Invalideneinkommen auf die Tabellenlöhne gemäss Lohnstrukturerhebung (LSE) 2008 des Bundesamtes für Statistik ab.
4.1.1
4.1.1.1 Für die Ermittlung des Valideneinkommens ist entscheidend, was die versicherte Person im Zeitpunkt des frühest möglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit ohne Gesundheitsschaden tatsächlich verdienen würde (<ref-ruling> E. 5.1.2 S. 53). Im vorliegenden Fall ist von der zuletzt ausgeübten Erwerbstätigkeit als Betriebsarbeiter bei der D._ AG auszugehen. Dem kantonalen Gericht ist nicht entgangen, dass für das Jahr 2002 ein Auszug aus dem individuellen Konto (IK) vorliegt. Aufgrund der Differenz zwischen IK-Auszug und Lohnausweis der D._ AG vertrat es indessen die Auffassung, es sei auf den Tabellenlohn gemäss LSE 2008 abzustellen, womit sich ein Valideneinkommen von Fr. 65'054.- ergab.
4.1.1.2 Der Beschwerdeführer wendet ein, von erheblichen Differenzen bei den Lohnangaben könne keine Rede sein. Das IK weise für 2002 einen Lohn von Fr. 71'394.- aus, der Lohnausweis für das nämliche Jahr einen solchen von Fr. 77'095.-. Die Differenz von Fr. 5'701.- sei damit zu erklären, dass die Kinderzulagen von Fr. 5'700.- wohl im Lohnausweis, nicht aber im AHV-Lohn gemäss IK erscheinen. Auch die Lohnangabe im Arbeitgeberfragebogen (Fr. 4'500.- seit 1. Mai 2002) stehe in keinem Widerspruch zu den bereits genannten Lohnzahlen. Aus den beigelegten Lohnblättern sei ersichtlich, dass der Versicherte nebst dem Grundlohn regelmässig Überstundenzuschläge, Sonntagszuschläge, Schichtzulagen, Erschwerniszulagen und einen 13. Monatslohn erhalten habe.
4.1.1.3 Die Einwendungen des Beschwerdeführers sind auch in diesem Punkt begründet. Der IK-Auszug für das Jahr 2002 weist ein AHV-beitragspflichtiges Einkommen von Fr. 71'394.- aus, der Bruttolohn gemäss Lohnausweis für die Steuererklärung betrug im Jahre 2002 Fr. 77'095.-, wovon Fr. 5'700.- auf Kinderzulagen entfielen. Nach Abzug dieser Zulagen resultiert ein Bruttolohn von Fr. 71'395.-. Eine Differenz zum Lohn gemäss IK-Auszug liegt nicht vor. Die Vorinstanz hat den Sachverhalt damit auch hinsichtlich des Valideneinkommens offensichtlich unrichtig festgestellt. Eine Bezugnahme auf Tabellenlöhne erübrigt sich. Als massgebend zu erachten ist mit dem Beschwerdeführer vielmehr ein Einkommen von Fr. 71'395.-. Angepasst an die Nominallohnentwicklung (gemäss Tabelle des Bundesamtes für Statistik, Schweizerischer Lohnindex aufgrund der Daten der Sammelstelle für die Statistik der Unfallversicherung) ergibt sich ein Valideneinkommen von Fr. 79'719.- (Fr. 71'395.-: 111,5 x 124,5).
4.1.2 Das Invalideneinkommen hat die Vorinstanz aufgrund der LSE 2008, Tabelle TA1, Anforderungsniveau 4, Männer, bei einer wöchentlichen Arbeitszeit von 41,6 Stunden und nach Anpassung an den Nominallohn 2010 unter Zugrundelegung eines Arbeitspensums von 80 % auf zunächst Fr. 4'112.85 im Monat festgelegt; alsdann nahm sie aufgrund der verschiedenen körperlichen Einschränkungen des Versicherten einen leidensbedingten Abzug von 10 % vor, sodass ein Invalideneinkommen von Fr. 3'701.55 im Monat (Fr. 44'419.- im Jahr) resultierte. Diese Berechnung gibt zu keiner Kritik Anlass und wird vom Beschwerdeführer denn auch nicht in Zweifel gezogen.
4.1.3 Aus dem Vergleich zwischen dem Invalideneinkommen von Fr. 44'419.- und dem Valideneinkommen von Fr. 79'719.- im Jahr resultiert eine Erwerbseinbusse von Fr. 35'300.-, entsprechend einem Invaliditätsgrad von (abgerundet) 44 % (Fr. 79'719.- - Fr. 44'419.-x 100: Fr. 79'719.-). Der Beschwerdeführer hat somit infolge Änderung der tatsächlichen Verhältnisse, insbesondere der fachärztlich bescheinigten Verschlechterung des Gesundheitszustandes und der damit verbundenen Auswirkungen auf die Arbeitsfähigkeit, nunmehr Anspruch auf eine Viertelsrente der Invalidenversicherung (<ref-law>). In Anwendung von <ref-law> ist der Rentenbeginn mit Blick auf die Neuanmeldung bei der Invalidenversicherung vom 6. Februar 2009 auf den 1. August 2009, nach Ablauf von sechs Monaten nach Geltendmachung des Leistungsanspruchs gemäss <ref-law>, festzulegen.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem obsiegenden Beschwerdeführer zudem eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Demzufolge wird das Gesuch des Versicherten um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Aargau vom 3. Januar 2012 und die Verfügung der IV-Stelle des Kantons Aargau vom 24. November 2010 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. August 2009 Anspruch auf eine Viertelsrente der Invalidenversicherung hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juni 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer