Sachverhalt:
A. A.a Der 1956 geborene Carchauffeur Z._ meldete sich am 28. September 2005 wegen Rückenbeschwerden zum Bezug von Leistungen bei der Invalidenversicherung an. Die Sozialversicherungsanstalt des Kantons Aargau (IV-Stelle) wies das Gesuch mit Verfügung vom 23. März 2006 ab. Im daraufhin angehobenen Einspracheverfahren liess sie den Versicherten am Institut X._ orthopädisch und psychiatrisch begutachten (Expertise vom 27. September 2007). Gestützt darauf wies sie die Einsprache mit Entscheid vom 17. April 2008 ab.
A.b Am 12. Mai 2009 erfolgte eine erneute Anmeldung des Versicherten bei der IV-Stelle. Diese zog diverse Arztberichte bei und liess Z._ bei der MEDAS Y._ (nachfolgend: MEDAS) wiederum bidisziplinär begutachten (Expertise vom 16. September 2010). Mit Verfügung vom 15. Februar 2011 verneinte die IV-Stelle einen Anspruch auf eine Invalidenrente.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 18. Januar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt Z._ beantragen, in Aufhebung des kantonalen Entscheides sei die Invalidenversicherung zu verpflichten, ihm ab 1. Mai 2009 eine ganze Invalidenrente zu gewähren.
Bei der Vorinstanz wurden die Akten eingeholt. Ein Schriftenwechsel wurde nicht angeordnet.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>).
1.2 Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> eine Rechtsfrage; gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (vgl. <ref-ruling> E. 5.1 S. 232).
1.3 Im Verfahren vor Bundesgericht dürfen gemäss <ref-law> neue Tatsachen und Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-ruling>). Werden Tatsachen etwa erst durch den vorinstanzlichen Entscheid rechtswesentlich, so sind die im letztinstanzlichen Verfahren neu dazu eingereichten Belege als zulässige Noven im Sinne von <ref-law> zu qualifizieren (Nicolas von Werdt, in: Bundesgerichtsgesetz [BGG], 2007, N. 6 zu <ref-law>). Das Einbringen von Tatsachen oder Beweismitteln, die sich erst nach dem angefochtenen Entscheid ereignet haben oder entstanden sind (sog. echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_636/2011 vom 9. März 2012 E. 2 mit Hinweisen).
2. Die Vorinstanz hat die Grundlagen über die Invalidität (<ref-law>), den Rentenanspruch (Art. 28 Abs. 2, Art. 29 Abs. 1 IVG) und die Invaliditätsbemessung nach dem Einkommensvergleich (<ref-law>; <ref-law>) richtig dargelegt. Gleiches gilt zu den bei einer Neuanmeldung des Versicherten analog zur Revision anwendbaren Regeln (<ref-law>; Art. 87 Abs. 3 f. IVV; <ref-ruling> E. 3 S. 132, 117 V 198 E. 3a; SVR 2011 IV Nr. 2 S. 7 E. 3.2 [9C_904/2009]), die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99) und den Beweiswert ärztlicher Berichte bzw. Gutachten. Darauf wird verwiesen.
3. Streitig ist, ob zwischen dem Einspracheentscheid der IV-Stelle vom 17. April 2008 und der Verfügung vom 15. Februar 2011 eine rentenbegründende Veränderung des Gesundheitszustandes des Versicherten eingetreten ist.
3.1 Die Vorinstanz hat in Würdigung der medizinischen Akten mit einlässlicher Begründung erkannt, dass auf das Gutachten der MEDAS vom 16. September 2010 vollumfänglich abzustellen sei. Demnach liege beim Versicherten ein lumbovertebrales und lumbospondylogenes Schmerzsyndrom vor, welches im Zeitpunkt der gutachterlichen Untersuchung keine sensomotorischen Ausfälle und keine radikuläre Symptomatik zeigte. Bezüglich der somatischen Diagnosen bestehe zwischen dem vom Beschwerdeführer angerufenen Dr. med. M._, Facharzt FMH für orthopädische Chirurgie, und den MEDAS-Gutachtern keine Differenz. Hinsichtlich der vom behandelnden Psychiater, Dr. med. N._, gestellten Diagnosen werde im Gutachten vom 16. September 2010 detailliert dargelegt, warum sie beim Beschwerdeführer nicht vorlägen. Es bestehe keine psychiatrische Störung mit eigenständigem Krankheitswert. Dem Versicherten sei eine mittelschwere rückenadaptierte, wechselbelastende Tätigkeit ganztägig zumutbar, wobei eine Leistungsminderung von 20 % bestehe. Der Mindestinvaliditätsgrad für einen Rentenanspruch von 40 % werde offensichtlich nicht erreicht.
3.2 Der Beschwerdeführer erhebt keine Rügen, welche zur Bejahung einer Rechtsverletzung führen oder die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig oder als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach <ref-law> erscheinen lassen (vgl. E. 1 hievor). Im Rahmen der freien, pflichtgemässen Würdigung der Beweise durch die Vorinstanz ergab sich ein nachvollziehbares und schlüssiges Bild des Gesundheitszustandes, das nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 9.5 S. 125) hinreichende Klarheit über den rechtserheblichen Sachverhalt vermittelt, weshalb ihre Sachverhaltsfeststellung bundesrechtskonform ist (Urteil 8C_381/2012 vom 20. Juni 2012 E. 4.1). Festzuhalten ist insbesondere Folgendes:
3.2.1 Die Vorinstanz hat sich in nicht zu beanstandender Weise mit den medizinischen Beweisgrundlagen - auch mit denjenigen, welche im Vergleich mit dem MEDAS-Gutachten abweichende Einschätzungen der Arbeitsunfähigkeit zum Ausdruck brachten - auseinandergesetzt und ist in umfassender Würdigung zum Ergebnis gelangt, dass das Gutachten vom 16. September 2010 die Anforderungen an eine medizinische Beurteilungsgrundlage erfüllt (<ref-ruling> E. 5.1 S. 232).
3.2.2 Soweit sich der Beschwerdeführer auf einen letztinstanzlich neu aufgelegten Bericht seines nunmehr behandelnden Psychiaters, Dr. med. O._ vom 22. März 2010 beruft, welcher ihn bezüglich Diagnose in seiner vom MEDAS-Gutachten abweichenden Meinung stützt, kann er nicht gehört werden, da das Zeugnis als echtes Novum nicht berücksichtigt werden kann (vgl. E. 1.3).
3.2.3 Auch mit der letztinstanzlich sinngemäss vorgebrachten Rüge, Dr. med. P._, MEDAS, sei wegen dessen Zugehörigkeit zu einer religiösen Gemeinschaft und seiner Glaubensüberzeugung befangen, dringt der Beschwerdeführer nicht durch. Damit schliesst er von der Glaubensüberzeugung auf die beruflichen Fähigkeit und beurteilt diese ohne konkrete und fallbezogene Anhaltspunkte als unzulänglich. Diese Argumentationsweise vermag weder den Anschein der Befangenheit des genannten Arztes zu begründen (vgl. Urteil 8C_474/2009 vom 7. Januar 2010 E. 8.6, in: SVR 2010 IV Nr. 41 S. 128), noch Zweifel an der Rechtmässigkeit der vorinstanzlichen Sachverhaltsfeststellung zu wecken.
3.2.4 Schliesslich rügt der Beschwerdeführer ganz allgemein, das kantonale Gericht habe mit der Würdigung des Gutachtens vom 16. September 2010 als beweistaugliche Grundlage für die Feststellung des massgebenden Sachverhalts in missbräuchlicher Ausübung des ihm zustehenden Ermessens das Willkürverbot verletzt. Er übersieht dabei, dass die Feststellung der Arbeitsfähigkeit als Grundlage für die Invaliditätsbemessung keinen Ermessensentscheid im Rechtssinne darstellt. Dass die vorinstanzlichen Feststellungen nicht zweifellos unrichtig sind und nicht in Verletzung von Bundesrecht vorgenommen wurden, wurde bereits erörtert.
3.2.5 Da von weiteren medizinischen Abklärungen keine neuen entscheidwesentlichen Erkenntnisse zu erwarten sind, ist es nicht zu beanstanden, dass die Vorinstanz darauf verzichtet hat (antizipierte Beweiswürdigung; <ref-ruling> E. 5.2 S. 69, 136 I 229 E. 5.3 S. 236).
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. September 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer