Sachverhalt:
A. Der 1973 geborene P._, von Beruf Maschinenschlosser, arbeitete als Gebäudereiniger, Raumpfleger und Hauswart für die A._ GmbH. Diese Anstellung kündigte er auf den 31. August 2000. Am 29. August 2000 wurde P._ vom Geschoss einer Schrotflinte am Ellbogengelenk und an den Weichteilen des linken Armes verletzt. Ab September 2000 hätte er als Lagerist in einem Engrosmarkt arbeiten können. Aus gesundheitlichen Gründen war er ausser Stande, diese Stelle anzutreten. Die Schweizerische Unfallversicherungsanstalt (SUVA), bei welcher P._ obligatorisch gegen Unfälle versichert war, erbrachte die gesetzlichen Leistungen. Im Rahmen einer von der Invalidenversicherung übernommenen Umschulung absolvierte der Versicherte eine 3-jährige Lehre als Elektropraktiker. Mit Verfügung vom 24. Oktober 2007 hielt die IV-Stelle des Kantons Zürich fest, die beruflichen Massnahmen seien erfolgreich abgeschlossen und lehnte das Invalidenrentengesuch mangels eines Invaliditätsgrades von mindestens 40 % ab. Die hiegegen am 28. November 2007 eingereichte Beschwerde zog P._ am 12. Juni 2008 zurück. Ab 10. Januar 2008 arbeitete der Versicherte als Wickler bei der B._ AG musste das Arbeitspensum jedoch ab 7. April 2008 aus gesundheitlichen Gründen auf 75 % reduzieren. Auf Ende November 2008 wurde er von der Arbeitgeberfirma entlassen. Am 22./23. Januar 2009 wurde der Versicherte im Auftrag der SUVA im arbeitsmedizinischen Zentrum X._ mittels Funktionsorientierter Medizinischer Abklärung (FOMA) untersucht. Diese Abklärung umfasste u.a. eine angepasste Form der Evaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit (EFL). Mit Verfügung vom 1. Oktober 2009 sprach die SUVA P._ auf der Basis eines Vergleichs ab 1. September 2009 eine Invalidenrente auf der Grundlage einer Erwerbsunfähigkeit von 50 % zu. Aufgrund einer Neuanmeldung gewährte die IV-Stelle dem Versicherten gemäss Verfügung vom 16. September 2010 bei einem Invaliditätsgrad von 40 % ab 1. Dezember 2008 eine Viertelsrente der Invalidenversicherung.
B. Die hiegegen eingereichte Beschwerde, mit welcher P._ hatte beantragen lassen, unter Aufhebung der Verwaltungsverfügung sei ihm bei einem Invaliditätsgrad von 68 % eine Dreiviertelsrente der Invalidenversicherung zuzusprechen, eventuell sei ein interdisziplinäres Gutachten anzuordnen, wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 31. Mai 2012).
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, der vorinstanzliche Entscheid sei aufzuheben und es sei ihm mindestens eine halbe Invalidenrente zuzusprechen; ferner sei eine interdisziplinäre medizinische Expertise zu veranlassen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Die Vorinstanz hat die Bestimmungen über den Umfang des Invalidenrentenanspruchs (<ref-law>), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>), die im Fall einer Neuanmeldung (Art. 87 Abs. 4 in Verbindung mit <ref-law>) analog anwendbare Rechtsprechung zur Revision einer Invalidenrente und zu den dabei zu vergleichenden Sachverhalten (<ref-law>; <ref-ruling>, 130 V 343 E. 3.5 S. 349) zutreffend dargelegt. Darauf wird verwiesen.
3. Zu prüfen ist, ob das kantonale Gericht die Zusprechung einer Viertelsrente der Invalidenversicherung ab 1. Dezember 2008 bei einem Invaliditätsgrad von 40 % gemäss Verfügung der IV-Stelle vom 16. September 2010 zu Recht bestätigt hat oder ob der Beschwerdeführer statt dessen entsprechend seinem Antrag aufgrund der Verschlimmerung seines Gesundheitszustandes mit Auswirkungen auf die Arbeits- und Erwerbsfähigkeit im massgeblichen Vergleichszeitraum (Ablehnungsverfügung vom 24. Oktober 2007 bis zur Zusprechung einer Viertelsrente am 16. September 2010) eine halbe Invalidenrente beanspruchen kann.
3.1 Gestützt auf die FOMA vom 22./23. Januar 2009 anerkannte die Vorinstanz, dass im Vergleich zu den medizinischen Grundlagen der Verfügung vom 24. Oktober 2007 eine leichte Verschlechterung des Gesundheitszustandes am linken Arm ausgewiesen sei; diese rechtfertige eine Neubeurteilung, zumal auch in erwerblicher Hinsicht eine Änderung eingetreten sei. Aufgrund der Beurteilung des arbeitsmedizinischen Zentrums X._ gemäss FOMA-Bericht vom 16. Februar 2009 mit medizinisch-theoretisch und funktionell überprüfter Einschätzung sei eine Arbeitsunfähigkeit von 20 % in einer leidensangepassten Tätigkeit erstellt. Von einer zusätzlichen Behinderung aus psychischen Gründen sei sodann nicht auszugehen. Die vom Psychologen lic. phil. W._ im Bericht vom 4. Dezember 2010 erkannte Anpassungsstörung mit einer längeren depressiven Reaktion sei nicht einer erheblichen, unüberwindbaren psychischen Symptomatik mit Krankheitswert zuzuordnen.
3.2 Der Beschwerdeführer rügt vorab das Fehlen einer interdisziplinären medizinischen Begutachtung und der Gewährung der Mitwirkungsrechte. Insbesondere hätten keine Zusatzfragen gestellt werden können. Im Weitern handle es sich beim Bericht über die FOMA nicht um ein Gutachten. Ferner wendet sich der Versicherte gegen die Zuverlässigkeit dieser Abklärung und hält den Stellenwert des EFL-Verfahrens für fraglich. Indem das kantonale Gericht darauf abgestellt hat, habe es den Untersuchungsgrundsatz verletzt. Zu guter Letzt wird in der Beschwerde beanstandet, dass die Vorinstanz in antizipierter Beweiswürdigung auf die Anordnung einer externen Begutachtung verzichtet und verschiedene Rechtsbegriffe wie Arbeitsunfähigkeit, Erwerbsunfähigkeit sowie ausgeglichener Arbeitsmarkt nicht korrekt angewendet habe.
4. 4.1 Soweit der Beschwerdeführer die Beweiswürdigung der Vorinstanz kritisiert, welcher insoweit ein erheblicher Ermessensspielraum zukommt (<ref-ruling> E. 4b), ist darauf nicht einzugehen, handelt es sich hiebei doch um Tatfragen. Soweit er geltend macht, das Sozialversicherungsgericht habe zu Unrecht vom Beizug einer interdisziplinären Expertise abgesehen, wodurch er seiner Mitwirkungsrechte verlustig gegangen sei, hat er sich entgegenhalten zu lassen, dass diesbezüglich weder eine willkürliche Sachverhaltsfeststellung noch eine andere Bundesrechtsverletzung vorliegt. Selbst der Versicherte räumt ein, dass der Invaliditätsbemessung nicht in jedem Fall eine versicherungsexterne interdisziplinäre Begutachtung zugrunde liegen muss. Das Abstellen auf die von der SUVA veranlasste Abklärung im arbeitsmedizinischen Zentrum X._ bringt es mit sich, dass der Versicherte - anders als bei einer externen Begutachtung in einer medizinischen Abklärungsstelle (MEDAS) - nicht bereits vor der Untersuchung Zusatzfragen stellen kann, worin indessen keine Verletzung des rechtlichen Gehörs und auch keine andere Bundesrechtswidrigkeit zu erblicken ist. Die Untersuchung im arbeitsmedizinischen Zentrum X._ beruht auf einem strukturierten Interview, einer klinischen Untersuchung, einer angepassten Form der Evaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit (EFL) sowie der Beurteilung der vorliegenden bildgebenden Untersuchungen und Akten. Die Befunde, Empfehlungen und Schlussfolgerungen wurden mit dem Versicherten besprochen. Zudem hat eine gemeinsame Besprechung mit dem Versicherten, seinem Rechtsvertreter sowie Vertretern der Invalidenversicherung stattgefunden. Der Beschwerdeführer und dessen Vertreter hatten somit nach erfolgter Evaluation der Leistungsfähigkeit Gelegenheit, sich mit Ergänzungs- und Zusatzfragen an das arbeitsmedizinische Zentrum X._ zu wenden. Auch die Behauptung, psychische Beschwerden hätten eine interdisziplinäre Begutachtung erfordert, ist unbegründet. Anhaltspunkte für einen invalidisierenden psychischen Gesundheitsschaden liegen nicht vor, wie die Vorinstanz zutreffend bemerkt. Lägen solche Störungen vor, wären sie, wenn erheblich, von einem Arzt des arbeitsmedizinischen Zentrums X._ erkannt worden, wogegen alltägliche geringfügige psychische Beschwerden ohne Auswirkungen auf die Arbeitsfähigkeit bleiben. Einem Abstellen auf die von der SUVA eingeholte Beurteilung steht auch sonst nichts entgegen. Denn bei der Untersuchung im arbeitsmedizinischen Zentrum X._ handelt es sich um eine mehrstündige, funktionsorientierte medizinische Abklärung, einschliesslich einer Evaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit, die ebenso wie ein interdisziplinäres medizinisches Gutachten geeignet ist, zur Einschränkung des Versicherten in spezifischen Tätigkeiten Stellung zu nehmen.
4.2 Die Abklärung im arbeitsmedizinischen Zentrum X._ vom 22./23. Januar 2009 hat ergeben, dass dem Beschwerdeführer medizinisch-theoretisch eine körperlich leichte, vorwiegend einarmig rechts zu verrichtende Arbeit zumutbar wäre, wobei die linke Hand nur intermittierend als Hilfs-/Stützhand eingesetzt werden sollte. Aufgrund des Gesundheitsschadens belaufe sich die Verminderung der Arbeitsfähigkeit auch bei einer optimal adaptierten Tätigkeit auf 20 %.
Was der Beschwerdeführer weiter gegen diese ärztliche Einschätzung einwendet, die auf umfangreichen Untersuchungen und praktischer Erprobung der Leistungsfähigkeit beruht, ist nicht stichhaltig. Zumindest im vorliegenden Fall lässt sich nicht mit Erfolg vorbringen, bei der EFL handle es sich primär um ein Instrument zur Unterstützung und Optimierung der beruflichen Rehabilitation und nicht um eine "medico-legale" Abschlussbeurteilung. Dem Bericht des arbeitsmedizinischen Zentrums X._ vom 16. Februar 2009 kann vielmehr entnommen werden, dass die Arbeitsfähigkeit in einzelnen Tätigkeiten wie Elektropraktiker sowie Reinigungsfachmann eingehend geprüft und in der Folge verworfen wurde, wogegen aus medizinisch-theoretischer Sicht eine körperlich leichte Arbeit mit den umschriebenen Einschränkungen als zumutbar erachtet wurde. Angesichts der eingehenden Abklärungen genügt der Bericht des arbeitsmedizinischen Zentrums X._ ohne weiteres den Anforderungen, die an eine fachärztliche Expertise gestellt werden. Dass teilweise auf Rehabilitationsmöglichkeiten Bezug genommen wurde, trifft zu; der Ausblick auf Therapie-, Rehabilitations- und Eingliederungsmassnahmen bildet indessen auch Teil herkömmlicher fachärztlicher Gutachten und lässt keine Schlüsse auf die (fehlende) Qualität einer Expertise zu. Mit Blick auf die praxisbezogenen Abklärungen ist die Arbeitsfähigkeitsschätzung nicht nur medizinisch-theoretisch, sondern eben auch medizinisch-praktisch überzeugend. Indem die Vorinstanz den Bericht des arbeitsmedizinischen Zentrums X._ für ihre Beurteilung als massgebend erachtet hat, hat sie den Untersuchungsgrundsatz entgegen der Behauptung des Versicherten nicht verletzt. Schliesslich entbehrt der Vorwurf, das kantonale Gericht habe zu Unrecht in antizipierter Beweiswürdigung auf die Anordnung einer externen Begutachtung verzichtet, einer Grundlage. Angesichts der umfassenden und sorgfältigen Evaluation der Leistungsfähigkeit des Versicherten in den in Betracht fallenden Erwerbstätigkeiten und der klaren Folgerungen des arbeitsmedizinischen Zentrums X._ hat die Vorinstanz auf zusätzliche Beweismassnahmen verzichtet, da hievon keine neuen Erkenntnisse erwartet werden konnten. Weil die antizipierte Beweiswürdigung Fragen tatsächlicher Natur beschlägt, ist sie für das Bundesgericht verbindlich (<ref-ruling> E. 5.2 S. 69). Der Einwand schliesslich, die Vorinstanz habe verschiedene Begriffe wie Arbeitsunfähigkeit und Erwerbsunfähigkeit nicht korrekt angewendet, ist unbegründet.
4.3 Zufolge willkürfreier und auch sonst bundesrechtskonformer Sachverhaltsermittlung durch die Vorinstanz ist dem Zusatzantrag des Versicherten auf Anordnung eines medizinischen Gutachtens nicht stattzugeben.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer