Sachverhalt:
A. Der 1951 geborene A._ arbeitete bis zur Auflösung des Arbeitsverhältnisses aus gesundheitlichen Gründen per 31. Mai 2009 als Betriebsmitarbeiter bei der Firma Z._ GmbH. Am 4. März 2009 meldete er sich unter Angabe verschiedener gesundheitlicher Beeinträchtigungen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte beruflich-erwerbliche sowie medizinische Informationen ein und nahm die medizinischen Unterlagen des privaten Krankentaggeldversicherers CSS Versicherung zu den Akten. Ferner beteiligte sie sich an der von der CSS Versicherung in Auftrag gegebenen Begutachtung (rheumatologisches Gutachten von Dr. med. G._ vom 20. Mai 2009 und psychiatrisches Gutachten von Dr. med. F._ vom 16. Juni 2009) mit Zusatzfragen. Mit Vorbescheid vom 30. Juni 2009 stellte sie die Abweisung des Leistungsgesuchs in Aussicht, wogegen der Versicherte mit Stellungnahme vom 14. September 2009 Einwände erheben liess. Die IV-Stelle hielt mit Verfügung vom 30. Oktober 2009 am Vorbescheid fest und verneinte den Anspruch auf berufliche Massnahmen sowie auf eine Rente.
B. Die dagegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Januar 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des kantonalen Entscheides sei die Sache an die Vorinstanz zurückzuweisen und diese sei anzuweisen, ihm Gelegenheit zu verschaffen, seine Verfahrensrechte wahrnehmen zu können.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während die Vorinstanz und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichten.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
Der aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitszustand und die damit einhergehende Arbeitsfähigkeit betreffen eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsverletzungen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> f. E. 5.1). Die konkrete Beweiswürdigung ist Tatfrage (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]).
Die Vorinstanz hat die Grundlagen über die Erwerbsunfähigkeit (<ref-law>; zu <ref-law>, in Kraft seit 1. Januar 2008, vgl. <ref-ruling>), die Invalidität (<ref-law>, <ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (<ref-law>) sowie den Beweiswert von Arztberichten (<ref-ruling> f. E. 5.1) richtig dargelegt. Darauf wird verwiesen.
2. 2.1 Die IV-Stelle und das kantonale Gericht haben ihre Würdigung in medizinischer Hinsicht hauptsächlich auf das durch den privaten Krankentaggeldversicherer CSS Versicherung in Auftrag gegebene rheumatologische und psychiatrische Gutachten abgestellt und daraus geschlossen, dem Versicherten sei die angestammte Tätigkeit aus rheumatologischer Sicht weiterhin in vollem Umfang zumutbar; auch aus psychiatrischer Sicht liege keine krankheitswertige psychische Störung vor.
2.2 Der Beschwerdeführer beanstandet wie schon im verwaltungsrechtlichen Verfahren und vorinstanzlich formelle Mängel und macht geltend, die Beschwerdegegnerin hätte ihre Verfügung nicht auf die beiden Gutachten von Dr. med. G._ und Dr. med. F._ abstellen dürfen. Dadurch seien seine Mitwirkungs- und Parteirechte in unzulässiger Weise beschnitten worden, weil er keine Ausstands- und Ablehnungsgründe geltend machen konnte und ihm die Gelegenheit nicht geboten wurde, Ergänzungsfragen zu stellen. Weder die CSS Versicherung noch die Beschwerdegegnerin selbst hätten ihm je angezeigt, dass Letztere sich am Gutachten mit Zusatzfragen beteiligen wird. Die versicherte Person habe jedoch Anrecht darauf zu erfahren, in wessen Auftrag sie begutachtet wird und welcher Versicherungsschutz damit überprüft werden soll. Denn die Voraussetzungen für den Versicherungsschutz durch die beiden involvierten Versicherungsträger seien nicht deckungsgleich, was sich bereits daraus ergebe, dass sich die Beschwerdegegnerin veranlasst sah, Zusatzfragen zu stellen. Das Vorgehen der Beschwerdegegnerin sei somit unzulässig gewesen und könne auch nicht als geheilt betrachtet werden.
2.3 Die Vorinstanz hat erwogen, die blosse Tatsache, dass ein Arzt arbeitsvertraglich an eine Krankenversicherung gebunden ist, erlaube noch nicht, an der Objektivität der entsprechenden ärztlichen Einschätzung zu zweifeln. Abgesehen davon handle es sich bei den beiden Gutachtern nicht um Vertrauensärzte der CSS Versicherung. Vielmehr seien sie vom vertrauensärztlichen Dienst der CSS Versicherung als versicherungsexterne Gutachter mit der Begutachtung des Beschwerdeführers beauftragt worden. An diesem Gutachtensauftrag habe sich die Beschwerdegegnerin mit Zusatzfragen beteiligt. Darüber hinaus würden sich weder aus den Akten irgendwelche Hinweise ergeben noch würden durch den Beschwerdeführer weitere Umstände geltend gemacht, welche die Unabhängigkeit und Unparteilichkeit von Dr. med. F._ und Dr. med. G._ in Zweifel ziehen lassen könnten. Mit Schreiben vom 5. Mai 2009 habe die CSS Versicherung den Beschwerdeführer über die anstehende Begutachtung sowie die begutachtenden Ärzte informiert. Insofern sei den Anforderungen an die Mitwirkungsrechte nach <ref-law> Genüge getan worden. Auch wenn das Schreiben keine Informationen über die jeweiligen Fachgebiete von Dr. med. G._ und Dr. med. F._ enthalte, sei nicht ersichtlich und werde auch nicht vorgebracht, inwiefern die fehlende Information dem Beschwerdeführer zum Nachteil gereichen soll. Die beiden Gutachten seien somit nicht mit formellen Mängeln behaftet, welche der Verwertbarkeit der Abklärungsergebnisse entgegenstehen würden.
3. 3.1 Muss der Versicherungsträger zur Abklärung des Sachverhalts ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, gibt er der Partei deren oder dessen Namen bekannt (<ref-law>). Diese kann den Gutachter aus triftigen Gründen ablehnen und Gegenvorschläge machen (<ref-law>). Nach der zu dieser Bestimmung ergangenen Rechtsprechung (<ref-ruling>; vgl. auch <ref-ruling> E. 3.2 S. 256) ist der versicherten Person vorgängig mitzuteilen, von wem eine Begutachtung durchgeführt wird. Sind dem Versicherungsträger bei der Anordnung einer Expertise die Namen der vorgesehenen Ärztinnen und Ärzte noch nicht bekannt, genügt es, wenn diese der versicherten Person - allenfalls durch die beauftragte Gutachterstelle - zu einem späteren Zeitpunkt eröffnet werden. Dies muss indessen frühzeitig genug erfolgen, damit sie in der Lage ist, noch vor der eigentlichen Begutachtung ihre Mitwirkungsrechte wahrzunehmen. Einwände sind gegenüber dem Sozialversicherer geltend zu machen, welcher darüber noch vor der eigentlichen Begutachtung befinden sollte (Urteile 8C_254/2010 vom 15. September 2010 E. 4.1.1, 9C_243/2010 vom 28. Juni 2011, zur Publikation vorgesehen, 8C_741/2009 vom 11. Mai 2010 E. 3.2).
3. 3.1 Muss der Versicherungsträger zur Abklärung des Sachverhalts ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, gibt er der Partei deren oder dessen Namen bekannt (<ref-law>). Diese kann den Gutachter aus triftigen Gründen ablehnen und Gegenvorschläge machen (<ref-law>). Nach der zu dieser Bestimmung ergangenen Rechtsprechung (<ref-ruling>; vgl. auch <ref-ruling> E. 3.2 S. 256) ist der versicherten Person vorgängig mitzuteilen, von wem eine Begutachtung durchgeführt wird. Sind dem Versicherungsträger bei der Anordnung einer Expertise die Namen der vorgesehenen Ärztinnen und Ärzte noch nicht bekannt, genügt es, wenn diese der versicherten Person - allenfalls durch die beauftragte Gutachterstelle - zu einem späteren Zeitpunkt eröffnet werden. Dies muss indessen frühzeitig genug erfolgen, damit sie in der Lage ist, noch vor der eigentlichen Begutachtung ihre Mitwirkungsrechte wahrzunehmen. Einwände sind gegenüber dem Sozialversicherer geltend zu machen, welcher darüber noch vor der eigentlichen Begutachtung befinden sollte (Urteile 8C_254/2010 vom 15. September 2010 E. 4.1.1, 9C_243/2010 vom 28. Juni 2011, zur Publikation vorgesehen, 8C_741/2009 vom 11. Mai 2010 E. 3.2).
3.2 3.2.1 Bereits nach dem Vorbescheid vom 30. Juni 2009 und dann auch vor der Vorinstanz hat der Beschwerdeführer gerügt, es seien ihm bei der Begutachtung die verfahrensmässigen Rechte nicht eingeräumt worden. Dieser Rüge liegt der verwaltungsrechtliche Verfahrensablauf zugrunde, wonach zunächst diverse ärztliche Unterlagen eingeholt wurden, insbesondere vom behandelnden Arzt Dr. med. E._, welcher auch verschiedene röntgenologische Berichte eingereicht hatte. Einer ELAR-Telefonnotiz vom 29. April 2009 ist sodann zu entnehmen, dass der Taggeldversicherer CSS Versicherung ein rheumatologisches/psychiatrisches Gutachten in Auftrag geben werde und dass "wir vereinbaren" zu prüfen, ob die Invalidenversicherung Zusatzfragen stellen werde. Gleichentags schrieb die IV-Sachbearbeiterin der CSS Versicherung einen Brief mit Zusatzfragen, wobei davon keine Kopie an den Versicherten gesandt wurde. Am 5. Mai 2009 teilte die CSS Versicherung dem Beschwerdeführer die Namen der Gutachter mit. Davon wurde eine Kopie an die IV-Stelle, an den Arbeitgeber des Versicherten und an die betroffenen Ärzte geschickt. Die Gutachterfragen der CSS Versicherung vom 5. Mai 2009 wurden wiederum nicht an den Versicherten, sondern nur an die Gutachter gesandt. Am 23. Juni 2009 stellte die CSS Versicherung der IV-Stelle die Gutachten samt (Teil-)Rechnung zu. Die IV-Stelle erstellte am 30. Juni 2009 das Feststellungsblatt und erliess den Vorbescheid. Der Rechtsvertreter des Beschwerdeführers bestellte sodann die Akten, welche ihm durch die IV-Stelle zugestellt wurden, und rügte mit Stellungnahme vom 14. September 2009 ausführlich die Verletzung des rechtlichen Gehörs. Schliesslich tauchte in einer Beilage nochmals die Mitteilung der CSS Versicherung betreffend Gutachternamen auf, diesmal mit handschriftlichen Zusätzen der Spezialgebiete der Ärzte Dr. med. G._ und Dr. med. F._, wobei aufgrund der Akten nicht eruierbar ist, ob dieser Zusatz bei der ersten Mitteilung der CSS Versicherung an den Versicherten bereits enthalten war oder ob er nachträglich angebracht wurde. Am 30. Oktober 2009 erliess die IV-Stelle sodann die angefochtene rentenablehnende Verfügung.
3.2.2 Aus dem Gesagten geht hervor, dass der Anspruch des Beschwerdeführers auf Gewährung des rechtlichen Gehörs in mehrfacher Hinsicht verletzt wurde. Die IV-Stelle hat sich dem Begutachtungsauftrag des Taggeldversicherers CSS Versicherung angeschlossen bzw. Gutachterfragen gestellt, ohne die versicherte Person darüber zu informieren. Dabei war der Versicherte am 5. Mai 2009 über die Gutachtenspersonen vor Erstellung der Gutachten von Dr. med. G._ und Dr. med. F._ zwar informiert worden, konnte die ihm nach <ref-law> zustehenden Mitwirkungsrechte aber nicht wahrnehmen. Insbesondere wusste er nicht, dass nicht nur der Taggeldversicherer, sondern auch die Invalidenversicherung den genannten Sachverständigen Gutachterfragen stellen würde. Er hatte daher keine Möglichkeit, gleichermassen wie die Verwaltung allfällige Zusatzfragen zu stellen. Er erhielt auch nicht die Gelegenheit, Ablehnungs- und/oder Ausstandsgründe im Verhältnis zur IV-Abklärung zu stellen. Dies stellt eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>, <ref-law>) dar und führt grundsätzlich zur Aufhebung des primär auf die genannten Gutachten gestützten kantonalen Entscheides sowie der streitigen Verfügung vom 30. Oktober 2009 (Urteil 8C_741/2009 E. 3.3). Dem Versicherten ist daher beizupflichten, dass er berechtigt war, gesetzliche Ausstands- und/oder Ablehnungsgründe (<ref-law>; vgl. dazu <ref-ruling> E. 6.5 S. 108) bezüglich der Sachverständigen geltend zu machen sowie allfällige Zusatzfragen zu stellen, und dies im Verhältnis zum jeweiligen Versicherungsträger separat, da die Ablehnungsgründe je nach betroffenem Träger divergieren können (Urteil 8C_254/2010 E. 4.1.2).
3.3 Es stellt sich die Frage, ob die gerügten Mängel geheilt werden konnten oder können.
Der Beschwerdeführer hat, wie erwähnt, bereits mit seiner Stellungnahme vom 14. September 2009 und auch im kantonalen Beschwerdeverfahren gesetzliche Ausstands- und Ablehnungsgründe geltend gemacht. Er hat auch eine Verletzung des rechtlichen Gehörs durch die Verwaltung wiederholt gerügt. In der Tat sind die Partizipationsrechte, die dem Beschwerdeführer im IV-rechtlichen Verfahren zustehen, im Rahmen der durch den Krankenversicherer angeordneten Begutachtung insgesamt nicht hinreichend gewahrt worden. Eine Heilung der festgestellten Mängel lässt sich unter diesen Umständen nicht rechtfertigen. Das kantonale Gericht hätte daher die von der IV-Stelle eingeholten Gutachten als Beweisgrundlage für die Beurteilung des umstrittenen Rentenanspruchs nicht akzeptieren dürfen. Vielmehr drängte sich beim vorangegangenen rechtsfehlerhaften Administrativverfahren ein gerichtliches Einschreiten auf. Dies hätte zweckmässigerweise in der dem Rechtsvertreter des Versicherten eingeräumten Gelegenheit geschehen können, seine ergänzenden Fragen zu stellen und diese den Ärzten Dr. med. G._ und Dr. med. F._ im Sinne einer Rückfrage zu unterbreiten, um danach darüber befinden zu können, ob sich damit etwas an der Einschätzung in den beiden Begutachtungen ändere. Die Sache ist daher unter Aufhebung des angefochtenen Entscheids vom 19. Januar 2011 an die IV-Stelle zurückzuweisen, damit sie - nunmehr unter Wahrung der Parteirechte - im letztgenannten, falladäquaten Sinne die Begutachtung zur Arbeitsfähigkeit des Versicherten bei den beiden Experten ergänze und anschliessend aufgrund der dabei gewonnenen Erkenntnisse über den vom Beschwerdeführer geltend gemachten Leistungsanspruch neu befinde (vgl. Urteile 8C_254/2010 E. 4.4 und 8C_741/2009 E. 5.2).
4. Die Rückweisung der Sache an die IV-Stelle zu neuem Entscheid mit noch offenem Ausgang (E. 3.3.2 hievor) gilt für die Auferlegung der Gerichtskosten und der Parteientschädigung als volles Obsiegen des Versicherten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG; <ref-ruling> E. 6.1 S. 235). Nach <ref-law> hat die obsiegende beschwerdeführende Person Anspruch auf Ersatz der Parteikosten.

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 19. Januar 2011 aufgehoben. Die Sache wird an die IV-Stelle des Kantons Zürich zurückgewiesen, damit sie im Sinne der Erwägungen verfahre.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800 zu entschädigen.
4. Die Sache wird zur Neuverlegung der Gerichtskosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Scartazzini