Sachverhalt:
A. G._, geboren am 19. März 1946, meldete sich am 26. August 2002 zum Bezug von Leistungen der Invalidenversicherung an. Er war seit 9. März 1993 als Sandstrahler (ungelernt) bei der X._ AG tätig gewesen. Aufgrund eines Sturzes aus ca. 1 Meter Höhe in einen Kranbehälter erlitt er eine Kniekontusion beidseits sowie eine fragliche Schulterkontusion rechts (Austrittsbericht der Rehaklinik Y._ vom 4. September 2002, wo er sich vom 24. Juli bis 21. August 2002 aufhielt). Im Rahmen dieses Aufenthaltes wurde festgestellt, dass das Ausmass der demonstrierten Einschränkungen aus medizinischer Sicht nicht plausibel sei. Mit Verfügung vom 26. Juni 2006 sprach die IV-Stelle des Kantons Solothurn G._ vom 1. April bis 31. Mai 2003 eine halbe und vom 1. Juni bis 30. November 2003 eine ganze Invalidenrente zu. Die dagegen am 6. Juli 2006 erhobene Einsprache wies sie am 10. Januar 2007 ab. Die dagegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 15. Mai 2008 gut, indem es den Einspracheentscheid vom 10. Januar 2007 aufhob und die Akten an die IV-Stelle zurückwies, damit diese ergänzende Abklärungen betreffend Vervollständigung der medizinischen Aktenlage vornehme, eine interdisziplinäre Begutachtung veranlasse und hierauf über das Leistungsbegehren neu entscheide. Bereits am 21. Mai 2007 hiess das kantonale Gericht eine Beschwerde von G._ betreffend Leistungen der obligatorischen Unfallversicherung gut und hob den Einspracheentscheid der Schweizerischen Unfallversicherungsanstalt (SUVA) vom 29. Dezember 2005 auf und wies die Sache an diese zurück, damit sie weitere Beweismassnahmen veranlasse. Am 23. November 2007 stellte die SUVA das Einholen eines interdisziplinären Gutachtens, federführend die Rheumatologie des Spitals Z._, unter Beizug von Prof. Dr. med. H._, Wirbelsäulenchirurg, und Prof. Dr. med. F._, Psychiater, in Aussicht und legte dem Versicherten den vorgesehenen Fragenkatalog vor. Am 25. Juni 2008 schloss sich die IV-Stelle dieser Begutachtung mit entsprechenden Zusatzfragen an. Am 12. März 2008 wurde der SUVA ein von Dr. med. S._, Oberarzt an der Klinik und Poliklinik für Orthopädische Chirurgie des Spitals Z._, erstelltes Gutachten abgeliefert. Am 13. März 2008 legten Prof. Dr. med. F._, Chefarzt des medizinischen Zentrums Q._, und Dr. med. N._, Facharzt für Psychiatrie, das von ihnen erstellte psychiatrische Gutachten der SUVA vor. Am 19. März 2008 wurde von Prof. Dr. med. V._, Ordinarius für Rheumatologie und Klinische Immunologie, Spital Z._, zuhanden der SUVA ein Gutachten erstattet, in dessen Appendix die Zusatzfragen der IV-Stelle beantwortet wurden. Am 26. November 2008 sprach die SUVA G._ eine Rente ab 1. Dezember 2003 bei einem Erwerbsunfähigkeitsgrad von 16 % zu. Mit Vorbescheid vom 19. März 2009 stellte die IV-Stelle G._ die Ausrichtung einer halben Invalidenrente im Monat April 2003 und einer ganzen Invalidenrente in den Monaten Mai bis November 2003 in Aussicht. In der Stellungnahme hierzu machte G._ geltend, er sei gestützt auf das Teilgutachten von Dr. med. S._ zu 0 % arbeitsfähig. Dr. med. A._, Allgemeine Medizin FMH, Regionaler Ärztlicher Dienst, nahm dazu am 11. August 2009 Stellung. Mit Verfügungen vom 17. November 2009 sprach die IV-Stelle G._ für den Monat April 2003 eine halbe Invalidenrente und vom 1. Mai bis 30. November 2003 eine ganze Invalidenrente zu; ab 1. Dezember 2003 verweigerte sie eine Rentenzahlung aufgrund eines Invaliditätsgrades von 16 %.
B. Gegen die Verfügungen der IV-Stelle vom 17. November 2009 erhob der Versicherte beim kantonalen Gericht Beschwerde. Im Rahmen des Beschwerdeverfahrens reichte die IV-Stelle ein von Prof. Dr. med. V._ am 4. Februar 2010 unterzeichnetes Exemplar des Appendix zum Gutachten vom 19. März 2008 ein. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 25. Februar 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte die Aufhebung des kantonalen Entscheides und die Rückweisung der Angelegenheit an die IV-Stelle, damit sie ergänzende medizinische Abklärungen vornehme.
Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Aus der Beschwerdebegründung ergibt sich, dass der Versicherte auch ab 1. Dezember 2003 eine Invalidenrente verlangt. Auf die Beschwerde ist somit einzutreten (<ref-law>; <ref-ruling> E. 1 S. 99, 134 III 379 E. 1.3 S. 383, 133 III 489 f. E. 3.1; Urteil 8C_944/2010 vom 21. März 2011 E. 1).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
Die gestützt auf medizinische Akten gerichtlich festgestellte Arbeitsfähigkeit ist Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232; vgl. auch E. 2 hienach). Die konkrete Beweiswürdigung ist Tatfrage (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_304/2011 vom 6. Juli 2011 E. 1).
3. Die Vorinstanz hat die massgeblichen Rechtsgrundlagen, unter Berücksichtigung der intertemporalrechtlichen Fragen, die sich aufgrund der am 1. Januar 2008 im Rahmen der 5. IV-Revision erfolgten Rechtsänderungen stellen (vgl. Urteil 8C_829/2008 vom 23. Dezember 2008 E. 2.1 mit Hinweisen), zutreffend wiedergegeben. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zum Begriff der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>) sowie zum Beweiswert und zur Würdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
4. 4.1 Nach umfassender Auseinandersetzung mit den medizinischen Akten gelangte die Vorinstanz zum nachvollziehbar begründeten Ergebnis, für körperlich leichte Tätigkeiten bestehe beim Beschwerdeführer eine zeitlich und leistungsmässig uneingeschränkte Arbeitsfähigkeit. Diese Beurteilung stützt sich namentlich auf das im Rahmen der medizinischen Abklärungen von der IV-Stelle eingeholte Gutachten des Prof. Dr. med. V._ vom 19. März 2008.
4.2 Die Tatsachenfeststellungen des kantonalen Gerichts, vorliegend namentlich die aus den medizinischen Akten gewonnene Erkenntnis, wonach eine rechtsrelevante Invalidität per September 2003 vollständig wegfiel, sind im letztinstanzlichen Prozess grundsätzlich verbindlich. Im Rahmen der eingeschränkten Sachverhaltskontrolle (<ref-law>) ist es nicht Aufgabe des Bundesgerichts, die schon im vorinstanzlichen Verfahren im Recht gelegenen medizinischen Berichte neu zu würdigen und die rechtsfehlerfreie Sachverhaltsfeststellung des kantonalen Gerichts hinsichtlich der medizinisch begründeten Einschränkung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Einschränkungen verbleibenden Arbeitsfähigkeit zu korrigieren (E. 2 hiervor). Soweit der Versicherte eine Verletzung des rechtlichen Gehörs und der Untersuchungsmaxime geltend macht, muss darauf hingewiesen werden, dass im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör liegt, wenn die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) zur Überzeugung führen, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich (<ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195, je mit Hinweisen) zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94). Es lässt sich demgemäss nicht beanstanden, dass das kantonale Gericht nach umfassender Würdigung der ärztlichen Unterlagen davon ausgegangen ist, der rechtserhebliche Sachverhalt sei genügend abgeklärt worden. Die Ausführungen in der Beschwerdeschrift sind nicht geeignet, die Sachverhaltsfeststellung des kantonalen Gerichts als offensichtlich unrichtig oder unvollständig erscheinen zu lassen. Dies zeigen auch die nachstehenden Überlegungen, die sich mit den vom Beschwerdeführer vorgetragenen Argumenten im Einzelnen auseinandersetzen.
5. 5.1 Der Beschwerdeführer behauptet, die SUVA habe ein bidisziplinäres Gutachten (psychiatrisch-orthopädisch) in Auftrag gegeben. Dies ist unzutreffend. Vielmehr wurde von der SUVA als Gutachterstelle federführend die Rheumatologie des Spitals Z._ vorgeschlagen, unter Beizug von Prof. Dr. med. H._, Wirbelsäulenchirurg, und Prof. Dr. med. F._, Psychiater. Ebenso wurde der Fragenkatalog der SUVA in "Rheumatologisch" und "Psychiatrisch" aufgeteilt. Schliesslich wurden vom Beschwerdeführer Zusatzragen zu Ziff. 4 (Rheumatologisch) und Ziff. 5.5 (Psychiatrisch) deponiert. Seine Behauptung ist somit aktenwidrig. Es war aufgrund der Fragestellungen von einem Gutachtensauftrag im rheumatologischen und im psychiatrischen Bereich auszugehen. Tatsächlich hat nebst der Rheumatologie des Spitals Z._ nur Prof. Dr. med. F._, der im Schreiben der SUVA vom 23. November 2007 genannt wurde, ein Gutachten abgeliefert, währenddem ein Beizug von Prof. Dr. med. H._ nicht stattfand. Dr. med. S._ wurde weder von der SUVA noch von der Beschwerdegegnerin je als Gutachter genannt. Auch wurde das Gutachten des Dr. med. S._ von Prof. Dr. med. H._ weder mitunterzeichnet noch visiert.
5.2 Der Beschwerdeführer macht geltend, Prof. Dr. med. V._ habe ihn gar nicht untersucht, so dass dessen Expertise ein blosses Aktengutachten darstelle. Auch diese Behauptung erweist sich als aktenwidrig, wenn schon nur das Gutachten von Prof. Dr. med. V._ konsultiert wird. Dort heisst es auf Seite 1, dass er den Beschwerdeführer am 19. März im Beisein seines Sohnes befragt und untersucht habe. Ebenso ist aus der Expertise ersichtlich, dass am 14. März 2008 zwischen 10.30 Uhr und 11.15 Uhr eine klinische Untersuchung stattfand.
5.3 Der Beschwerdeführer führt an, aufgrund des orthopädischen Teilgutachtens des Dr. med. S._ vom 12. März 2008 sei eine vollständige Invalidisierung anzunehmen. Er leitet dies aus der Antwort von Dr. med. S._ auf die Frage 6 der SUVA ab. Jedoch ist der von Dr. med. S._ verwendete Begriff "vollständig invalidisiert" in seinem ärztlichen Gutachten gar nicht massgebend, da im schweizerischen Sozialversicherungsrecht der Invaliditätsgrad gemäss <ref-law> bestimmt wird. Vielmehr deutet die von Dr. med. S._ verwendete Formulierung darauf hin, dass dieser mit der Begutachtungspraxis in der Schweiz und den dabei verwendeten Begriffen unzureichend vertraut ist. Dr. med. S._ verfasste das Gutachten am 12. März 2008, nachdem er erst seit 2007 über einen Weiterbildungstitel in orthopädischer Chirurgie und Traumatologie des Bewegungsapparates gemäss Medizinalberuferegister verfügte (vgl. www.medregom.admin.ch, besucht am 20. Juli 2011). Er begründet auch nicht - wie von Dr. med. A._ zutreffend am 11. August 2009 bemerkt wurde -, warum der Beschwerdeführer infolge der Wirbelsäulenbeschwerden vollständig invalidisiert sei bzw. er deswegen gar nicht mehr arbeiten könnte. So wurden von Dr. med. S._ selber weder Neurokompressionen festgestellt noch liess sich eine radikuläre Ausstrahlung klinisch nachvollziehen. Angesichts dieser Ungereimtheiten in der von Dr. med. S._ vorgenommenen Beurteilung, dass der Beschwerdeführer aufgrund der Rückenbeschwerden vollständig invalidisiert sei, ist der Einwand des RAD-Arztes Dr. med. A._ nachvollziehbar, Dr. med. S._ habe die Invalidisierung nicht begründet, sondern sich weitgehend auf die Klagen des Beschwerdeführers und sein Schmerz vermittelndes Verhalten während der Untersuchung abgestützt.
5.4 Prof. Dr. med. V._ hat ein umfassendes Gutachten zuhanden der SUVA abgeliefert. In dem von ihm am 10. Februar 2010 auch noch separat unterzeichneten Appendix hat er zuhanden der Beschwerdegegnerin festgehalten, dass aus rheumatologischem und orthopädischem Blickwinkel keine Arbeitsunfähigkeit für körperlich leichte Tätigkeiten bestehe. Zusammenfassend sei der Explorand für körperlich leichte Tätigkeiten zu 100 % arbeitsfähig. Sein Gutachten beruht sowohl auf einer Befragung des Beschwerdeführers wie auf einer entsprechenden Untersuchung. Prof. Dr. med. V._ verfügt über eine Weiterbildung als Facharzt für Innere Medizin (1989), für Rheumatologie (1996) und für Physikalische Medizin und Rehabilitation (2000) gemäss FMH-Ärzte-Index (www.doctorfmh.ch; besucht am 20. Juli 2011) sowie gemäss Medizinalberuferegister (www.medregom.admin. ch; ebenfalls besucht am 20. Juli 2011). Ebenso ist er Direktor und Chefarzt der Universitätsklinik für Rheumatologie, Klinische Immunologie und Allergologie, Spital Z._. Aufgrund seiner Ausbildung wie auch praktischen Erfahrung ist er somit in der Lage, umfassend die somatischen Leiden des Beschwerdeführers zu beurteilen. Insbesondere verfügt er als Facharzt für Rheumatologie auch über interdisziplinäre Kenntnis der Orthopädie, wie von der Beschwerdegegnerin im Rahmen des vorinstanzlichen Verfahrens unter Hinweis auf das zum Erwerb des Facharzttitels zu absolvierende Weiterbildungsprogramm zutreffend vermerkt wurde. Prof. Dr. med. V._ konnte bei seiner Beurteilung auch bereits über die Erkenntnisse des von Dr. med. S._ am 12. März 2008 verfassten Gutachtens verfügen, wird doch dieses in seinem Gutachten vom 19. März 2008 explizit erwähnt. Es ist auch darauf hinzuweisen, dass von der Beschwerdegegnerin einzig die rheumatologische Poliklinik mit der Bitte um Beantwortung von Zusatzfragen beauftragt wurde, wobei der Beschwerdeführer über dieses Vorgehen auch durch eine Orientierungskopie ins Bild gesetzt wurde und dagegen nicht opponierte. Daher war es auch naheliegend, dass Prof. Dr. med. V._ die von der Beschwerdegegnerin gestellten Fragen beantwortete und nicht ein weiterer Gutachter.
5.5 Somit ergibt sich, dass die Vorinstanz eine weder offensichtlich unrichtige noch rechtsfehlerhafte Beweiswürdigung vornahm, indem sie für die Beurteilung der Arbeitsfähigkeit des Beschwerdeführers auf das Gutachten des Prof. Dr. med. V._ vom 19. März 2008 abstellte. Weitere konkret begründete Rügen gegen den Entscheid der Vorinstanz werden vom Beschwerdeführer nicht vorgebracht und die Feststellung der vollumfänglichen Arbeitsfähigkeit im psychosomatischen Bereich durch das Gutachten des Prof. Dr. med. F._ und des Dr. med. N._ vom 13. März 2008 nicht in Frage gestellt. Er wurde somit zutreffend für leichte Arbeit als zu 100 % arbeitsfähig betrachtet. Daraus resultiert ein rentenausschliessender Invaliditätsgrad. Die Leistungsabweisung der Beschwerdegegnerin ab 1. Dezember 2003 ist somit zu Recht erfolgt und die Beschwerde ist daher abzuweisen.
6. Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Gerichtskosten sind dem Beschwerdeführer als der unterliegenden Partei aufzuerlegen (<ref-law>). Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (<ref-law>; SVR 2009 UV Nr. 11 S. 45 E. 11 [8C_606/2007]; Urteil 8C_489/2009 vom 23. Oktober 2009 E. 8).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. September 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar