Sachverhalt: A. Der 1963 geborene P._ meldete sich unter anderem wegen den Folgen eines am 16. Juni 1998 erlittenen Autounfalls, bei dem er sich verschiedene Frakturen und andere Verletzungen zugezogen hatte, am 21. Februar 2000 zum Leistungsbezug bei der Invalidenversicherung an. Er bezog vom 1. Juni 1999 bis 31. Januar 2001 eine ganze Rente, vom 1. Februar 2001 bis 31. Dezember 2003 eine halbe Rente und ab 1. Januar 2004 eine Dreiviertelsrente der Invalidenversicherung (Urteil I 262/06 des Eidgenössischen Versicherungsgerichts vom 16. Oktober 2006). Im Oktober 2007 leitete die IV-Stelle des Kantons Zürich von Amtes wegen ein Revisionsverfahren ein und traf entsprechende Abklärungen. Mit Verfügung vom 6. November 2008 stellte sie einen Invaliditätsgrad von 52 % fest und setzte die bisherige Rente ab Januar 2009 auf eine halbe Rente herab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 28. Juni 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt P._ beantragen, in Aufhebung des vorinstanzlichen Entscheids und der Verfügung vom 6. November 2008 sei ihm auch nach Dezember 2008 eine Dreiviertelsrente der Invalidenversicherung zuzusprechen. Eventualiter sei die Sache an die IV-Stelle zur erneuten Abklärung der Restarbeitsfähigkeit durch die Berufliche Abklärungsstelle (BEFAS) zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.