Citation: 9C_599/2016 E. C

X.________ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 31. Mai 2016 sei ihm auch über den 19. Februar 2008 hinaus eine ganze Invalidenrente (inkl. Kinderrente) zuzusprechen. Eventualiter sei der Entscheid vom 31. Mai 2016 insoweit aufzuheben, als damit ein Rentenanspruch in der Zeit vom 1. November 2003 bis 19. Februar 2008 rückwirkend verneint und eine Rückerstattungsverpflichtung festgestellt werde. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. X.________ lässt eine weitere Eingabe einreichen.