Sachverhalt: A. Mit Einspracheentscheid vom 19. Dezember 2008 sprach die IV-Stelle des Kantons Thurgau dem 1953 geborenen L._ für die Zeit vom 1. Juni bis 31. Oktober 2007 eine ganze Invalidenrente zu. Mit Entscheid vom 29. April 2009 wies das Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht die hiegegen erhobene Beschwerde nach Durchführung einer mündlichen öffentlichen Verhandlung ab. Mit Urteil 9C_511/2009 vom 30. November 2009 hob das Bundesgericht, II. sozialrechtliche Abteilung, Gerichtsentscheid und Einspracheentscheid auf. Es stellte fest, dass L._ ab 1. Dezember 2001 bis 31. Mai 2007 Anspruch auf eine Viertelsrente und für die Monate Juni bis Oktober 2007 Anspruch auf eine ganze Rente der Invalidenversicherung habe; für die Zeit danach werde die IV-Stelle nach ergänzenden Abklärungen im Sinne der Erwägungen neu verfügen (Dispositiv-Ziffer 1). Das kantonale Versicherungsgericht wurde angewiesen, die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen (Dispositiv-Ziffer 4). B. Mit Entscheid vom 23. Dezember 2009 verpflichtete das Verwaltungsgericht des Kantons Thurgau als Versicherungsgericht die IV-Stelle, eine Verfahrensgebühr von Fr. 900.- zu bezahlen (Dispositiv-Ziffer 1) und den Versicherten für das erstinstanzliche Beschwerdeverfahren mit Fr. 2'529.30 (inkl. Reisespesen) zuzüglich MWSt zu entschädigen (Dispositiv-Ziffer 2). C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, Ziffer 2 des Entscheids vom 23. Dezember 2009 sei aufzuheben und die IV-Stelle zu verpflichten, ihn für das kantonale Beschwerdeverfahren mit Fr. 6'130.65 (Fr. 5'704.70 zuzüglich MWSt von 7,6 % auf Fr. 5'604.70) zu entschädigen, unter Gewährung der unentgeltlichen Prozessführung. Das kantonale Versicherungsgericht beantragt die Abweisung der Beschwerde. IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.