Sachverhalt: A. Der 1958 geborene, zuletzt als Stanzereimitarbeiter tätig gewesene H._ meldete sich im April 2009 unter Hinweis auf eine krankheitsbedingte Beeinträchtigung bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Thurgau holte, nebst weiteren Abklärungen, beim Institut X._ eine polydisziplinäre medizinische Expertise vom 8. Februar 2010 und ein Verlaufsgutachten vom 7. Februar 2012 ein. Mit Verfügung vom 13. April 2012 verneinte sie einen Anspruch auf eine Invalidenrente. Das Erfordernis einer durchschnittlich mindestens 40%igen Arbeitsunfähigkeit während eines Jahres sei nicht erfüllt. B. H._ erhob hiegegen Beschwerde. Er legte u.a. das von ihm eingeholte Gutachten des Dr. med. G._, Arzt für Neurologie und Psychiatrie, vom 11. Juli 2012 (mit Ergänzung vom 4. September 2012) auf. Das Verwaltungsgericht des Kantons Thurgau wies die Beschwerde mit Entscheid vom 12. Dezember 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt H._ beantragen, es sei der vorinstanzliche Entscheid aufzuheben und eine ganze Rente zuzusprechen; eventuell sei das kantonale Gericht, subeventuell die Verwaltung anzuweisen, weitere medizinische Abklärungen zur Arbeitsfähigkeit zu treffen, einen rechtskonformen Einkommensvergleich vorzunehmen und erneut über den Leistungsanspruch zu befinden. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. D. Am 13. Mai 2013 lässt H._ einen Klinikbericht vom 7. Mai 2013 einreichen.