Sachverhalt: A. X._ und Y._ beabsichtigen, ihre unüberbaute, in der Weilerzone liegende Parzelle Nr. 1358 in Dingenhart, Politische Gemeinde Matzingen, mit einem Wohnhaus inkl. Carport zu überbauen. Gegen ihr Baugesuch erhoben u. a. A._ und B._ Einsprache. Der Gemeinderat wies die Einsprache, zusammen mit anderen Einsprachen, ab und erteilte am 23. November 2011 die Baubewilligung. Der dagegen erhobene Rekurs wurde vom Departement für Bau und Umwelt des Kantons Thurgau am 21. Mai 2012 abgewiesen. Daraufhin gelangten A._ und B._, zusammen mit weitern Einsprechern, an das Verwaltungsgericht des Kantons Thurgau. Nach Durchführung eines Augenscheins wies dieses die vereinten Beschwerden mit Urteil vom 23. Januar 2013 ab. Es führte im Wesentlichen aus, die Zonenplanänderung von 2007, mit der die Parzelle Nr. 1358 der Bauherren eingezont worden war, sei in Anbetracht des durchgeführten Verfahrens rechtens und könne auch akzessorisch nicht überprüft werden. Ferner dürften in Weilerzonen gelegene Parzellen nach Thurgauer Recht überbaut werden. Schliesslich reihe sich das Projekt offensichtlich in das Ortsbild und das soziale Gefüge von Dingenhart ein; auch liege keine relevante Beeinträchtigung der Einsprecher vor. B. A._ und B._ haben beim Bundesgericht am 20. März 2013 Beschwerde erhoben und beantragt, das Verwaltungsgerichtsurteil und die Baubewilligung vom 23. November 2011 seien aufzuheben. X._ und Y._ als Beschwerdegegner beantragen die Abweisung der Beschwerde. Das Departement und das Verwaltungsgericht beantragen unter Verzicht auf Vernehmlassung ebenfalls die Abweisung. Die Beschwerdeführer halten in ihrer zusätzlichen Eingabe an ihren Anträgen fest. C. Mit Verfügung vom 29. April 2013 ist der Beschwerde aufschiebende Wirkung beigelegt worden.