Sachverhalt: A. A.C._ und B.C._ sind Eigentümer der Parzelle Nr. 200 an der Schiffgasse 16 in Ermatingen. Am 8. August 2010 ersuchten sie um die Bewilligung, das bestehende Haus abzubrechen und ein neues zu bauen. Der Gemeinderat Ermatingen erteilte am 13. September 2010 die Baubewilligung. Diese wurde in der Folge rechtskräftig. Am 10. November 2010 erliess der Gemeinderat eine Baueinstellungsverfügung. Diese erging aufgrund einer Anzeige von A.A._ und B.A._, denen die südöstlich an die Parzelle Nr. 200 grenzende Parzelle Nr. 223 gehört. Am 21. November 2011 verfügte der Gemeinderat die Aufhebung der Baueinstellungsverfügung und am 9. Januar 2012 wies er ein Gesuch von A.A._ und B.A._ um Widerruf der Baubewilligung ab. Gegen beide Verfügungen erhoben A.A._ und B.A._ Rekurs beim Departement für Bau und Umwelt des Kantons Thurgau (DBU). Mit Entscheid vom 26. Februar 2013 wies das DBU den Rekurs in Bezug auf den Widerruf der Baubewilligung ab. Hinsichtlich der Baueinstellungsverfügung hiess es ihn dagegen teilweise gut und wies die Gemeinde Ermatingen an, dafür zu sorgen, dass entweder die Bauausführung den bewilligten Plänen entspreche oder ein nachträgliches Baugesuch für die Abweichungen eingereicht werde. Gegen den Entscheid des DBU erhoben sowohl A.C._ und B.C._ als auch A.A._ und B.A._ Beschwerde ans Verwaltungsgericht des Kantons Thurgau. Mit Entscheid vom 5. Februar 2014 hiess das Verwaltungsgericht die Beschwerde von A.C._ und B.C._ teilweise gut. Es bestätigte die Aufhebung des Baustopps und bezeichnete die im Einzelnen massgeblichen Pläne. Für den nordöstlichen Bereich der östlichen Anbaute sei vor dem erneuten Baubeginn ein revidierter Ausführungsplan einzureichen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 16. April 2014 beantragen A.A._ und B.A._ im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben und die ursprüngliche Baueinstellungsverfügung zu bestätigen. Zudem sei festzustellen, dass die Bauausführungspläne "Erdgeschoss" vom 27. Januar 2011 und "Schnitt" vom 15. März 2011 der Baubewilligung nicht entsprechen. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. A.C._ und B.C._ und die Gemeinde Ermatingen beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das DBU hat sich nicht vernehmen lassen. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen fest.