Sachverhalt:
A.
A.C._ und B.C._ sind Eigentümer der Parzelle Nr. 200 an der Schiffgasse 16 in Ermatingen. Am 8. August 2010 ersuchten sie um die Bewilligung, das bestehende Haus abzubrechen und ein neues zu bauen. Der Gemeinderat Ermatingen erteilte am 13. September 2010 die Baubewilligung. Diese wurde in der Folge rechtskräftig.
Am 10. November 2010 erliess der Gemeinderat eine Baueinstellungsverfügung. Diese erging aufgrund einer Anzeige von A.A._ und B.A._, denen die südöstlich an die Parzelle Nr. 200 grenzende Parzelle Nr. 223 gehört. Am 21. November 2011 verfügte der Gemeinderat die Aufhebung der Baueinstellungsverfügung und am 9. Januar 2012 wies er ein Gesuch von A.A._ und B.A._ um Widerruf der Baubewilligung ab.
Gegen beide Verfügungen erhoben A.A._ und B.A._ Rekurs beim Departement für Bau und Umwelt des Kantons Thurgau (DBU). Mit Entscheid vom 26. Februar 2013 wies das DBU den Rekurs in Bezug auf den Widerruf der Baubewilligung ab. Hinsichtlich der Baueinstellungsverfügung hiess es ihn dagegen teilweise gut und wies die Gemeinde Ermatingen an, dafür zu sorgen, dass entweder die Bauausführung den bewilligten Plänen entspreche oder ein nachträgliches Baugesuch für die Abweichungen eingereicht werde.
Gegen den Entscheid des DBU erhoben sowohl A.C._ und B.C._ als auch A.A._ und B.A._ Beschwerde ans Verwaltungsgericht des Kantons Thurgau. Mit Entscheid vom 5. Februar 2014 hiess das Verwaltungsgericht die Beschwerde von A.C._ und B.C._ teilweise gut. Es bestätigte die Aufhebung des Baustopps und bezeichnete die im Einzelnen massgeblichen Pläne. Für den nordöstlichen Bereich der östlichen Anbaute sei vor dem erneuten Baubeginn ein revidierter Ausführungsplan einzureichen.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 16. April 2014 beantragen A.A._ und B.A._ im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben und die ursprüngliche Baueinstellungsverfügung zu bestätigen. Zudem sei festzustellen, dass die Bauausführungspläne "Erdgeschoss" vom 27. Januar 2011 und "Schnitt" vom 15. März 2011 der Baubewilligung nicht entsprechen.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. A.C._ und B.C._ und die Gemeinde Ermatingen beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das DBU hat sich nicht vernehmen lassen. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen fest.

Erwägungen:
1.
Das angefochtene Urteil des Verwaltungsgerichts ist ein Entscheid einer letzten kantonalen Instanz (<ref-law>). Ihm liegt ein Verfahren über die Aufhebung einer Baueinstellungsverfügung (Baustopp) und damit eine öffentlich-rechtliche Angelegenheit zu Grunde (<ref-law>). Mit dem angefochtenen Entscheid wurde die Pflicht zur Einstellung der Bautätigkeit verneint und damit das Verfahren abgeschlossen, es liegt mithin ein Endentscheid im Sinne von <ref-law> vor (Urteil 1C_276/2009 vom 26. Juli 2010 E. 1.2). Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen. Als direkte Nachbarn haben sie zudem ein schutzwürdiges Interesse daran, dass die ausgeführte Baute den bewilligten Plänen entspricht. Sie sind deshalb zur Beschwerde legitimiert (<ref-law>). Auf ihre Beschwerde ist einzutreten.
2.
2.1. Die Beschwerdeführer sind der Ansicht, die Ausführungspläne für den in Angriff genommenen Hausbau widersprächen den bewilligten Plänen. Dies betreffe zum einen die Höhe der Anbaute an der Ostseite des Hauses, zum andern den Grenzabstand zur Strasse. Das Verwaltungsgericht habe in diesen Punkten den Sachverhalt willkürlich festgestellt (<ref-law>) und deshalb zu Unrecht davon abgesehen, den Baustopp aufrecht zu erhalten.
2.2. Das Verwaltungsgericht prüfte die Ausführungspläne unter dem Gesichtswinkel von § 114 des Planungs- und Baugesetzes des Kantons Thurgau vom 21. Dezember 2011 (RB 700). Gemäss dieser Bestimmung trifft die Gemeindebehörde die zur Herstellung des gesetzmässigen Zustands erforderlichen Massnahmen, wenn ein Zustand geschaffen wird, der dieses Gesetz oder die gestützt darauf erlassenen Pläne, Bauvorschriften oder Verfügungen verletzt. Das Verwaltungsgericht erwog, die bewilligten Pläne, die von den Beschwerdeführern mit ihrer Unterschrift genehmigt worden seien, böten Interpretationsschwierigkeiten. Diese liessen sich indessen lösen.
3.
3.1. Zur Höhe der Anbaute führte das Verwaltungsgericht aus, dass auf den bewilligten Plänen für den Nullpunkt keine Höhenangabe gemacht worden sei, sondern sich lediglich die Angabe "+0.00 = bestehend" finde. Offensichtlich seien alle Beteiligten davon ausgegangen, dass als Referenzpunkt das bestehende Einfamilienhaus gelten solle. Weil dieses bereits abgebrochen und das Terrain für das neue Fundament abgetragen worden sei, lasse sich das ursprüngliche Niveau nicht mehr eruieren, auch nicht anhand der auf dem Nachbargrundstück vorhandenen Stellriemen. Dem Ausführungsplan "Schnitt" vom 20. Januar 2011 lasse sich jedoch entnehmen, dass der Nullpunkt bei 397.81 m ü. M. festgelegt worden sei. Die Strasse liege auf der Höhe der südlichen Fassade auf 397.78 m ü. M. und die Firsthöhe ab Strassenniveau werde mit 9.03 m angegeben. Massgebend für die Bestimmung der Gebäudehöhe des Anbaus sei in diesem Plan das Erdgeschoss, das auf 397.61 m ü. M. liege. Dieser Punkt liege 0.17 m unter dem Strassenniveau. Im bewilligten und von den Beschwerdeführern sogar unterschriftlich genehmigten Schnittplan vom 5. Juli 2010 fehle zwar eine genaue Höhenangabe. Aus diesem Plan sei aber ersichtlich, dass die Firsthöhe von 9.03 m sowie die Gebäudehöhe von 5.84 m ab dem Strassenniveau gemessen worden seien, womit in dieser Hinsicht der Ausführungsplan und der bewilligte Plan übereinstimmten. Ebenso könne dem bewilligten Plan entnommen werden, dass die Höhe des östlichen Anbaus von 2.46 m ab dem Erdgeschoss bzw. ab der entsprechenden Oberkante gemessen worden sei. Auch diesbezüglich stimmten der Ausführungsplan und der bewilligte Plan überein. Auf beiden Plänen sei auch ein Unterschied zwischen Strassenniveau und Oberkante Erdgeschoss auf der Ostseite der Ersatzbaute von ca. 20 bzw. 17 cm ersichtlich. Aufgrund dieses Vergleichs ergebe sich zweifelsfrei die Übereinstimmung des Ausführungsplans mit dem bewilligten Plan hinsichtlich der Höhe der Ersatzbaute sowie insbesondere auch des östlichen Anbaus. Massgebend sei somit ein Nullpunkt bei 397.81 m ü. M. sowie eine Kote von 397.61 m ü. M., ab welcher die Höhe des Anbaus zu ermitteln sei.
3.2. Die Beschwerdeführer machen geltend, massgebend für die Höhe der Anbaute müsse das gewachsene Terrain sein. Dass dessen Niveau nicht mehr feststellbar sei, sei eine willkürliche Annahme. Anhand der bei den Akten liegenden Fotos sei eine Bestimmung möglich, wenn auch nicht zentimetergenau, dies insbesondere anhand der Stellriemen auf ihrem eigenen Grundstück. Diese Stellriemen seien von den bisherigen Bauarbeiten nicht tangiert worden.
Wenn die Vorinstanz das Strassenniveau zum Ausgangspunkt nehme, verkenne sie, dass die bewilligten Pläne das Strassenniveau nicht verzeichnen würden und sich das Gebäude nicht direkt an der Strasse befinde. Sie habe auch übersehen, dass das Gefälle auf der Höhe des Anbaus von der Westgrenze zur Ostgrenze nicht 20 cm, sondern 46 cm betrage, was eine zu den Akten gereichte Vermassung zeige. Das gewachsene Terrain sei auf den bewilligten Plänen nicht eingezeichnet. Selbst die Bauherrschaft habe in ihren Eingaben an das Verwaltungsgericht bestätigt, dass die eingezeichnete Linie im Bereich des Fundaments nicht den Terrainverlauf darstelle. Schliesslich stelle es einen Zirkelschluss dar, wenn zur Bestimmung der Höhe des Anbaus gerade auf den umstrittenen Ausführungsplan abgestellt werde.
Die Beschwerdeführer weisen schliesslich darauf hin, dass das Fundament noch nicht betoniert worden sei. Das Verwaltungsgericht habe fälschlicherweise das Gegenteil angenommen und deshalb wohl eine Änderung als unverhältnismässig angesehen.
3.3. Die von der Vorinstanz dargelegten Interpretationsschwierigkeiten bzw. Unstimmigkeiten rühren insbesondere daher, dass die genehmigten und von den Beschwerdeführern unterzeichneten Pläne keine Höhenkoten enthalten. Stattdessen werden auf dem erwähnten Plan "Schnitt" vom 5. Juli 2010 die Gebäude-Höhenmasse ab einer nach Osten leicht abfallenden Linie angegeben. Wie die Beschwerdeführer zu Recht vorbringen, bestätigten auch die Beschwerdegegner, dass es sich dabei jedoch nicht um den Terrainverlauf handelt. In ihrer Beschwerdeantwort vom 3. Juni 2013 schrieben letztere, es sei nicht mehr nachvollziehbar, was diese Linie darstellen sollte. Anscheinend geht die Vorinstanz davon aus, es handle sich um die Oberkante des Erdgeschosses. Dies lässt sich aufgrund der Pläne aber nicht nachvollziehen und ergibt bei einer abfallenden Linie auch kaum Sinn. Indessen widersprechen sich insofern auch die Beschwerdeführer, wenn sie darauf bestehen, dass die Höhe des Anbaus ab dem gewachsenen Terrain gemessen werde, gleichzeitig aber geltend machen, die Linie, ab welcher auf dem bewilligten Plan die Höhe des Anbaus verzeichnet ist, entspreche gar nicht dem Terrainverlauf. Aufgrund dieser Unsicherheiten ist nicht zu beanstanden, dass das Verwaltungsgericht das Niveau der Strasse zum Ausgangspunkt genommen hat. Mit dem Massstab lässt sich auf dem genehmigten Schnittplan nachmessen, dass die eingezeichnete schwarze Linie bei der Ostfassade des Anbaus etwas weniger als 2 mm tiefer liegt, was in etwa der im Ausführungsplan angegebenen Höhendifferenz von 17 cm entspricht. Die Vorinstanz hat den Sachverhalt insofern nicht willkürlich festgestellt. Die erwähnten Unsicherheiten über die präzisen Masse des Gebäudes gehen, wie ausgeführt, darauf zurück, dass der rechtskräftig genehmigte (und von den Beschwerdeführern unterschriebene) Plan ungenau ist. Dies ist, wie ebenfalls erwähnt, eine Folge des Umstands, dass keine Höhenkoten eingetragen sind und die eingezeichnete schwarze Linie nach den Angaben der Parteien zudem nicht den Terrainverlauf wiedergibt. Insofern würde aber auch eine nachträgliche Bestimmung des ursprünglichen Terrainverlaufs, wenn sie denn möglich wäre, keine Abhilfe schaffen. Der Ansatz des Verwaltungsgerichts zur Bestimmung der Höhe der Anbaute erscheint deshalb vertretbar und die betreffende Rüge der Beschwerdeführer unbegründet.
Die Kritik an der Feststellung des Verwaltungsgerichts, das Fundament sei bereits betoniert worden, ist schliesslich für den Ausgang des Verfahrens nicht entscheidend (vgl. <ref-law>). Darauf ist nicht einzutreten.
4.
4.1. Zu den Grenzabständen sowie den Gebäudelängen erwog das Verwaltungsgericht, der genehmigte Situationsplan vom 2. August 2010 könne nicht massgebend sein. Auf der Höhe der südlichen Fassade sei die Parzelle in Wirklichkeit maximal 11 m breit, die Summe der Gebäudelänge und der beiden Abstände zur Parzellengrenze gemäss dem Situationsplan ergäben jedoch 11.52 m. Dem ebenfalls genehmigten Grundrissplan vom 21. Februar 2010 lasse sich in dieser Hinsicht entnehmen, dass der Strassenabstand weniger als die auf dem Situationsplan vorgesehenen 1.51 m betrage. Aus dem Ausführungsplan "Erdgeschoss" vom 27. Januar 2011 (Revisionsdatum) ergäben sich die präzisen Masse, nämlich ein Strassenabstand von 125.6 cm, ein Abstand zur Parzelle der Beschwerdeführer von 30 cm und eine Gebäudebreite von 951.5 cm. Dies ergebe eine der Realität entsprechende Parzellenbreite von 11.07 m.
4.2. Die Beschwerdeführer halten dem entgegen, der Situationsplan vom 2. August 2010 sei der einzige bewilligte Plan, auf dem die Aussenmasse des Gebäudes und die Grenzabstände eingetragen seien. Die Grenzabstände auf der Westseite betrügen danach 177 cm (an der nördlichen Gebäudeecke) bzw. 151 cm (an der südlichen Gebäudeecke). Im Ausführungsplan "Erdgeschoss" vom 27. Januar 2011 seien dagegen Grenzabstände von lediglich 156.4 cm bzw. 125.5 cm vorgesehen. Auch die bewilligte Gebäudelänge und -breite werde nicht eingehalten. In den genehmigten Plänen entsprächen diese dem Altbau, während sich aus einem ebenfalls in den Akten liegenden Situationsplan vom 23. Februar 2011 stattdessen ergebe, dass der Neubau grösser werde. Das Verwaltungsgericht sei in Willkür verfallen, wenn es zur Überprüfung der Konformität der Ausführungspläne diese selbst zum Massstab nehme. Auch sei es willkürlich, wenn das Verwaltungsgericht unter den dargelegten Umständen zum Schluss gekommen sei, die Grenz- und Strassenabstände seien nicht überschritten worden.
4.3. Entgegen der Auffassung der Beschwerdeführer hat das Verwaltungsgericht die genehmigten Pläne und nicht die Ausführungspläne zum Massstab genommen. Es hat dargelegt, dass der Situationsplan vom 2. August 2010 insofern fehlerhaft sei, als die Summe der beiden Grenzabstände und der Gebäudelänge mehr betrage als die tatsächliche Parzellenbreite. Zudem wies es darauf hin, dass der im genehmigten Grundrissplan vom 21. Februar 2010 vorgesehene Grenzabstand deutlich weniger als 1.51 m betrage. Diese Sachverhaltsfeststellungen lassen sich anhand der Pläne nachvollziehen und sind nicht willkürlich. Den Diskrepanzen zwischen dem genehmigten Situationsplan und dem genehmigten Grundrissplan wurde in den Ausführungsplänen so Rechnung getragen, dass der Grenzabstand zur Parzelle der Beschwerdeführer wie im Situationsplan vorgesehen 30 cm beträgt, dagegen die Gebäudebreite und der westliche Grenzabstand gegenüber dem genehmigten Situationsplan reduziert wurden. Hinsichtlich des westlichen Grenzabstands entspricht dies dem Grundrissplan vom 21. Februar 2010, worauf der Grenzabstand unverkennbar weniger als 1.51 m beträgt. Auch dieser Grundrissplan wurde rechtskräftig genehmigt. Dass das Verwaltungsgericht gestützt darauf die mit der Realität nicht in Einklang zu bringenden Angaben im Situationsplan vom 2. August 2010 relativierte, ist eine Frage der Rechtsanwendung, nicht der Sachverhaltsfeststellung. Die Beschwerdeführer machen nicht geltend, dass das Verwaltungsgericht dabei das Planungs- und Baugesetz willkürlich angewendet hätte. Zudem führen sie auch nicht aus, inwiefern die Gebäudelängen gemäss den Ausführungsplänen über jene im genehmigten Situationsplan hinausgehen sollten. Darauf ist deshalb nicht weiter einzugehen. Jedenfalls erweist sich die Rüge der willkürlichen Sachverhaltsfeststellung als unbegründet.
5.
Die Beschwerde ist aus den genannten Gründen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Sie haben den anwaltlich vertretenen Beschwerdegegnern eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegnern eine Parteientschädigung von Fr. 2'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien, der Politischen Gemeinde Ermatingen, dem Departement für Bau und Umwelt sowie dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 25. September 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold