Sachverhalt:
A.
A.a. A.A._ und B.A._ (geb. 1946 und 1939) waren in den vorliegend betroffenen Steuerperioden 2010 bis 2013 verheiratet und trennten sich anfangs 2014. Sie sind Eltern der beiden erwachsenen Söhne C.A._ (wohnhaft in U._/SG) und D.A._ (wohnhaft in V._/TG). Die Eheleute A._ wohnten von April 1985 bis Ende 1997 in einem Einfamilienhaus an der W._ in U._, welches sie im August 2003 an ihren Sohn C.A._ verkauften, und hatten ihren steuerrechtlichen Wohnsitz in U._. Ab 1998 waren sie in X._/GR einwohneramtlich angemeldet und unbeschränkt steuerpflichtig, wo sie kurz zuvor eine Eigentumswohnung erworben hatten. Nachdem sie 2006 eine Eigentumswohnung in U._ gekauft und sich dort als Wochenaufenthalter angemeldet hatten, erwarben sie 2008 ein Einfamilienhaus an der Y._ in U._. Dieses bewohnten sie fortan als Wochenaufenthalter. Im Juli 2014 erklärte B.A._ diese Adresse als ihren Hauptwohnsitz und meldete sich später in V._ an, während A.A._ sich nach Z._, O._, abmeldete und im Juli 2015 wieder in die Schweiz zurückkehrte. Er wohnte zum Zeitpunkt des vorinstanzlichen Entscheides in P._/SG.
A.b. A.A._ amtete bis Februar 2014 als Verwaltungsratspräsident der 1996 gegründeten B._ AG, der 2005 gegründeten C._ AG sowie der 2007 gegründeten D._ AG, wobei diese Unternehmen ihren Sitz bis Mitte 2015 an der W._ bzw. Y._ in U._ hatten. Bis Februar 2014 übten die Söhne C.A._ und D.A._ in den genannten Unternehmen ebenfalls Verwaltungsratsmandate aus.
B.
Mit Verfügung vom 12. Dezember 2014 stellte das Steueramt des Kantons St. Gallen (Steueramt SG) fest, dass die Eheleute A._ ab der Steuerperiode 2010 in U._ unbeschränkt steuerpflichtig seien. Die dagegen erhobene Einsprache wies das Steueramt SG mit Einspracheentscheid vom 4. Juli 2016 ab. Der anschliessende Rekurs blieb gemäss Entscheid der Verwaltungsrekurskommission des Kantons St. Gallen (Verwaltungsrekurskommission) vom 28. Februar 2017 erfolglos. Die dagegen erhobene Beschwerde vom 31. März 2017 wurde mit Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 5. September 2018 abgewiesen.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 9. Oktober 2018 an das Bundesgericht beantragen A.A._ (Beschwerdeführer 1) und B.A._ (Beschwerdeführerin 2) die Aufhebung des vorinstanzlichen Entscheides betreffend die Steuerpflicht 2010 - 2013. Es sei festzustellen, dass die Beschwerdeführer für die Staats- und Gemeindesteuern der Steuerperioden 2010 - 2013 im Kanton St. Gallen nicht steuerpflichtig sind. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Das Steueramt SG und die Vorinstanz beantragen in ihren Vernehmlassungen jeweils die Abweisung der Beschwerde.
Mit Verfügung vom 15. Oktober 2018 hat der Präsident der II. öffentlich-rechtlichen Abteilung das Gesuch um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts, weshalb auf das form- und fristgerecht eingereichte Rechtsmittel einzutreten ist (Art. 42 Abs. 1 und 2, 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>), wobei es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) grundsätzlich nur die geltend gemachten Rechtsverletzungen prüft, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.5 S. 314).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine Berichtigung oder Ergänzung der vorinstanzlichen Sachverhaltsfeststellungen ist von Amtes wegen (<ref-law>) oder auf Rüge hin (<ref-law>) möglich. Von den tatsächlichen Grundlagen des vorinstanzlichen Urteils weicht das Bundesgericht jedoch nur ab, wenn diese offensichtlich unrichtig, sprich willkürlich sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.6 S. 144 f.). Für eine entsprechende Rüge gilt ebenfalls eine qualifizierte Rüge- und Substanziierungspflicht; auf rein appellatorische Kritik an der Sachverhaltsfeststellung geht das Gericht nicht ein (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 10.1 S. 444 f.).
2.
2.1. Die Beschwerdeführer rügen eine offensichtlich unrichtige Feststellung des Sachverhalts im Sinne von <ref-law> i.V.m. <ref-law> (Willkürverbot). Sie machen geltend, die Vorinstanz habe erwogen, der Beschwerdeführer 1 habe sich im relevanten Zeitraum (2010 - 2013) geschäftlich (nur) mehrere Tage im Jahr im Ausland aufgehalten, obwohl die Verwaltungsrekurskommission von 5 - 7 Wochen jährlich ausgegangen sei. Nachdem letztere bemängelt habe, die behauptete Auslandabwesenheit von 200 - 240 Tagen jährlich sei nicht belegt, sei zudem mit der Beschwerde an die Vorinstanz eine Übersicht über die Auslandreisen des Beschwerdeführers 1 mit entsprechenden Kreditkarten- und Spesenabrechnungen vorgelegt worden, welche Geschäftsreisen im behaupteten Umfang belegten. Demnach sei selbst die Feststellung der Verwaltungsrekurskommission von 5 - 7 Wochen jährlich bestritten worden. Die vorinstanzliche Feststellung von lediglich mehreren Tagen jährlich sei demzufolge willkürlich. Der Arbeitsort des Beschwerdeführers sei im Ausland gewesen und die entsprechende Geschäftsreisetätigkeit sei von ausschlaggebender Bedeutung, denn dadurch fehle es an einer Verbindung zu U._ und das Verbringen der Wochenenden in X._ habe ein anderes Gewicht. Ausserdem folge daraus, dass der (höhere) Stromverbrauch in U._ nicht auf das Bewohnen des Einfamilienhauses durch die Beschwerdeführer, sondern auf die gewerbliche Nutzung des Parterres durch die genannten Unternehmen (vgl. lit. A.b oben) zurückzuführen sei.
2.2. Die Vorinstanz hat ausgeführt, der Beschwerdeführer 1 habe sich gemäss eigenen Angaben mehrere Tage im Jahr im Ausland aufgehalten und verweist diesbezüglich auch auf die "unbestritten gebliebenen Feststellungen in E. 3c S. 8 f. des angefochtenen Entscheids" der Verwaltungsrekurskommission (E. 2.2 in fine vorinstanzlicher Entscheid). An der zitierten Stelle hat die Verwaltungsrekurskommission jedoch eine jährliche Auslandabwesenheit von 5 - 7 Wochen festgestellt. Ausserdem wurde diese Feststellung in der Beschwerde an die Vorinstanz vom 31. März 2017 bestritten, indem ausgeführt wurde, der Beschwerdeführer 1 sei jährlich rund 150 Tage geschäftlich im Ausland gewesen. Als Beweis für diese Behauptung wurden umfangreiche Kreditkarten- und Spesenabrechnungen vorgelegt. Die vorinstanzliche Feststellung von bloss mehreren Tagen im Jahr ist demzufolge unzutreffend und willkürlich. Ob nun von 5 - 7 Wochen jährlich oder gar 150 Tagen auszugehen ist, kann jedoch offen gelassen werden (E. 1.3), denn wie nachfolgend dargelegt wird, führt selbst eine geschäftliche Auslandabwesenheit des Beschwerdeführers 1 von rund 150 Tagen jährlich nicht dazu, dass nicht von einer unbeschränkten Steuerpflicht in U._ auszugehen wäre.
2.3. Demzufolge erübrigt es sich auch, auf die weitere Rüge der Verletzung von <ref-law> i. V. m. <ref-law> einzugehen, wonach den Beschwerdeführern von der Vorinstanz die Führung des Gegenbeweises verwehrt worden sei, indem die Vorinstanz die umfangreichen Beweismittel bezüglich Auslandabwesenheit unberücksichtigt gelassen habe.
3.
3.1. Die Beschwerdeführer rügen zudem eine Verletzung des Verbots der interkantonalen (virtuellen) Doppelbesteuerung (<ref-law>) sowie eine rechtsfehlerhafte Feststellung des Steuerdomizils bzw. einen Verstoss gegen Art. 3 Abs. 2 StHG (Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [SR 642.14]) und <ref-law> (Bundesgesetz vom 14. Dezember 1990 über die direkten Bundessteuer [SR 642.11]) i.V.m. Art. 23 Abs. 1 und 24. Abs. 1 ZGB.
3.2. Eine gegen <ref-law> verstossende Doppelbesteuerung liegt vor, wenn eine steuerpflichtige Person von zwei oder mehreren Kantonen für das gleiche Steuerobjekt und für die gleiche Zeit zu Steuern herangezogen wird (aktuelle Doppelbesteuerung) oder wenn ein Kanton in Verletzung der geltenden Kollisionsnormen seine Steuerhoheit überschreitet und eine Steuer erhebt, die einem anderen Kanton zusteht (virtuelle Doppelbesteuerung; Urteile 2C_565/2016 vom 21. Dezember 2016 E. 2.1; 2C_92/2012 vom 17. August 2012 E. 2.1).
3.3. Da vorliegend jedenfalls die Steuerbehörden des Kantons St. Gallen für die Steuerperioden 2010 - 2013 noch keine Veranlagung vorgenommen haben, besteht höchstens eine virtuelle Doppelbesteuerung.
3.4. Die Vorinstanz hat bezüglich der Festlegung des steuerrechtlichen Wohnsitzes einerseits auf die Entscheidbegründung der Verwaltungsrekurskommission verwiesen. Andererseits hat sie die Brutto- und Nettowohnflächen und die Verkehrswerte des Einfamilienhauses (Y._) in U._ und der Eigentumswohnung in X._ sowie den Stromverbrauch an beiden Standorten verglichen. Da der Standort U._ dabei jeweils deutlich obenausschwingt, spricht dies gemäss Vorinstanz zugunsten des Hauptsteuerdomizils U._. Daran ändere auch nichts, dass sich im Parterre des Einfamilienhauses in U._ Geschäftsräumlichkeiten der genannten Unternehmen (vgl. lit. A.b oben) befänden. Ausserdem sei nach der allgemeinen Lebenserfahrung davon auszugehen, dass die Beschwerdeführer, da sie seit 1985 mit einer kurzen Unterbrechung Wohneigentum in U._ besessen hätten, über eine enge soziale Beziehung zu U._ verfügten. Der eine Sohn lebe noch in U._ im ehemaligen Einfamilienhaus der Beschwerdeführer, der andere Sohn leben zehn Kilometer entfernt in V._/TG. Zudem habe sich die Beschwerdeführerin 2 nach der Trennung in U._ angemeldet, anschliessend in V._. Aus diesen Umständen ergebe sich, dass der Lebensmittelpunkt der Beschwerdeführer ab 2010 in U._ gelegen habe. Dass der Beschwerdeführer 1 im relevanten Zeitraum von März bis September rund jedes zweite Wochenende in Q._/R._ Golf gespielt habe und zudem Vorsitzender einer Stockwerkeigentümergemeinschaft in X._ gewesen sei, begründe dort noch keinen Lebensmittelpunkt. Für einen Aufenthalt der Beschwerdeführerin 2 in X._ gebe es keine Belege. Die Wohnung in X._ sei als Feriendomizil zu qualifizieren. Im Übrigen bezeichne die von den Beschwerdeführern eingereichte Kaminfegerrechnung von 2011 diese Wohnung als Ferienwohnung. Bei den weiteren von den Beschwerdeführern eingereichten Rechnungen handle es sich um Rechnungen für Mitgliedschaften, wobei die Hausratversicherung (für X._) über den Verkaufsstützpunkt U._ abgeschlossen worden sei. Auch daraus lasse sich kein Lebensmittelpunkt in X._ ableiten. Die Verwaltungsrekurskommission habe deshalb den Nachweis erbracht, dass sich der Lebensmittelpunkt bzw. Steuerwohnsitz der Beschwerdeführer in der betroffenen Zeit in U._ befunden habe.
Die Verwaltungsrekurskommission hat zudem unter anderem erwogen, das Einfamilienhaus (Y._) in U._ verfüge über einen gehobenen und teilweise luxuriösen Ausbaustandard, während die Dachwohnung in X._ eher einfach und zweckmässig wirke, weshalb es nicht plausibel sei, dass die Beschwerdeführer den Grossteil des Jahres in einer im Vergleich bescheidenen Dachwohnung verbracht hätten. Auch sei davon auszugehen, dass die Beschwerdeführer intensive familiäre Beziehungen zu ihren Kindern und Enkelkindern gepflegt hätten, welche alle in U._ oder im (von U._ aus) nahe gelegenen V._ gewohnt hätten. Der Golfplatz von Q._/R._ liege zudem rund 38 Autominuten von X._ entfernt, sodass sich aus dem Golfspielen keine Beziehung zu X._ ableiten lasse. Den Nachweis der Anwesenheit in X._ mittels Restaurant- und Tankstellenquittungen, Belegen über Bargeldbezüge und Kreditkartenabrechnungen hätten die Beschwerdeführer nicht erbracht.
3.5. Die Beschwerdeführer machen im Wesentlichen geltend, der einmal begründete Wohnsitz bestehe solange fort, als die betroffene Person nicht in äusserlich erkennbarer Weise ihre Absicht, diesen aufzugeben, kundtue. Der vorinstanzlich festgestellte Sachverhalt enthalte keinen solchen erkennbaren Willen der Beschwerdeführer, X._ aufzugeben. Dass das Steueramt SG in der Verfügung vom 12. Dezember 2014 festgehalten habe, der Wochenaufenthalt (in U._) werde entgegenkommenderweise noch bis Ende 2009 akzeptiert, helfe ersterem nicht weiter. Das Steuerdomizil der Beschwerdeführer sei im Jahr 2010 seit 12 Jahren in X._ gewesen. Da der Beschwerdeführer 1 jährlich während durchschnittlich 150 Tagen geschäftlich im Ausland gewesen sei, habe er die Wochenenden jeweils in X._ verbracht. Ausserdem gehe die bundesgerichtliche Praxis gemäss dem Urteil 2C_178/2011 davon aus, dass die Beziehung von Steuerpflichtigen zur elterlichen Familie nicht mehr so stark sei, wenn der Steuerpflichtige das 30. Altersjahr überschritten habe oder sich seit mehr als fünf Jahren ununterbrochen am selben Arbeitsort aufhalte. Was für Kinder gelte, müsse erst recht für die Eltern gelten. Die familiären Bindungen dürften nicht zur Begründung des Lebensmittelpunktes der Beschwerdeführer herangezogen werden.
4.
4.1. Der steuerrechtliche Wohnsitz einer natürlichen Person befindet sich dort, wo sie sich mit der Absicht dauernden Verbleibs aufhält (Art. 3 Abs. 2 StHG; vgl. auch <ref-law>; Urteil 2C_87/2019 vom 17. Juli 2019 E. 3.1). Gemäss ständiger bundesgerichtlicher Rechtsprechung zu <ref-law> sowie Art. 3 Abs. 2 StHG bzw. <ref-law> gilt derjenige Ort als steuerrechtlicher Wohnsitz, an dem sich faktisch der Mittelpunkt ihrer Lebensinteressen befindet (<ref-ruling> E. 4.1 S. 35 f.; Urteil 2C_533/2018 vom 30. Oktober 2019 E. 2.2.1). Dieser Ort bestimmt sich nach der Gesamtheit der objektiven, äusseren Umstände, aus denen sich diese Interessen erkennen lassen. Dabei kann gemeinhin kein klarer Beweis geführt werden, sondern es ist aufgrund von Indizien eine Gewichtung vorzunehmen. Hierzu ist eine sorgfältige Berücksichtigung und Abwägung sämtlicher Berufs-, Familien- und Lebensumstände notwendig. Auf die bloss geäusserten Wünsche einer steuerpflichtigen Person oder die gefühlsmässige Bevorzugung eines Ortes kommt es nicht an. Der steuerrechtliche Wohnsitz ist insofern nicht frei wählbar. Dem Ort, wo die Schriften hinterlegt sind oder die politischen Rechte ausgeübt werden, kommt keine entscheidende Bedeutung zu, denn dabei handelt es sich nur um äussere Merkmale, die ein Indiz für den steuerrechtlichen Wohnsitz bilden können, falls auch das übrige Verhalten der Person dafür spricht (Urteile 2C_533/2018 vom 30. Oktober 2019 E. 2.2.2 mit Hinweisen; 2C_87/2019 vom 17. Juli 2019 E. 3.2.1; 2C_565/2016 vom 21. Dezember 2016 E. 2.2). Wenn sich eine Person abwechslungsweise an zwei Orten aufhält, ist für die Bestimmung des steuerrechtlichen Wohnsitzes darauf abzustellen, zu welchem Ort sie die stärkeren Beziehungen unterhält (<ref-ruling> E. 4.2 S. 36 f. mit Hinweisen; Urteile 2C_87/2019 vom 17. Juli 2019 E. 3.2.1; 2C_565/2016 vom 21. Dezember 2016 E. 2.2).
4.2. In Bezug auf die Beweislast gilt grundsätzlich, dass es den Behörden obliegt, die subjektive Steuerpflicht als steuerbegründende Tatsache darzutun. Der steuerpflichtigen Person kann allerdings der Gegenbeweis für die von ihr behauptete subjektive Steuerpflicht an einem neuen Ort auferlegt werden, wenn die von der Steuerbehörde angenommene bisherige subjektive Steuerpflicht als sehr wahrscheinlich gilt (Urteile 2C_533/2018 vom 30. Oktober 2019 E. 2.5 und 2.5.1; 2C_565/2016 vom 21. Dezember 2016 E. 2.3).
Wenn allerdings der frühere Wohnsitzkanton für ein paar Jahre anerkennt, dass sich das Hauptsteuerdomizil in einem anderen Kanton befand, so kann er zwar auf eine neue Steuerperiode hin die Besteuerungshoheit wieder in Anspruch nehmen, hat aber gemäss der genannten Grundregel eine massgeblich veränderte Faktenlage zu seinen Gunsten nachzuweisen. Gelingt ihm dies nicht, bleibt es bei der vorherigen Domizilzuordnung. Das gilt jedenfalls dann, wenn die steuerpflichtige Person ihren Mitwirkungspflichten im Rahmen des Zumutbaren nachgekommen ist (Urteile 2C_480/2019 vom 12. Februar 2020 E. 2.3.4; 2C_533/2018 vom 30. Oktober 2019 E. 2.5.2; 2C_827/2008 vom 16. Juni 2009 E. 4.1 mit Hinweisen).
4.3. Vorliegend war gemäss Verfügung des Steueramtes SG vom 12. Dezember 2014 der erneute Erwerb von Wohneigentum in U._ durch die Beschwerdeführer der Anlass, den Wochenaufenthalterstatus der letzteren in Frage zu stellen. Die erneute Geltendmachung des steuerrechtlichen Wohnsitzes basierte demnach auf einer Veränderung der Ausgangslage und war deshalb durchaus nachvollziehbar und zulässig. In der Folge ist eine Gesamtabwägung aller Umstände und Indizien vorzunehmen. Jedenfalls hängt der Ausgang der Beurteilung, ob sich der steuerrechtliche Wohnsitz erneut in U._ befindet bzw. die Beziehung zu U._ stärker ist als jene zu X._, entgegen der Beschwerde nicht einzig vom äusserlich erkennbaren Willen der Beschwerdeführer ab, den Wohnsitz X._ aufzugeben.
4.4. Im Weiteren können die Beschwerdeführer aus dem von ihnen zitierten Urteil 2C_178/2011 vom 2. November 2011 nichts zu ihren Gunsten ableiten, im Gegenteil. Gemäss diesem Urteil bzw. der darin zum Ausdruck kommenden bundesgerichtlichen Praxis wird bei ledigen, über 30-jährigen Steuerpflichtigen grundsätzlich davon ausgegangen, dass die Beziehung zum Arbeitsort enger ist als zum davon abweichenden Wohnort der Eltern, sodass der steuerrechtliche Wohnsitz am Arbeitsort liegt. Da der Beschwerdeführer 1 in der relevanten Periode beruflich noch sehr aktiv war, würde dies wenn schon für U._ als steuerrechtlichen Wohnsitz sprechen. Selbst wenn davon ausgegangen wird, dass der Beschwerdeführer 1 beruflich primär im Ausland tätig war, amtete er immerhin als Verwaltungsratspräsident von drei Unternehmen, welche ihren Sitz in U._ hatten. Zudem hat das Bundesgericht im Urteil 2C_87/2019 vom 17. Juli 2019 im Falle eines über 30-jährigen, ledigen Steuerpflichtigen zugunsten des Ortes, an dem oder in dessen Umgebung sich die Familienmitglieder, nämlich die Eltern, Grosseltern und Geschwister aufhielten, als Steuerdomizil entschieden, da dem Steuerpflichtigen in diesem Fall der Nachweis überwiegender und enger familiärer, privater und gesellschaftlicher Beziehungen zum Familienort gelang. Jedenfalls spricht die Anwesenheit von Familienmitgliedern eines Steuerpflichtigen an einem bestimmten Ort für und nicht gegen diesen Ort als Steuerdomizil; die Frage ist, ob ein davon abweichender Arbeitsort überwiegt. Vorliegend amteten die Söhne der Beschwerdeführer nicht nur als Verwaltungsräte der genannten drei Unternehmen, sondern gemäss Angaben des Beschwerdeführers 1 als deren CEO bzw. COO, während der Beschwerdeführer 1 das Verwaltungsratspräsidium ausübte. Das deutet auf eine äussert enge Beziehung zwischen dem Beschwerdeführer 1 und seinen Söhnen hin, welche über den familiären Bereich hinausgeht. Auch in Bezug auf die Beschwerdeführerin 2 ist von einer engen Beziehung zu ihren Söhnen auszugehen, denn erstere hat nach der Trennung vom Beschwerdeführer 1 zuerst U._, den Wohnort des einen Sohnes, und später V._, den Wohnort des anderen Sohnes als Hauptsteuerdomizil angegeben. Wäre ihr Lebensmittelpunkt wie behauptet in X._ gelegen und die Verbundenheit mit X._ dermassen gross, hätte sie an X._ als Hauptsteuerdomizil festgehalten.
4.5. Im Übrigen ergibt sich auch aus der hier primär anwendbaren, typischen Fallkonstellation, nämlich derjenigen von verheirateten Steuerpflichtigen mit einem vom Wohnort der Familie (womit hier der Wohnort der Ehegattin oder des Ehegatten gemeint ist) abweichenden Arbeitsort mit Wochenaufenthalterstatus, nichts zugunsten des Steuerdomizils X._. Rechtsprechungsgemäss wird bei derartigen Konstellationen der Kontakt zum Familienort höher gewichtet als jener zum Arbeitsort, sofern die betreffende Person beruflich keine leitende Stellung einnimmt; bei leitender Stellung befindet sich das Steuerdomizil am Arbeitsort (<ref-ruling> E. 4.2 S. 36 f.; Urteile 2C_533/2018 vom 30. Oktober 2019 E. 2.4 und 2.4.1 mit Hinweisen; 2C_87/2019 vom 17. Juli 2019 E. 3.2.2). Wo sich die Beschwerdeführerin 2 überwiegend aufgehalten hat, ist nicht belegt. Der Beschwerdeführer 1 verfügte bei den genannten Unternehmen über eine leitende Stellung. Selbst wenn er diese vorwiegend im Ausland ausgeübt hat, ist davon auszugehen, dass er sich regelmässig in U._ aufgehalten hat, befanden sich doch dort nicht nur Büroräumlichkeiten der drei Unternehmen, sondern gemäss vorinstanzlicher Sachverhaltsfeststellung unter demselben Dach auch grosszügige, über einen gehobenen Standard verfügende Wohnräume der Beschwerdeführer. Jedenfalls ist es lebensfremd, anzunehmen, der Beschwerdeführer 1 habe sich wie geltend gemacht praktisch nie in U._ aufgehalten, nachdem er gemäss den vorgelegten Kreditkartenabrechnungen regelmässig den Flughafen Zürich frequentiert hat, von dem U._ wesentlich weniger weit entfernt ist als X._. Vorliegend ist aufgrund der Umstände davon auszugehen, dass für das (damalige) Ehepaar A._ bzw. bei den Beschwerdeführern in den betroffenen Steuerperioden der Arbeits- und der Wochenaufenthaltsort zusammenfallen, sodass sich der steuerrechtliche Wohnsitz rechtsprechungsgemäss an diesem Ort, vorliegend U._, befindet (Urteil 2C_533/2018 vom 30. Oktober 2019 E. 2.4.2).
4.6. Als Belege für den steuerrechtlichen Wohnsitz in X._ haben die Beschwerdeführer Rechnungen für Gönnerbeiträge der Schweizerischen Paraplegiker-Stiftung und der Rega und Einzahlungsscheine für Spenden an das Schweizerische Rote Kreuz, alle versehen mit der Adresse in X._, eingereicht. Es ist notorisch, dass Rechnungen und Einzahlungsscheine dieser Organisationen an praktisch jede Wohnadresse in der Schweiz verschickt werden. Ein steuerlicher Wohnsitz lässt sich daraus jedenfalls nicht ableiten. Demgegenüber finden sich in den von den Beschwerdeführern im vorinstanzlichen Verfahren vorgelegten, umfassenden Kreditkartenabrechnungen unzählige Rechnungspositionen für Einkäufe und Tankstellenbezüge in S._, T._, J._, K._ und L._, also aus der Umgebung von U._, während nur sehr vereinzelt Einträge in M._ und N._ erscheinen (<ref-law>). Auch dies spricht deutlich für den steuerrechtlichen Wohnsitz U._.
4.7. Selbst wenn vorliegend davon ausgegangen wird, dass der Beschwerdeführer 1 an rund 150 Tagen geschäftlich im Ausland unterwegs war und der weit höhere Stromverbrauch in U._ auf die Büroräumlichkeiten zurückgeführt wird, ist somit angesichts der gesamten Umstände und Indizien die vorinstanzliche Würdigung, wonach sich der steuerrechtliche Wohnsitz der Beschwerdeführer für die Steuerperioden 2010 - 2013 in U._ befand, bundesrechtskonform.
5.
5.1. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen.
5.2. Bei diesem Verfahrensausgang werden die Gerichtskosten des bundesgerichtlichen Verfahrens den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftung auferlegt (Art. 65 und Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten des bundesgerichtlichen Verfahrens von insgesamt Fr. 2'000.-- werden den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen, Abteilung III, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. März 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Quinto