Sachverhalt:
A.
Die Eheleute A._ und B._ schlossen am 20. November 2011 mit ihren drei Kindern je einen Schenkungs- und Darlehensvertrag ab. Danach schenkten die Eltern per 15. Dezember 2011 jedem Kind Fr. 3'000'000.-, wogegen die Kinder sich verpflichteten, den Eltern per 16. Dezember 2011 je ein Darlehen von Fr. 2'000'000.- (zu verzinsen mit 1.5 %) zu gewähren.
In der Steuererklärung 2011 deklarierten A._ und B._ ein steuerbares Einkommen von Fr. 77'793.- und ein steuerbares Vermögen von Fr. 10'383'588.-. Die Steuerveranlagungsbehörde setzte in der Veranlagungsberechnung vom 10. Juli 2013 das steuerbare Einkommen auf Fr. 253'300.- und das steuerbare Vermögen auf Fr. 16'100'000.- fest. Die Differenz zwischen dem deklarierten und dem veranlagten Vermögen ergab sich unter anderem daraus, dass die Veranlagungsbehörde die Darlehensschulden gegenüber den drei gemeinsamen Kindern von insgesamt Fr. 6'000'000.- nicht anerkannte und den entsprechenden Abzug nicht zuliess.
B.
Die am 19. Juli 2013 erhobene Einsprache der Steuerpflichtigen wies das Steueramt des Kantons St. Gallen mit Entscheid vom 19. März 2014 ab.
Gegen diesen Entscheid erhoben die Steuerpflichtigen am 17. April 2014 Rekurs an die Verwaltungsrekurskommission des Kantons St. Gallen. Diese wies den Rekurs mit Entscheid vom 16. Dezember 2014 ab.
Die hiergegen am 2. Februar 2015 erhobene Beschwerde der Steuerpflichtigen wies das Verwaltungsgericht des Kantons St. Gallen mit Entscheid vom 19. Juli 2016 ab.
C.
Mit Eingabe vom 14. September 2016 erheben A._ und B._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, der Entscheid des Verwaltungsgerichts vom 19. Juli 2016 sei aufzuheben und die Darlehen ihrer Kinder von insgesamt Fr. 6'000'000.- seien als Schuld anzuerkennen und zum Abzug vom steuerbaren Vermögen zuzulassen.
Das Verwaltungsgericht beantragt unter Hinweis auf die Erwägungen im angefochtenen Entscheid die Abweisung der Beschwerde. Die Steuerverwaltung des Kantons St. Gallen verzichtet auf Vernehmlassung, verweist auf den angefochtenen Entscheid sowie auf seine Vernehmlassung an das Verwaltungsgericht und beantragt die Beschwerdeabweisung. Die Eidgenössische Steuerverwaltung verzichtet auf einen Antrag.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83 [e contrario], Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [Steuerharmonisierungsgesetz, StHG; SR 642.14]). Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2 S. 210; Urteil 2C_153/2014 vom 4. September 2014 E. 1.2, in: StE 2014 B 25.6 Nr. 63).
2.
Die Beschwerdeführenden rügen sinngemäss eine Verletzung des rechtlichen Gehörs (<ref-law>). Die Verwaltungsrekurskommission habe in ihrem Entscheid vom 16. Dezember 2014 Erwägungen aus einem Bundesgerichtsurteil zur Mehrwertsteuer wörtlich (inklusive der Quellenverweise) übernommen, ohne dies offenzulegen. Die Vorinstanz habe dies als "formal nicht ganz korrekt" gewertet. In Wahrheit stelle dies jedoch eine schwere Verletzung der Begründungspflicht dar, welche zur Aufhebung des Urteils führen müsse.
2.1. Das rechtliche Gehör dient einerseits der Klärung des Sachverhaltes und stellt anderseits ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht der Betroffenen, sich vor Erlass eines solchen Entscheides zur Sache zu äussern und an der Erhebung wesentlicher Beweise mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Ausgang des Verfahrens zu beeinflussen (<ref-ruling> E. 3.4 S. 102; <ref-ruling> E. 5.1 S. 293; je mit Hinweisen).
Mit dem Gehörsanspruch korreliert die Pflicht der Behörden, die Vorbringen tatsächlich zu hören, ernsthaft zu prüfen und in ihrer Entscheidfindung angemessen zu berücksichtigen. Die Begründung muss so abgefasst sein, dass die betroffene Person den Entscheid sachgerecht anfechten kann. Sie muss die wesentlichen Überlegungen nennen, von denen sich die Behörde hat leiten lassen und auf die sie ihren Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 9.2 S. 65; <ref-ruling> E. 3.2 S. 270 mit Hinweisen).
2.2. Wie bereits die Vorinstanz feststellte, trifft es zu, dass die Verwaltungsrekurskommission in ihrem Entscheid vom 16. Dezember 2014 (vgl. dortige E. 5a f. S. 4 ff.) nahezu wörtlich die Erwägung 4.1 aus <ref-ruling> übernahm. Sie verwies zwar nach einem ersten Abschnitt darauf, dass die wiedergegebene Rechtsprechung im genannten Bundesgerichtsentscheid bestätigt worden sei. Dass die darauffolgenden Textabschnitte derselben bundesgerichtlichen Erwägung entnommen waren, präzisierte sie indessen nicht. Diese unvollständige Nennung der konsultierten Rechtsprechung stellt jedoch keine Verletzung des rechtlichen Gehörs dar. Die Verwaltungsrekurskommission gab zunächst die Rechtsprechung zur Steuerumgehung wieder. Danach wandte sie diese auf den konkreten Sachverhalt an und setzte sich mit den einzelnen Aspekten des vorliegenden Falles auseinander. Ihren Erwägungen kann ohne Weiteres entnommen werden, von welchen Überlegungen sie sich dabei leiten liess. Eine Verletzung der Begründungspflicht liegt nicht vor.
3.
Gegenstand des vorliegenden Verfahrens bildet die Vermögenssteuer für die Steuerperiode 2011. Die Beschwerdeführenden haben nach Abzug einer Darlehensschuld von Fr. 6'000'000.- gegenüber ihren gemeinsamen Kindern ein Vermögen von Fr. 10'383'588.- deklariert. Die Steuerveranlagungsbehörde hat den entsprechenden Schuldenabzug nicht akzeptiert. Sie kam zum Schluss, es liege eine Steuerumgehung vor, und setzte das steuerbare Vermögen auf Fr. 16'100'000.- fest. Strittig ist die Frage, ob die deklarierten Schulden von insgesamt Fr. 6'000'000.-, welche sich aus den kombinierten Schenkungs- und Darlehensverträgen ergeben, vom steuerbaren Vermögen abzuziehen oder ob sie infolge Steuerumgehung nicht zum Abzug zuzulassen sind.
3.1. Gemäss Art. 62 des Steuergesetzes [des Kantons St. Gallen] vom 9. April 1998 (StG/SG; sGS 811.1) können nachgewiesene Schulden vom steuerbaren Vermögen abgezogen werden.
Eine Steuerumgehung liegt nach der bundesgerichtlichen Rechtsprechung vor, wenn (1.) eine von den Beteiligten gewählte Rechtsgestaltung als ungewöhnlich ("insolite"), sachwidrig oder absonderlich, jedenfalls den wirtschaftlichen Gegebenheiten völlig unangemessen erscheint, (2.) anzunehmen ist, dass die gewählte Rechtsgestaltung missbräuchlich lediglich deshalb getroffen wurde, um Steuern einzusparen, die bei sachgemässer Ordnung der Verhältnisse geschuldet wären, und (3.) das gewählte Vorgehen tatsächlich zu einer erheblichen Steuerersparnis führen würde, sofern es von den Steuerbehörden hingenommen würde (vgl. <ref-ruling> E. 4.1 S. 243 ff. mit Hinweisen). Eine Steuerumgehung kommt nur in ausserordentlichen Situationen in Frage. Dazu muss eine Rechtsgestaltung vorliegen (objektives Element), die - abgesehen von steuerlichen Aspekten - jenseits des wirtschaftlich Vernünftigen liegt. Zudem ist eine Missbrauchsabsicht vorausgesetzt (subjektives Element), welche indes zu verneinen ist, wenn bei einer Rechtsgestaltung andere als blosse Steuerersparnisgründe eine relevante Rolle spielen (vgl. <ref-ruling> E. 4.1 S. 244; Urteile 2C_321/2015 vom 22. Dezember 2015 E. 5.1; 2C_966/2015 vom 18. Juli 2016 E. 4.2). Ergibt sich, dass eine gewählte Rechtsgestaltung den tatsächlich verfolgten wirtschaftlichen Gegebenheiten völlig unangemessen ist und dass die Akzeptanz dieser Rechtsgestaltung aufgrund der Anwendung der hierfür vorgesehenen Gesetzesnormen zu unbilligen Steuereinsparungen führen würde, so verdient die missbräuchliche Berufung auf die letztlich wirtschaftlich nicht gewollte Rechtsgestaltung keinen Schutz (vgl. <ref-ruling> E. 4.2 S. 246).
Ob die Voraussetzungen für die Annahme einer Steuerumgehung erfüllt sind, ist aufgrund der konkreten Umstände des Einzelfalls zu prüfen. Wird eine Steuerumgehung bejaht, ist der Besteuerung die Rechtsgestaltung zugrunde zu legen, die sachgemäss gewesen wäre, um den erstrebten wirtschaftlichen Zweck zu erreichen. Diese Sachverhaltsfiktion ist unproblematisch, da lediglich die formale privatrechtliche Ausgestaltung des Sachverhalts negiert bzw. fingiert wird. Darüber hinaus bleibt der Sachverhalt mit Bezug auf seine - für die Beurteilung massgebenden - wirtschaftlichen Auswirkungen unverändert (<ref-ruling> E. 4.1 S. 245 mit Hinweisen).
3.2. Das Verwaltungsgericht hat erkannt, aufgrund der Kombination von Schenkungen und Darlehen bestehe für die Beschwerdeführenden die Möglichkeit, kontinuierlich einen Teil ihrer Einkünfte bzw. liquid gewordenen Geldanlagen den Kindern zu übertragen und die Zinsen des verbleibenden Darlehens vom steuerbaren Einkommen abzuziehen. Gleichzeitig würden sie faktisch über die entsprechenden flüssigen Mittel verfügen. Sie könnten damit den wirtschaftlichen Nutzen, den ihnen die verschenkten Beträge bringen würden, trotz der Schenkung teilweise nach wie vor realisieren. Es entspreche nicht der Absicht des Gesetzgebers, dass Steuerpflichtige ihren Kindern vom Einkommen abzugsfähige Beträge zukommen lassen und die an die Nachkommen ausgerichteten Schenkungen vom Vermögen abziehen könnten, ohne dass zugleich auf die Verfügungsmöglichkeit über das entsprechende Vermögen verzichtet werde. Es müsse aufgrund der Kombination der Rechtsgeschäfte als ungewöhnlich gelten, wenn Eltern ihren Kindern einerseits Schenkungen ausrichteten, anderseits zum gleichen Zeitpunkt bei diesen wiederum verzinsliche Darlehen aufnehmen würden (vgl. angefochtener Entscheid E. 3.2 S. 8 f.).
Die Nachlassplanung durch die Beschwerdeführenden stelle als solche keine missbräuchliche Steuerumgehung dar. Für die gewählte Kombination von Schenkungen mit anschliessender Darlehensgewährung in einem erheblichen Teilbetrag seien jedoch ausschliesslich Steuerersparnisgründe ersichtlich. Dies sowohl hinsichtlich der Einkommens- und Vermögenssteuern als auch im Hinblick auf künftige Nachlasssteuern. Es sei davon auszugehen, dass die Nachlassplanung lediglich in der Absicht erfolgt sei, Steuern einzusparen (vgl. angefochtener Entscheid E. 3.3.2 S. 10 f.). Der Umstand, dass lediglich ein Teil der Schenkungen in Darlehen umgewandelt worden seien, vermöge daran nichts zu ändern. Das Vorgehen erweise sich deshalb als missbräuchlich, sodass die geltend gemachten Vermögensabzüge zu besteuern seien (vgl. angefochtener Entscheid E. 3.5 S. 12).
3.3.
3.3.1. Diese Erwägungen sind nicht zu beanstanden. So ist es zwar durchaus üblich, dass Eltern ihren Kindern Erbvorbezüge als Schenkungen ausrichten. Auch das Aufnehmen eines von den Kindern gewährten Darlehens erscheint für sich genommen nicht ungewöhnlich. Die zeitgleiche Vornahme der beiden Rechtsgeschäfte ist indessen als ungewöhnlich zu bezeichnen. Dies gilt auch im vorliegenden Fall, in welchem die Schenkungen einen höheren Betrag aufweisen als die gleichzeitig aufgenommenen Darlehen. Für die gewählte Rechtsgestaltung sind keine aussersteuerlichen Gründe erkennbar.
Die Beschwerdeführenden machen geltend, die Schenkungen seien im Hinblick auf eine mögliche Annahme der Erbschaftssteuerreform (Eidgenössische Volksinitiative 'Millionen-Erbschaften besteuern für unsere AHV'; BBI 2013 2267) erfolgt. Dies stelle einen wirtschaftlich ausserhalb der Vermögens- und Einkommenssteuern liegenden Grund dar, welcher die Annahme einer Steuerumgehung ausschliesse. Hinsichtlich der verschiedenen Steuerarten auf eine Gesamtbetrachtung abzustellen, sei unzulässig. Dieser Argumentation kann nicht gefolgt werden: Selbst wenn die beabsichtigte Einsparung von Erbschaftssteuern hinsichtlich der Vermögenssteuer als aussersteuerlicher Grund betrachtet werden könnte, würde sich dieser Grund nur auf die Schenkungen erstrecken, nicht aber auf die Aufnahme von Darlehen. Die beiden gegenläufigen Rechtsgeschäfte sind jedoch als Gesamtes zu betrachten. Dafür, dass mit den Schenkungsverträgen gleichzeitig Darlehensverträge über zwei Drittel der geschenkten Beträge geschlossen wurden, ist kein sachlicher, ausserhalb von steuerlichen Überlegungen liegender Grund ersichtlich. Das Vorliegen aussersteuerlicher Gründe ist daher zu verneinen. Dass es ökonomisch erforderlich gewesen sein soll, die Schenkungen zu zwei Dritteln als Darlehensschuld auszugestalten, vermögen die Beschwerdeführenden nicht darzutun.
3.3.2. In der Beschwerde wird geltend gemacht, die vorgenommene Rechtsgestaltung würde nicht zu einer effektiven Steuerersparnis führen. Diesbezüglich gehen die Beschwerdeführenden indessen fälschlicherweise davon aus, die deklarierte Vermögenssituation sei mit der Situation zu vergleichen, welche infolge einer tatsächlichen vollumfänglichen Auszahlung der Schenkungen vorliegen würde. Für die Beurteilung des Sachverhalts sind aber die wirtschaftlichen Auswirkungen massgebend. Den Ausschlag für die Annahme einer Steuerumgehung gibt demnach, dass die Steuerpflichtigen wirtschaftlich gleich gestellt sind, wie wenn sie keine Darlehen bei ihren Kindern aufgenommen hätten und die Schenkungen entsprechend geringer ausgefallen wären: Sie können nach wie vor über die flüssigen Mittel verfügen und zudem den Vermögensertrag als Darlehenszins von ihrem Einkommen in Abzug bringen. Das gewählte Vorgehen würde - von den Steuerbehörden akzeptiert - zweifellos zu einer erheblichen Steuereinsparung führen.
3.3.3. Schliesslich ist auch die vorinstanzliche Argumentation bezüglich der Darlehenszinsen zu stützen. Wie das Verwaltungsgericht zutreffend erwogen hat, ist die Verzinslichkeit der Darlehen in die Würdigung einzubeziehen. Da im vorliegend strittigen Steuerjahr 2011 noch keine Schuldzinsen anfielen, erübrigen sich indessen weitergehende Erwägungen hinsichtlich der Zahlungsmodalitäten. Der Umstand, dass es sich um verzinsliche Darlehen handelt, deren Zins von den Eltern an die Kinder auszuzahlen ist, spricht noch nicht gegen die Ungewöhnlichkeit der Rechtsgestaltung. Die Beschwerdeführenden vermögen nicht darzulegen, inwiefern der Zinsenregelung zu wenig Beachtung geschenkt worden sein soll.
4.
Die Beschwerde ist aus diesen Gründen abzuweisen. Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführenden unter Solidarhaft aufzuerlegen (Art. 65 i.V.m. Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'500.- werden den Beschwerdeführenden unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 3. April 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Straub