Sachverhalt:
A.
A.A._ ist einziges Verwaltungsratsmitglied der B._AG mit Sitz in U._ (SG). Zusammen mit seiner damaligen Ehefrau (die Scheidung erfolgte im Jahr 2008) wurde er am 16. März 2005 für die Kantons- und Gemeindesteuern 2003 mit einem steuerbaren Einkommen von Fr. 65'000.-- und einem steuerbaren Vermögen von Fr. 0.-- sowie für die direkte Bundessteuer 2003 mit einem steuerbaren Einkommen von Fr. 59'400.-- nach pflichtgemässem Ermessen veranlagt. Die entsprechenden Verfügungen sind in Rechtskraft erwachsen.
B.
Nach Abschluss von Buchprüfungen bei der B._AG und der C._AG mit Sitz in V._ (vormals D._AG mit Sitz in U._) eröffnete das Kantonale Steueramt St. Gallen am 19. Juli 2012 hinsichtlich des vormaligen Ehepaars A._ ein Nachsteuerverfahren für die Steuerperiode 2003. Aufgrund des nachträglich zu besteuernden Einkommens von insgesamt Fr. 298'000.-- (Entgegennahme von Zahlungen von Fr. 215'000.--, Fr. 48'000.-- und Fr. 35'000.--) auferlegte es den vormaligen Eheleuten A._ am 22. November 2013 Nachsteuern von Fr. 89'120.40 (Kantons- und Gemeindesteuern 2003) und von Fr. 44'621.55 (direkte Bundessteuer 2003). Daran hielt es mit Einspracheentscheid vom 18. Februar 2014 fest, wobei nur noch die Aufrechnung des Betrags von Fr. 215'000.-- streitig war. Die dagegen von A.A._ erhobenen Rechtsmittel blieben erfolglos (Entscheid der Verwaltungsrekurskommission des Kantons St. Gallen vom 25. November 2014; Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 19. Juli 2016).
C.
A.A._ erhebt am 14. September 2016 Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde beim Bundesgericht mit den Anträgen, den angefochtenen Entscheid aufzuheben und die Aufrechnung von geldwerten Leistungen zum steuerbaren Einkommen im Betrag von Fr. 215'000.-- rückgängig zu machen; eventuell sei die Aufrechnung um Fr. 203'932.85 zu reduzieren; subeventuell sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Das Verwaltungsgericht, das Kantonale Steueramt und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Die Vorinstanz hat die beiden Verfahren betreffend die Kantons- und Gemeindesteuern sowie die direkte Bundessteuer vereinigt und in einem Urteil behandelt, was zulässig ist (<ref-ruling> E. 1.3.1 S. 262). Aus der Beschwerde an das Bundesgericht geht hervor, dass der Entscheid hinsichtlich beider Steuerarten angefochten wird (<ref-ruling> E. 1.3.2 am Ende S. 264). Da beide Steuerarten auf demselben Sachverhalt beruhen und sich dieselben Rechtsfragen stellen, sind die beiden Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (<ref-law> [SR 173.110] in Verbindung mit <ref-law> [SR 273]).
1.2. Gegen das angefochtene Urteil ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law> i.V.m. <ref-law> [SR 642.11] und Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14], <ref-law>, <ref-law>). Der Beschwerdeführer ist als Steuerpflichtiger zur Erhebung des Rechtsmittels legitimiert (<ref-law> und Art. 73 Abs. 2 StHG). Auf die frist- (<ref-law>) und formgerecht (<ref-law>) eingereichte Beschwerde ist einzutreten.
1.3. Für die subsidiäre Verfassungsbeschwerde bleibt demnach kein Raum (<ref-law>), weshalb darauf nicht einzutreten ist.
2.
2.1. Der Sachverhalt wurde von der Vorinstanz teilweise lückenhaft dargestellt. Er ist daher gestützt auf <ref-law> durch das Bundesgericht punktuell zu ergänzen.
Gemäss einer Quittung vom 15. Januar 2003 nahm der Beschwerdeführer als Vertreter der (damaligen) D._AG von E._ Fr. 215'000.-- in bar als "Beratungshonorar Verkauf Strasse F._ 50-52" entgegen. Gemäss einer weiteren Quittung, ebenfalls vom 15. Januar 2003, erhielt der Beschwerdeführer für sich selbst von E._ Fr. 35'000.-- in bar als "Beratungshonorar und Bürgschaft Verkauf Strasse F._ 50-52". Streitig ist die Aufrechnung des Betrags gemäss der erstgenannten Transaktion. Gegenüber den Steuerbehörden gab der Beschwerdeführer an, er sei vom inzwischen verstorbenen Eigentümer der D._AG beauftragt worden, Renovationsarbeiten an zwei in deren Eigentum stehenden Liegenschaften (Strasse X._ 5 und 7 in W._; Strasse Y._ 25 in Z._) zu leiten und den Betrag von Fr. 215'000.-- dafür zu verwenden. Zum Beweis legte er Bestätigungen der Unternehmen vor, welche die Renovationsarbeiten in den Jahren 2003 und 2004 durchgeführt hatten: G._ von der H._AG, über die am 19. Februar 2003 der Konkurs eröffnet worden war, bestätigte am 5. September 2013 "im Namen der H._AG" den Erhalt von Fr. 153'633.-- in bar vom Beschwerdeführer. Die I._ bestätigte am 23. August 2013 den Erhalt von Fr. 19'500.--. Die J._AG bestätigte nach dem 25. August 2013, ohne Datum und Unterschrift, den Erhalt von Fr. 9'834.--. K._ bestätigte am 28. August 2013 den Erhalt von Fr. 433.25 und äusserte hinsichtlich der Differenz zum Gesamtbetrag von Fr. 8'289.25 die Vermutung, die Zahlung durch die D._AG sei wohl eingegangen. Die L._AG bestätigte ohne Datum und Unterschrift den Erhalt von Fr. 921.60. Die M._AG weigerte sich, den Erhalt des der D._AG in Rechnung gestellten Betrags von Fr. 11'755.-- zu bestätigen; der Beschwerdeführer legte nur die Rechnung vor.
2.2.
2.2.1. Mit Bezug auf die behauptete Barzahlung an die H._AG erwog die Vorinstanz, Barzahlungen in dieser Grössenordnung (Fr. 153'633.--) dürften zwar schon im Jahr 2003 eher unüblich gewesen sein; dies sei jedoch kein Grund, der Abwicklung auf dem Barzahlungsweg zum vornherein die Glaubwürdigkeit abzusprechen. Der Beschwerdeführer weise allerdings den bargeldintensiven Geschäftsverkehr nicht anhand eines Kassabuchs und entsprechender Belege nach. Daraus ergebe sich die Vermutung der Unrichtigkeit hinsichtlich der Buchführung als Selbständigerwerbender. Die Vermutung sei einem Gegenbeweis grundsätzlich zugänglich; konkret erscheine jedoch die nachträglich beigebrachte Barzahlungsbestätigung für sich allein nicht geeignet, die Barzahlung zu beweisen. Dies umso weniger, als der Beschwerdeführer keine Baueingaben, Bauabrechnungen oder weitere Akten über die Abwicklung der einzelnen Sanierungen beizubringen vermöge. Selbständigerwerbende seien verpflichtet, Buchungsbelege, Geschäftskorrespondenz und sonstige Belege, welche mit ihrer Tätigkeit in Zusammenhang stünden, während zehn Jahren aufzubewahren. Belege betreffend das Jahr 2003 hätte der Beschwerdeführer somit bis Ende 2013 aufbewahren müssen. Das Nachsteuerverfahren sei noch vor Ablauf dieser Frist eingeleitet worden.
Weder die Tatsache, dass unklar sei, warum der Beschwerdeführer auf eigene Rechnung, ohne Veranlassung von Seiten der D._AG, Renovationsarbeiten an Liegenschaften in deren Eigentum hätte durchführen sollen, noch die Tatsache, dass er laut der anderen von E._ ausgestellten Quittung vom 15. Januar 2003 für sich selbst Fr. 35'000.-- als "Beratungshonorar und Bürgschaft Strasse F._ 50-52" erhalten habe, ändere etwas an der fehlenden Beweiskraft der Barzahlungsbestätigung der H._AG.
2.2.2. Hinsichtlich der übrigen Bestätigungen bzw. Rechnungen erwog die Vorinstanz, es fehle ebenfalls an der Kassabuchführung; zudem könne diesen Belegen nicht entnommen werden, dass die entsprechenden Beträge durch den Beschwerdeführer für die D._AG in bar beglichen worden seien. Eine Verwendung von Bargeld in der Höhe von insgesamt Fr. 50'299.85 im Namen der D._AG sei somit auch in diesen Fällen nicht bewiesen.
3.
Vorab sind die formellen Rügen zu behandeln (<ref-ruling> E. 5.1 S. 237).
3.1. Der Beschwerdeführer macht geltend, die Vorinstanz habe ihre Begründungspflicht und insbesondere den Anspruch auf rechtliches Gehör bzw. das Rechtsverweigerungsverbot nach <ref-law> verletzt.
3.1.1. Die Begründungspflicht als Teilgehalt des verfassungsmässigen Anspruchs auf rechtliches Gehör nach <ref-law> verpflichtet die Behörde, die Vorbringen der rechtsuchenden Partei tatsächlich zu hören, ernsthaft zu prüfen und in ihrer Entscheidfindung angemessen zu berücksichtigen. Dies gilt für alle form- und fristgerecht angebrachten Äusserungen, Eingaben und Anträge, die zur Klärung der konkreten Streitfrage geeignet und erforderlich erscheinen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 2.2.1 S. 188).
3.1.2. Entgegen der Behauptung des Beschwerdeführers hat die Vorinstanz sein Vorbringen geprüft, wonach er "den Betrag von 215'000.-- aus einem Provisionsgeschäft in bar treuhänderisch im Auftrag der D._AG entgegengenommen" habe. Wie aus der vorstehenden E. 2.2 hervorgeht, hat die Vorinstanz ihre Schlussfolgerung, dass der Betrag von Fr. 215'000.-- zum steuerbaren Einkommen hinzuzurechnen sei, ausführlich begründet. Dass dabei Beweisüberlegungen im Vordergrund standen, ändert nichts daran, dass der Entscheid rechtsgenüglich begründet ist. Die aus <ref-law> abgeleitete Begründungspflicht gibt keinen Anspruch auf die richtige Begründung, sondern auf Kenntnisnahme der Überlegungen, welche die Behörde ihrem Entscheid zugrunde gelegt hat (vgl. E. 3.1.1). Dieses Erfordernis ist erfüllt, was sich auch darin zeigt, dass der Beschwerdeführer den Entscheid sachgerecht anzufechten vermochte. Die Rüge ist unbegründet.
Das Rechtsverweigerungsverbot ist nicht betroffen, weil die Vorinstanz alle Anträge des Beschwerdeführers behandelt hat.
3.2. Inwiefern die Vorinstanz übersetzte Anforderungen an den Beweis geschäftsmässig begründeter Aufwendungen gestellt haben soll und der angefochtene Entscheid deswegen überspitzt formalistisch sein soll, begründet der Beschwerdeführer nicht. Es ist deshalb nicht darauf einzugehen (<ref-law>).
4.
4.1. In materieller Hinsicht macht der Beschwerdeführer geltend, er habe den Betrag von Fr. 215'000.-- im Auftrag und in Vertretung der D._AG entgegengenommen. Der Beleg sei ausdrücklich an die D._AG adressiert und ausdrücklich in Vertretung durch ihn - den Beschwerdeführer - für diese unterzeichnet. Nicht er, sondern die D._AG sei dadurch bereichert. Diese habe ihn beauftragt, das Geld in ihrem Namen für die Bezahlung der mit der Renovation ihrer Liegenschaften beauftragten Unternehmer zu verwenden. Der Betrag von Fr. 215'000.-- sei somit nicht ihm als Einkommen zugeflossen, sondern der tatsächlich und wirtschaftlich berechtigten D._AG, in deren Auftrag er gehandelt habe, als Gewinn. Da er - der Beschwerdeführer - aufgrund der Hinzurechnung von Fr. 215'000.-- zu seinem Einkommen aus selbständiger Erwerbstätigkeit ein Einkommen versteuern müsste, welches er nie erzielt habe, verstosse der angefochtene Entscheid gegen Art. 16 Abs. 1 und Art. 18 DBG sowie gegen Art. 29 Abs. 1 und Art. 31 des Steuergesetzes des Kantons St. Gallen vom 9. April 1998 [StG/SG; sGS 811.1]).
4.2. Selbst wenn die Annahme der Vorinstanz zutreffen würde, dass der entgegengenommene Betrag als Einkommen aus selbständiger Erwerbstätigkeit zu qualifizieren sei, wären seine Aufwendungen zu Gunsten der D._AG im Betrag von mindestens Fr. 203'932.85 als steuermindernder Aufwand zu berücksichtigen, denn nach Abzug des Betrags von Fr. 11'755.--, dessen Erhalt zu bestätigen sich die M._AG geweigert habe, ergäben sich durch ihn belegte Aufwendungen zu Gunsten der D._AG von Fr. 203'932.85.
Die erstmals im angefochtenen Urteil aufgestellte Prämisse, wonach es sich bei seiner Tätigkeit um einen bargeldintensiven Geschäftsverkehr handle, sei offensichtlich unzutreffend. Tätigkeiten mit bargeldintensivem Geschäftsverkehr beträfen in erster Linie Unternehmen, welche in der Regel basierend auf formlos geschlossenen Verträgen viele Bareinnahmen erzielten, ohne dass regelmässig Quittungen ausgestellt würden. Bei diesen Unternehmen müsse der Kassenbestand täglich durch Kassasturz erfasst werden, um die Nachvollziehbarkeit der Buchhaltung festzustellen. Dies sei bei den ihm - dem Beschwerdeführer - zugerechneten Tätigkeit nicht der Fall. Zudem seien die wenigen Zahlungen, um die es hier gehe, auf Rechnung bzw. gegen Quittung erfolgt. Bei korrekter Würdigung der Belege hätte die Vorinstanz erkennen müssen, dass er Aufwendungen im Umfang von mindestens Fr. 203'932.85 zu Gunsten der D._AG nachgewiesen habe. Der angefochtene Entscheid verletze <ref-law> und Art. 40 Abs. 1 StG/SG.
4.3. Durch die unzulässige Besteuerung würden zudem die Eigentumsgarantie nach <ref-law> und der Grundsatz der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit nach <ref-law> verletzt. Dasselbe gelte für die rechtswidrige Verweigerung der geltend gemachten Abzüge.
5.
5.1. Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (<ref-law>; Art. 31 Abs. 1 StG/SG).
5.2. Das Steuerrecht knüpft für die Ermittlung des Einkommens aus selbständiger Erwerbstätigkeit an die nach kaufmännischen Grundsätzen geführten Jahresrechnungen an. Auch für selbständig Erwerbende, die handelsrechtlich nicht zur Führung von Geschäftsbüchern verpflichtet sind (vgl. <ref-law> in der Fassung vom 22. Dezember 1999 [AS 2002 949], in Kraft bis 31. Dezember 2012), besteht eine Aufzeichnungspflicht (<ref-law> in der Fassung vom 14. Dezember 1990 [AS 1991 1184], in Kraft bis 31. Dezember 2015; Art. 169 Abs. 2 StG/SG). Es sind diejenigen Aufstellungen chronologisch zu führen, welche die Geschäftsvorfälle zeitnah, d.h. zeitlich unmittelbar nach ihrer Verwirklichung, und damit aktuell festhalten. Es mag im Einzelfall - je nach Betrieb - fraglich sein, welche Journale zur fortlaufenden Feststellung der einzelnen Vermögensteile sinnvoll und notwendig sind. Die Führung eines Kassabuchs ist auch für Kleinbetriebe, deren Einnahmen zur Hauptsache oder ausschliesslich in Bargeld bestehen, essentiell (Urteile 2C_849/2015 vom 3. Juni 2016 E. 3.2; 2C_664/2012 / 2C_665/2012 vom 3. Dezember 2012 E. 2).
5.3. In Bezug auf die Beweislast gilt Folgendes: Der Nachweis für steuerbegründende oder steuererhöhende Tatsachen obliegt der Steuerbehörde, der Nachweis für steueraufhebende oder steuermindernde Tatsachen der steuerpflichtigen Person; diese hat die entsprechenden Tatsachen nicht nur zu behaupten, sondern auch zu belegen (<ref-ruling> E. 3.5 S. 252 mit Hinweisen; Urteil 2C_966/2015 vom 18. Juli 2016 E. 2.3, nicht publiziert in: <ref-ruling>).
Die nicht beweisbelastete Partei (hinsichtlich der Tatsachen, welche der Auferlegung der Steuer zugrunde liegen, also die steuerpflichtige Person) kann eine steuerbegründende Tatsache durch Erbringung des Gegenbeweises erschüttern.
5.4. Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbehörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unterbliebene oder unvollständige Veranlagung auf ein Verbrechen oder ein Vergehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene Steuer samt Zins als Nachsteuer eingefordert (<ref-law>; Art. 199 Abs. 1 StG/SG). Hat der Steuerpflichtige Einkommen, Vermögen und Reingewinn in seiner Steuererklärung vollständig und genau angegeben und das Eigenkapital zutreffend ausgewiesen und haben die Steuerbehörden die Bewertung anerkannt, so kann keine Nachsteuer erhoben werden, selbst wenn die Bewertung ungenügend war (<ref-law>; Art. 199 Abs. 2 StG/SG, mit nur redaktionellen Abweichungen).
6.
6.1. Die Vorinstanz geht davon aus, dass der Betrag von Fr. 215'000.-- dem Beschwerdeführer als Entgelt aus einer selbständigen Erwerbstätigkeit zugeflossen ist. Um welche Tätigkeit es sich handelt, präzisiert die Vorinstanz nicht. Sie nimmt offenbar an, der Beschwerdeführer sei als Liegenschaftenhändler tätig und wegen des hohen Umsatzes zur Buchführung und Rechnungslegung verpflichtet. Aufgrund der hohen Bargeldbeträge, welche der Beschwerdeführer entgegengenommen hatte, erachtete die Vorinstanz dessen Buchführung als ungenügend, insbesondere weil er kein Kassabuch geführt hatte.
6.2. Nachdem die Steuerbehörden den Bargeldzufluss beim Beschwerdeführer festgestellt und als Einkommen aus selbständiger Erwerbstätigkeit qualifiziert hatten, stand dem Beschwerdeführer der Gegenbeweis offen, wonach es sich bei der (als solcher nicht bestrittenen) Transaktion von Fr. 215'000.-- nicht um Einkommen gehandelt habe (vgl. E. 5.3). Um die Vermutung der Steuerbehörden bzw. der Vorinstanz zu widerlegen, gab der Beschwerdeführer an, in Vertretung der D._AG gehandelt und in deren Auftrag den Betrag treuhänderisch entgegengenommen zu haben, um damit Renovationsarbeiten an Liegenschaften, welche im Eigentum der D._AG standen, zu bezahlen. Die in diesem Zusammenhang vorgelegten Zahlungsbestätigungen der jeweiligen Unternehmen datieren vom Jahr 2013, betreffen aber Rechnungen aus den Jahren 2003 und 2004.
6.3. Ob die Tätigkeit des Beschwerdeführers als bargeldintensiv im Sinn der Rechtsprechung (vgl. E. 5.2) zu gelten hat, ist zweifelhaft, kann aber offen gelassen werden. Massgeblich ist, ob der Beschwerdeführer gestützt auf die Aufzeichnungen seiner Geschäftsvorfälle darlegen kann, dass er den von E._ in bar ausgehändigten, quittierten Betrag über Fr. 215'000.-- im Auftrag der D._AG entgegengenommen und für die Bezahlung der Liegenschaftssanierungen an der Strasse X._ 5 und 7 in W._ bzw. an der Strasse Y._ 25 in Z._ verwendet hat. Dem angefochtenen Urteil lässt sich diesbezüglich nichts entnehmen, und der Beschwerdeführer macht in diesem Zusammenhang keine unvollständige Sachverhaltsfeststellung geltend. Es gibt - abgesehen vom Unterschriftenblock "D._AG Vertr. durch A.A._" auf der Quittung vom 15. Januar 2003 - keine Anhaltspunkte für ein Auftragsverhältnis zwischen ihm und der D._AG. Die Behauptung des Beschwerdeführers, er habe den Auftrag "vom inzwischen verstorbenen Eigentümer" der Gesellschaft erhalten, entbehrt jeder Grundlage bzw. lässt sich nicht verifizieren. Ebenso wenig vermag der Beschwerdeführer zu erklären, warum E._ der D._AG Fr. 215'000.-- "für Beratung und Verkauf Strasse F._ 50-52" geschuldet haben soll.
Plausibel erscheint dagegen die Erklärung, dass der Beschwerdeführer selbst den fraglichen Betrag von E._ als Entgelt für Dienstleistungen im Zusammenhang mit dem Verkauf der Liegenschaft Strasse F._ 50-52 (von der im Übrigen nicht bekannt ist, wo und in wessen Eigentum sie sich befand) erhalten und vereinnahmt hat. Der Unterschriftenblock "D._AG Vertr. durch A.A._" auf der Quittung vom 15. Januar 2003 ist nicht glaubhaft. Auch die C._AG als Rechtsnachfolgerin der D._AG gab gegenüber dem Kantonalen Steueramt St. Gallen am 3. Juli 2007 an, die besagte Provision stehe nicht ihr zu, sondern der Beschwerdeführer habe "dieses Rechtsgeschäft als Privatperson eingefädelt". Der Beschwerdeführer wusste anscheinend, dass die Gesellschaft ungefähr in diesem Zeitraum die erwähnten Liegenschaften hatte sanieren lassen, und behauptete nachträglich, er habe den Betrag von Fr. 215'000.-- von E._ treuhänderisch entgegengenommen und im Auftrag der D._AG weiterverwendet. Für diese Lösung spricht auch die Tatsache, dass der Beschwerdeführer erst nach Einleitung des Nachsteuerverfahrens, rund zehn Jahre nach Ausführung der Sanierungsarbeiten, die Verwendung des Betrags von Fr. 215'000.-- zu diesem Zweck zu beweisen versuchte. Von den angefragten Unternehmungen war indessen - ausser G._ von der längst konkursiten H._AG - keine bereit, den Erhalt des jeweiligen Rechnungsbetrags in bar vom Beschwerdeführer als Vertreter der D._AG zu bestätigen: Den entsprechenden Aufstellungen (vgl. E. 2.1) lässt sich nicht entnehmen, dass die jeweiligen Rechnungen in bar bezahlt worden wären, wie der Beschwerdeführer behauptet; es geht daraus überhaupt nicht hervor, dass die Bezahlung durch den Beschwerdeführer erfolgt wäre und dass dieser im Auftrag der D._AG gehandelt hätte. Dies aber wäre unabdingbar, um die Vermutung des Einkommenszugangs zu entkräften (vgl. E. 5.3).
6.4. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz den Zufluss von Fr. 215'000.-- als Einkommen aus selbständiger Erwerbstätigkeit qualifiziert hat. Von einer willkürlichen Beweiswürdigung (<ref-law>; <ref-ruling> E. 4.4 S. 444) kann nicht die Rede sein. Der Beschwerdeführer legt auch nicht dar, inwiefern der Betrag als geschäftsmässig begründeter Aufwand gelten könnte, weshalb das Vorbringen - sofern es nicht ohnehin ein unzulässiges Novum im Sinn von <ref-law> ist - nicht geprüft werden kann. Schliesslich werden die Rügen der Verletzung der Eigentumsgarantie und des Prinzips der wirtschaftlichen Leistungsfähigkeit, soweit überhaupt einschlägig, nicht substanziiert, weshalb nicht darauf einzugehen ist (<ref-law>).
7.
Die Voraussetzungen für die Erhebung der Nachsteuer (vgl. E. 5.4) sind erfüllt. Daraus folgt, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten sowohl in Bezug auf die direkte Bundessteuer als auch auf die Kantons- und Gemeindesteuern abzuweisen ist. Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_839/2016 und 2C_840/2016 werden vereinigt.
2.
Auf die subsidiäre Verfassungsbeschwerde betreffend die direkte Bundessteuer 2003 wird nicht eingetreten.
3.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer 2003 wird abgewiesen.
4.
Auf die subsidiäre Verfassungsbeschwerde betreffend die Kantons- und Gemeindesteuern 2003 wird nicht eingetreten.
5.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantons- und Gemeindesteuern 2003 wird abgewiesen.
6.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
7.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 12. April 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Genner