Sachverhalt:
A.
A.X._ und B.Y._ wurden gemäss Steuererklärung pro 2002 als Ehegatten besteuert, nach ihrer Trennung ab der Periode 2003 jedoch separat veranlagt. Beim steuerbaren Einkommen der Eheleute X.Y._ und danach bei demjenigen von A.X._ nahm die Veranlagungsbehörde Grenchen mit Verfügungen vom 2. Juli 2007 und Einspracheentscheiden vom 14. Oktober 2010 für die Staats- und die direkte Bundessteuer folgende Aufrechnungen vor: Fr. 366'984.-- für 2002 (Fr. 348'119.-- geldwerte Vorteile aus geschäftsmässig nicht begründeten Offshore-Softwareprojekten und Fr. 18'865.-- aus nicht rechtsgenüglich nachgewiesenen Honorarzahlungen an eine Drittperson), Fr. 24'350.-- für 2003 (Vorteile aus unbelegten Honorarzahlungen) und Fr. 94'446.-- für 2004 (Fr. 70'716.-- Vorteile aus den Offshore-Projekten, Fr. 22'530.-- aus nicht begründeten Fremdhonoraren und Fr. 1'200.-- übersetzte Pauschalspesen). Mit Ausnahme der Pauschalspesen beruhten alle Aufrechnungen auf Beträgen, welche eine von A.X._ beherrschte Gesellschaft (die A.X._ GmbH und mit Wirkung auf den 1. Januar 2003 deren Rechtsnachfolgerin C._ AG) als steuermindernde Aufwendungen bzw. Abschreibungen deklariert hatte. Die Veranlagungsbehörde stufte diese Beträge aber als geschäftsmässig nicht begründet ein und ging davon aus, dass sie A.X._ zugeflossen waren.
B.
Gemäss angekündigter "reformatio in peius" nahm das Steueramt des Kantons Solothurn mit den Einspracheentscheiden vom 14. Oktober 2010 noch zusätzliche Aufrechnungen gegenüber den Eheleuten X.Y._ bzw. A.X._ vor: für die Steuerperiode 2002 Fr. 21'038.-- beim steuerbaren Einkommen (Staats- und Bundessteuer); für das Jahr 2003 Fr. 21'000.-- beim steuerbaren Einkommen (Staats- und Bundessteuer) sowie Fr. 920'318.-- beim steuerbaren Vermögen (Kantons- und Gemeindesteuern); für 2004 Fr. 24'633.-- beim steuerbaren Einkommen (Staats- und Bundessteuer) und Fr. 1'330'733.-- beim steuerbaren Vermögen (Kantons- und Gemeindesteuern). Die Einkommens- und ein Teil der Vermögensaufrechnungen betrafen Beträge, welche die Gesellschaft als ein ihr gewährtes Fremddarlehen und darauf geleistete Zinszahlungen deklariert hatte, denen die Steuerbehörde indessen ebenfalls die geschäftsmässige Begründetheit absprach und annahm, dass sie in den Verfügungsbereich von A.X._ geflossen waren. Die restlichen Vermögensaufrechnungen bezogen sich auf einen erhöhten Gesellschaftswert, den das Steueramt genauso sehr dem Privatvermögen von A.X._ zurechnete.
C.
Gegen diese Aufrechnungen gelangten A.X._ und B.Y._ erfolglos an das Steuergericht des Kantons Solothurn. Am 23. August 2012 haben sie Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie stellen den Antrag, für die Staatssteuer (Verfahren 2C_797/2012) und die direkte Bundessteuer (2C_798/2012) der Perioden 2002 bis 2004 das steuergerichtliche Urteil vom 26. März 2012 (sowie die ihm zugrunde liegenden Einspracheentscheide) aufzuheben und von den vorgenommenen Aufrechnungen abzusehen. Eventualiter sei die Sache zur Neubeurteilung an das Steuergericht zurückzuweisen.
D.
Die zur Vernehmlassung eingeladenen Behörden schliessen auf Abweisung der Beschwerde.
E.
Mit Replik vom 18. Januar 2013 haben die Beschwerdeführer an ihrem Rechtsstandpunkt festgehalten und noch einmal (wie schon in ihrer Beschwerdeschrift) die Einholung eines Gutachtens über den Wert der Softwareprojekte beantragt.
F.
Am 5. bzw. 8. Oktober 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung ein Gesuch um aufschiebende Wirkung abgewiesen.
Erwägungen:
I. Prozessuales
1.
1.1. Die Vorinstanz hat die Verfahren betreffend Kantonssteuern und direkte Bundessteuer vereinigt und ein einziges Urteil gefällt. Die Beschwerdeführer fechten dieses Urteil mit einer einzigen Beschwerdeeingabe an. Das ist zulässig, sofern in der Beschwerde zwischen den beiden Steuerarten unterschieden wird und aus den Anträgen hervorgeht, inwieweit diese angefochten sind und wie zu entscheiden ist (vgl. BGE 135 II 260 E. 1.3.2 S. 264 f.; 131 II 553 E. 4.2). Das Bundesgericht seinerseits eröffnet grundsätzlich zwei Verfahren, wenn sowohl die kantonalen Steuern wie auch die direkte Bundessteuer streitig sind, um die Fälle aller Kantone einheitlich zu erfassen. Es behält sich aber vor, die beiden Verfahren zu vereinigen und nur ein Urteil zu fällen. Das rechtfertigt sich auch hier, weil es um den gleichen Sachverhalt geht, sich dieselben Parteien gegenüberstehen, die Materie steuerlich harmonisiert ist und sich identische Rechtsfragen stellen (vgl. Urteil 2C_603/2012, 2C_604/2012 vom 10. Dezember 2012 E. 1). Ob in der vorliegend eingereichten Beschwerdeschrift genügend zwischen der Staats- und der Bundessteuer unterschieden wird, kann mit Blick auf den Verfahrensausgang offen bleiben.
1.2. Angefochten ist ein kantonal letztinstanzliches Urteil betreffend die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss Art. 82 ff. BGG in Verbindung mit Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG, SR 642.14) und mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG, SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf das unter dem bereits genannten Vorbehalt (vgl. oben E. 1.1) form- und fristgerecht eingereichte Rechtsmittel der gemäss Art. 89 Abs. 1 BGG grundsätzlich legitimierten Beschwerdeführer ist mit den folgenden weiteren Einschränkungen (vgl. unten E. 1.3 bis 1.5) einzutreten.
1.3. Nicht einzutreten ist auf die Beschwerde, soweit sie sich gegen die kantonal vorinstanzlichen Entscheide richten, da diese durch das steuergerichtliche Urteil ersetzt worden sind (sog. Devolutiveffekt, vgl. u.a. BGE 134 II 142 E. 1.4 S. 144).
1.4. Ebenfalls nicht zulässig ist die Beschwerde, soweit sie B.Y._ und die Perioden 2003 sowie 2004 betrifft. Aufgrund der Trennung der Ehepartner und der deswegen separat erfolgten Veranlagung der beiden Pflichtigen besteht insofern keine Parteistellung mehr.
1.5. Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.5.1. Unerlässlich ist dabei u.a., dass die Beschwerde auf die Begründung des angefochtenen Urteils eingeht und im Einzelnen aufzeigt, worin Bundesrecht verletzt wird. Die Beschwerdeschrift soll vor Bundesgericht nicht bloss die Rechtsstandpunkte und Argumente wiederholen, wie sie im kantonalen Verfahren vorgebracht worden sind, sondern muss sich konkret und spezifisch mit den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz auseinandersetzen (vgl. BGE 134 II 244 E. 2.1 S. 245 f.; 121 III 397 E. 2a S. 400; 116 II 745 E. 3 S. 749).
1.5.2. Vorliegend wird mit dem Hauptantrag um die vollumfängliche Aufhebung sämtlicher Einkommens- und Vermögensaufrechnungen ersucht. Davon abweichend befasst sich die Beschwerdeschrift in drei Teilbereichen (Honorarzahlungen, Pauschalspesen und Vermögensaufrechnungen aufgrund des erhöhten Gesellschaftswertes) überhaupt nicht mit den vorgenommenen Aufrechnungen; insoweit erübrigt sich deshalb eine Überprüfung des angefochtenen Urteils. Hinsichtlich der verbleibenden zwei Teilbereiche (Softwareprojekte und angeblich der Gesellschaft gewährtes Fremddarlehen) setzt sich die Beschwerdeschrift nur in vereinzelten Punkten mit dem Urteil bzw. der spezifischen Begründung des Steuergerichts auseinander und wiederholt stattdessen eingehend sowie nahezu unverändert das schon in früheren Verfahrensstadien Vorgebrachte. Auch insofern vermag die Beschwerde den Begründungsanforderungen nicht zu genügen.
1.6. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
II. Direkte Bundessteuer
2.
2.1. Als geldwerte Vorteile aus Beteiligungen gemäss Art. 20 Abs. 1 lit. c DBG gelten alle durch Zahlung, Überweisung, Gutschrift, Verrechnung oder auf andere Weise bewirkten und in Geld messbaren Leistungen, die der Inhaber gesellschaftlicher Beteiligungsrechte unter irgendeinem Titel aufgrund dieser Beteiligung von der Gesellschaft erhält und welche keine Rückzahlung der bestehenden Kapitalanteile darstellen. Dazu gehören insbesondere sog. verdeckte Gewinnausschüttungen im Sinne von Art. 58 Abs. 1 lit. b DBG, d.h. Zuwendungen der Gesellschaft, denen keine oder keine genügenden Gegenleistungen des Anteilsinhabers entsprechen und die einem an der Gesellschaft nicht beteiligten Dritten nicht oder nur in wesentlich geringerem Umfang erbracht worden wären. Das ist mit einem Drittvergleich zu ergründen (sog. Prinzip des "dealing at arm's length"), bei dem alle konkreten Umstände des abgeschlossenen Geschäfts zu berücksichtigen sind (vgl. u.a. BGE 138 II 57 E. 2.2 S. 59 f. m.w.H.).
2.2. Im Bereich der geldwerten Leistungen und Vorteile gilt die Grundregel, dass die Steuerbehörde die Beweislast für steuerbegründende und -erhöhende Tatsachen trägt, die steuerpflichtige Gesellschaft bzw. der Gesellschafter dagegen diejenige für all das, was die Steuer aufhebt oder mindert.
2.2.1. Der Behörde obliegt insbesondere der Nachweis dafür, dass die Gesellschaft eine Leistung erbracht hat und dieser keine oder keine angemessene Gegenleistung gegenübersteht. Hat die Behörde ein solches Missverhältnis zwischen Leistung und Gegenleistung dargetan, so ist es Sache der steuerpflichtigen Gesellschaft, die damit begründete Vermutung zu entkräften. Gelingt ihr das nicht, trägt sie die Folgen der Beweislosigkeit. Das gilt insbesondere dann, wenn sie Zahlungen leistet, die weder buchhalterisch erfasst noch belegt sind (vgl. BGE 133 II 153 E. 4.3 S. 158; 121 II 257 E. 4c/aa S. 266; 119 Ib 431 E. 2c S. 435; ASA 68 246 E. 2b; 65 397 E. 2b; 63 145 E. 4; StR 66/2011 62 E. 2.3; 65/2010 66 E. 2.3; 64/2009 588 E. 3.3 u. 834 E. 2.2; RDAF 2011 II 53 E. 2.3; RDAT 2001 I n. 18t 421 E. 3c).
2.2.2. Besonders strenge Beweiserfordernisse sind zu beachten, wenn es um internationale Geschäfts- und Rechtsbeziehungen geht, weil sich die Verhältnisse des ausländischen Leistungsempfängers der Kontrolle durch die inländischen Steuerbehörden entziehen. Bei Zahlungen ins Ausland ist somit nicht nur der Empfänger zu nennen, sondern es sind die gesamten Umstände darzulegen, die im konkreten Fall zu deren Ausrichtung geführt haben. Es sind die Verträge der jeweiligen Grundgeschäfte vorzuweisen sowie allfällige schriftliche Provisionsvereinbarungen, ferner die lückenlos dokumentierte Korrespondenz mit den Zahlungsempfängern und den allenfalls involvierten Banken. Die geschäftsmässige Begründetheit muss auch in einem solchen Fall derart nachgewiesen werden, dass sich die Steuerbehörde vergewissern kann, dass geschäftliche Gründe und nicht die engen persönlichen und wirtschaftlichen Beziehungen für die geldwerte Leistung ausschlaggebend waren (vgl. u.a. StR 65/2010 66 E. 2.3; ASA 68 246 E. 2c; 65 397 E. 2b; mit weiteren Hinweisen).
3.
3.1. Zu den beiden hier noch zu beurteilenden Teilbereichen (vgl. oben E. 1.5.2) hat das Steuergericht in tatsächlicher Hinsicht Folgendes festgehalten:
3.1.1. Im Zusammenhang mit der von der Gesellschaft vorgenommenen Aktivierung und dann Abschreibung der angeblich in Asien getätigten Software-Investitionen hat die Vorinstanz als erstellt eingestuft, dass es den Beschwerdeführern zu keinem Zeitpunkt gelang, die als steuermindernd deklarierten Beträge irgendwie rechtsgenüglich zu belegen - und noch viel weniger in einer Weise, welche den hier anwendbaren, besonders strengen Beweisanforderungen bei internationalen Geschäfts- und Rechtsverhältnissen (vgl. oben E. 2.2.2) genügt hätte. Es wurde einzig ein (wohl umfangreicher und sich über Jahre erstreckender) Email-Verkehr ins Recht gelegt, aber keine reale Geschäftstätigkeit bzw. kein verwertbares Arbeitsergebnis vorgewiesen. Sowohl die technischen wie auch die finanziellen Aspekte blieben unklar. Die Aufwendungen bestanden sozusagen ausschliesslich in Abschreibungen; konkrete Kosten wie Löhne oder Mieten usw. wurden nicht dargetan. Insgesamt wurden mit nur rudimentären und teilweise (sehr) fragwürdigen Unterlagen weder harte Fakten beigebracht noch eine auch nur annähernd hinreichende Transparenz geschaffen; insgesamt lag nichts vor, woraus hätte geschlossen werden müssen bzw. können, dass die massgeblichen Aufwendungen tatsächlich in die genannten Projekte geflossen waren (vgl. zum Ganzen insb. E. 7 S. 14 f. u. E. 9 S. 16 des angefochtenen Urteils, u.a. gestützt auf Ziff. 8 des Sachverhalts, S. 6 f.).
Weiter hat sich das Steuergericht auf die Abklärungen und Erhebungen der Veranlagungsbehörde gestützt, wonach mehrere konkrete Hinweise bestanden, dass die Softwareprojekte gesamthaft fiktiv gewesen sein könnten. Die Behörde erwog dies aufgrund eines Vergleichs mit verschiedenen, zumindest sehr ähnlichen Fällen anderer Steuerpflichtiger. Diese hatten alle - und ausnahmslos unter Zusammenarbeit derselben Steuerberatungsfirma - in Hong Kong beträchtliche Beträge vermeintlich in diverse Projekte investiert, welche weder Ertrag noch Einnahmen generierten, aber jahrelang steuermindernden Aufwand verursachten, bevor sie alle im Totalverlust endeten. Es handelte sich in sämtlichen Fällen um typische Offshore-Konstrukte mit kaum greifbar belegten Geschäftsbeziehungen zu rätselhaften Partnern, u.a. mit in Steueroasen (hier: den British Virgin Islands) domizilierten Briefkastenfirmen, die alle von den gleichen Geschäftsadressen aus operierten (vorliegend namentlich "Room 1708" eines Bürohochhauses in Hong Kong; vgl. zum Ganzen E. 7 S. 14 f. des angefochtenen Urteils, gestützt auf Ziff. 8 des Sachverhalts, S. 6 u. 8).
Diesen Hinweisen bezüglich der allenfalls fiktiven Natur der fraglichen Projekte muss nicht im vorliegenden Verfahren weiter nachgegangen werden. Wesentlich ist indessen die folgende Feststellung des Steuergerichts: Nicht nur waren die geltend gemachten Abschreibungen völlig ungenügend nachgewiesen; auch waren die Mittel aus den Softwareprojekten mit an Sicherheit grenzender Wahrscheinlichkeit als geldwerte Leistungen wieder an den Beschwerdeführer geflossen (vgl. E. 9 S. 16 des angefochtenen Urteils).
3.1.2. Betreffend das Darlehen, das asiatische Geschäftspartner der vom Beschwerdeführer beherrschten Gesellschaft gewährt haben sollen, ist die Vorinstanz - weiterhin gestützt auf die Untersuchungen und Abklärungen des kantonalen Steueramtes - zu den gleichen Feststellungen gelangt: Es handelte sich ebenfalls um in keiner Weise hinreichend belegte Aufwendungen, sondern um ein Geschäft mit mehreren Merkmalen typischer Offshore-Konstrukte und um Beträge, die unter den gegebenen Umständen (wieder) in den Verfügungsbereich des Beschwerdeführers gelangt sein mussten (vgl. E. 8 u. 9 S. 15 f. des angefochtenen Urteils, auf der Grundlage von Ziff. 8 des Sachverhalts, S. 7).
3.2. Dagegen machen die Beschwerdeführer in erster Linie geltend, dass die Steuerbehörden und nach ihnen die Vorinstanz keineswegs bewiesen, sondern nur behauptet hätten, die bei der Gesellschaft aufgerechneten Beträge seien dem Alleinaktionär zugeflossen. Diese Auffassung verkennt indessen, dass es vor Bundesgericht nicht genügt, den steuergerichtlichen Feststellungen in tatsächlicher Hinsicht bloss die eigene Sichtweise entgegenzuhalten. Vielmehr muss schlüssig aufgezeigt werden, dass die genannten Feststellungen als geradezu offensichtlich unrichtig einzustufen sind (vgl. oben E. 1.6). Vorliegend vermögen die Beschwerdeführer eine solche qualifiziert unzutreffende Ermittlung des rechtserheblichen Sachverhalts weder gesamthaft noch in irgendeinem Einzelpunkt darzutun.
3.3. Daneben vertreten die Beschwerdeführer die Auffassung, auf den vom Steuergericht festgehaltenen Sachverhalt dürfe auch deshalb nicht abgestellt werden, weil er auf der Verletzung mehrerer (verfahrens) rechtlicher Regeln (vgl. oben E. 1.6) beruhe. Insbesondere seien im Einspracheverfahren die von ihnen vorgebrachten, in Wirklichkeit vollumfänglich genügenden Belege falsch bewertet und ihre Anträge auf zusätzliche Beweiserhebungen schlicht ignoriert worden. Diese Mängel hätten die Behörden zu grundlegend unzutreffenden Schlussfolgerungen und zu den genannten, unbelegt gebliebenen Behauptungen verleitet.
3.3.1. Die gesamte Argumentation der Beschwerdeführer lässt jedoch zwei entscheidende Besonderheiten des vorliegend zu beurteilenden Verfahrens ausser Acht: Einerseits waren - auf Ersuchen der Steuerpflichtigen - die hier massgeblichen Aufwendungen zuerst bei der vom Beschwerdeführer beherrschten GmbH bzw. AG geprüft worden. Andererseits anerkannte der Beschwerdeführer die dort vorgenommene Aufrechnung der Aufwendungen als geschäftsmässig nicht begründete Unkosten, weshalb die Gesellschaft ihre Einsprache gegen die Aufrechnungen zurückzog. Auch die vor Bundesgericht eingereichte Beschwerdeschrift wiederholt an mehreren Stellen, die Aufrechnungen gegenüber der Gesellschaft würden zwar nicht als verdeckte Gewinnausschüttungen, aber als geschäftsmässig nicht begründete Unkosten anerkannt.
Neben den erwähnten allgemeinen und abstrakten Wiederholungen in Bezug auf diesen Rückzug bzw. diese Anerkennung beschränken sich die Beschwerdeführer vor Bundesgericht (wie schon im kantonalen Verfahren) darauf, mit mehreren konkreten Einzelargumenten nun aber doch wieder die geschäftsmässige Begründetheit der massgeblichen Projekte sowie des Darlehens glaubhaft machen zu wollen. Das gilt insbesondere für das Argument, die gesamten Projekte hätten sehr wohl einen wirtschaftlichen Wert (und somit eine für eine steuermindernde Anrechnung genügende Begründung) gehabt, was mit einem informatischen Gutachten nachgewiesen werden könne. All das ist indessen nach dem Einspracherückzug der Gesellschaft bzw. den damit einhergehenden (und seither aufrecht erhaltenen) Eingeständnissen im tatsächlichen Bereich unerheblich geworden. Deshalb durfte der Gutachtensantrag auch schon im Einspracheverfahren des Beschwerdeführers ohne weiteres ausser Acht bleiben, genauso wie die anderen Beweisanträge.
Nichts anderes gilt für das der Gesellschaft angeblich gewährte Darlehen: Auch diesbezüglich besteht der gemeinsame Nenner sämtlicher Einwendungen der Beschwerdeführer gegen die vorgenommenen Aufrechnungen darin, dass die Umstände und Bedingungen des Darlehens sehr wohl denjenigen entsprechen würden, wie sie unter marktüblichen Voraussetzungen zwischen einander nicht nahestehenden Personen vorkommen könnten. Damit wird aber wieder eine geschäftsmässige Begründetheit behauptet, deren Fehlen in hier verbindlicher Weise eingeräumt worden war und weiterhin anerkannt wird.
3.3.2. Dadurch, dass die Beschwerdeführer sich in beiden Teilbereichen auf diese von vornherein unergiebige Argumentation beschränken, vermögen sie auch keine allenfalls andere Verwendung der massgeblichen Beträge aufzuzeigen. Gerade das hätten sie jedoch aufgrund ihrer Nachweispflichten (vgl. oben E. 2.2) und insbesondere nach den genannten Eingeständnissen tun müssen. So gelingt es ihnen nicht einmal ansatzweise, der Schlussfolgerung der Steuer (gerichts) behörden, dass die Beträge dem Beschwerdeführer zugeflossen sein mussten, irgendetwas entgegenzusetzen.
Dementsprechend kann dem Beschwerdeführer nicht gefolgt werden, wenn er meint, ein Zufluss an ihn (bzw. in seinen Verfügungsbereich) sei von den Steuerbehörden bloss behauptet, aber keineswegs belegt worden. Genauso wenig vermag sein Vorwurf zu überzeugen, es sei den Steuerbehörden von allem Anfang darum gegangen, mit unhaltbaren Behauptungen und Unterstellungen seinen (geschäftlichen) Ruf zu untergraben.
3.4. Ebenso unbegründet wie die Rüge, die kantonalen Behörden hätten gegen die Regeln der Beweislastverteilung und das Recht der Beschwerdeführer auf Beweisabnahme verstossen, erweist sich deren Behauptung, auch andere Teilaspekte ihres Anspruchs auf rechtliches Gehör seien verletzt worden. Das gilt namentlich für die Einsicht in die Akten, für den behördlichen Umgang mit der ursprünglichen Doppelvertretung der Beschwerdeführer und für die Begründung der Einspracheentscheide. In all diesen Punkten genügt es, auf das angefochtene Urteil zu verweisen (vgl. dort u.a. E. 2 S. 11 f. u. E. 5 S. 13, in Verbindung mit Ziff. 4 S. 3 u. Ziff. 8 S. 5 f. des Sachverhalts).
4.
Es steht somit fest, dass die vorinstanzlichen Sachverhaltsfeststellungen sich nicht als geradezu offensichtlich unrichtig erweisen und auch nicht auf Verstössen gegen (verfahrens) rechtliche Vorschriften beruhen (vgl. oben E. 1.6 u. E. 3). Bei der vom Steuergericht seiner Beurteilung zugrunde gelegten Faktenlage - und insbesondere angesichts eines Zuflusses sämtlicher hier massgeblicher Beträge an den Beschwerdeführer bzw. in seinen Verfügungsbereich - muss ausser Zweifel stehen, dass die Voraussetzungen steuerbarer geldwerter Vorteile (vgl. oben E. 2.1) kumulativ erfüllt sind. Eine (irgendwie genügende) Gegenleistung des Vorteilsempfängers ist nicht ersichtlich. Genauso wenig ist erkennbar, wie der Zufluss einem Drittvergleich standhalten könnte.
Soweit die Beschwerdeführer gegen die vorinstanzliche Beurteilung überhaupt materiellrechtliche (und nicht nur sachverhaltsbezogene oder verfahrensrechtliche) Argumente vorbringen, vermögen diese kein anderes Ergebnis zu rechtfertigen.
III. Kantons- und Gemeindesteuern
5.
In Bezug auf die Kantons- und Gemeindesteuern weichen die hier massgeblichen Regeln zur Festlegung des urteilsrelevanten Sachverhalts, die anwendbaren verfahrensrechtlichen Regeln und die materiellrechtlichen Vorschriften (vgl. Art. 24 Abs. 1 lit. a u. Art. 7 Abs. 1 StHG sowie § 91 Abs. 1 lit. b u. § 26 Abs. 1 lit. b des Gesetzes des Kantons Solothurn vom 1. Dezember 1985 über die Staats- und Gemeindesteuern [Steuergesetz, BGS 614.11]) nicht von denjenigen ab, die im Bereich der direkten Bundessteuer gelten. Deshalb muss die für die Staatssteuer vorzunehmende Beurteilung zum gleichen Ergebnis führen.
IV. Kosten und Entschädigungsfolgen
6.
Nach dem Gesagten ist die Beschwerde für die Staats- und die direkte Bundessteuer der Perioden 2002 bis 2004 vollumfänglich abzuweisen, soweit darauf überhaupt eingetreten werden kann.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer 1 uneingeschränkt kostenpflichtig. Die Beschwerdeführerin 2 haftet im Umfang eines Drittels solidarisch für diese Kosten (vgl. Art. 65 f. BGG; siehe auch oben E. 1.4).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_797/2012 und 2C_798/2012 werden vereinigt.
2.
Die Beschwerde betreffend die Staatssteuer wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
4.
Die Gerichtskosten von Fr. 6'000.-- werden A.X._ (bei einer Solidarhaft von B.Y._ im Umfang von Fr. 2'000.--) auferlegt.
5.
Dieses Urteil wird den Beschwerdeführern, dem Steueramt des Kantons Solothurn, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 31. Juli 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Matter