Sachverhalt:
A.
Gegenüber A._ verfügte das Kantonale Steueramt Solothurn am 7. Februar 2014 für die Perioden 2002 bis 2010 Nachsteuern von Fr. 90'564.80 plus Verzugszinsen von Fr. 15'900.90 (Kantons- und Gemeindesteuern) und von Fr. 75'802.60 plus Verzugszinsen von Fr. 12'532.35 (direkte Bundessteuer). Weiter legte es eine Busse von Fr. 226'411.85 (Staat) und Fr. 189'506.50 (Bund) fest, was einem Faktor von 2,5 entspricht.
B.
Bezüglich der Bussen erhob A._ erfolglos Einsprache und gelangte dann mit Beschwerde und Rekurs an das Steuergericht des Kantons Solothurn. Dieses reduzierte mit Urteil vom 21. August 2017 den Bussenfaktor bei der Staats- und der direkten Bundessteuer von 2,5 auf 2,0 (gesamte Busse bei der Staatssteuer neu von Fr. 181'129.--, bei der direkten Bundessteuer neu von Fr. 151'605.--) und wies die Rechtsmittel im Übrigen ab.
C.
Am 29. September 2017 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Er beantragt, das steuergerichtliche Urteil und das Strafsteuerverfahren aufzuheben. Eventualiter sei die Steuerbusse bei der Staats- und der direkten Bundessteuer auf das gesetzliche Minimalmass von einem Drittel zu reduzieren; auch sei festzustellen, dass auf den Bussen erst ab deren Rechtskraft Verzugszinsen geschuldet seien.
D.
Das Kantonale Steueramt Solothurn und das Steuergericht des Kantons Solothurn schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung hat auf eine Stellungnahme verzichtet.
E.
Mit Replik vom 9. Januar 2018 und zusätzlicher Eingabe vom 11. Januar 2018 hat A._ an seinen Rechtsstandpunkten festgehalten.
F.
Mit Verfügung vom 5. Oktober 2017 hat der Präsident der II. öffentlich-rechtlichen Abteilung ein Gesuch um aufschiebende Wirkung abgewiesen.

Erwägungen:
I. Prozessuales
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Auf die Beschwerde ist einzutreten.
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinn von <ref-law> (<ref-law>). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinn mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> i.V.m. Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG). Rein appellatorische Kritik an der Sachverhaltsermittlung und Beweiswürdigung genügt den Begründungs- und Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
II. Direkte Bundessteuer
2.
Wer als Steuerpflichtiger vorsätzlich oder fahrlässig bewirkt hat, dass eine Veranlagung zu Unrecht unterblieb, oder dass eine rechtskräftige Veranlagung unvollständig ist, wird mit Busse bestraft (<ref-law>). Die Busse beträgt in der Regel das Einfache der hinterzogenen Steuer. Sie kann bei leichtem Verschulden bis auf einen Drittel ermässigt, bei schwerem Verschulden bis auf das Dreifache erhöht werden (<ref-law>).
2.1. In Anwendung dieser Bestimmung und aufgrund einer umfassenden, sorgfältigen Beweiswürdigung hat das Steuergericht den Bussenfaktor auf 2,0 festgelegt, was sich als bundesrechtskonform erweist.
2.1.1. Das Gericht hat die objektiven Tatumstände und das subjektive Verschulden des Beschwerdeführers (vgl. dazu näher <ref-ruling> E. 7.2 S. 147 ff. m.H.) zutreffend beurteilt und erwogen, dass dieser - Jahr für Jahr während beinahe einem Jahrzehnt - einen schweren und von Periode zu Periode gravierenderen Steuerausfall verursachte, wobei er nicht nur fahrlässig (bzw. mit pflichtwidriger Unvorsicht) handelte, sondern zumindest mit Eventualvorsatz und - in den letzten Jahren - sogar mit Gewinnsucht.
2.1.2. Wie die Vorinstanz festgehalten hat, war dem Beschwerdeführer nicht nur vorzuwerfen, jahrelang keine Steuererklärung eingereicht und die sich daraus ergebenden Steuerfolgen passiv zur Kenntnis genommen zu haben, ohne daraus irgendeinen Vorteil zu ziehen.
Vielmehr verfügte er über die notwendigen Spezialkenntnisse, um sich bewusst zu sein, dass die ihm gegenüber ergangenen Ermessenseinschätzungen einer teilweise massiven Unterbesteuerung entsprachen. Diese Kenntnisse verwendete er, wie das Gericht hervorgehoben hat, um die so nicht als Steuern zu entrichtenden Beträge gezielt und über Jahre immer wieder neu aktiv zu bewirtschaften und zur Vermehrung seines Vermögens zu investieren (namentlich in Lebensversicherungen und eröffnete Depots). Deshalb hat die Vorinstanz auch die Auffassung der kantonalen Steuerbehörden geschützt, dass ein besonders schweres Verschulden und (teilweise) Gewinnsucht anzunehmen sind.
2.2. Was der Beschwerdeführer dagegen einwendet, vermag ein anderes Ergebnis nicht zu rechtfertigen.
2.2.1. Die meisten seiner Vorbringen beschränken sich darauf, den Sachverhaltsfeststellungen und der Beweiswürdigung der Vorinstanz appellatorisch seine eigene, abweichende Sichtweise in Bezug auf die massgeblichen Fakten und Beweise entgegenzuhalten (vgl. oben E. 1.2). Das erweist sich als klarerweise unzureichend, um diese Feststellungen bzw. Beweiswürdigung als offensichtlich unrichtig erscheinen zu lassen, wie das mit Blick auf <ref-law> erforderlich wäre.
Das trifft zuerst einmal für seine Behauptung zu, es könne ihm ja nur vorgeworfen werden, nicht weiterhin eine Steuererklärung eingereicht zu haben, nachdem die Behörden sich plötzlich und ungerechtfertigt geweigert hätten, ihm gegenüber wie zuvor einkommensmindernde Elemente (insbesondere Spesenaufwendungen) zu berücksichtigen. Ausserdem habe er für ein vorsätzliches Vorgehen nebst den fehlenden dafür notwendigen Kenntnisse insbesondere auch nicht die erforderliche Zeit gehabt, was auf eine Überbelastung durch seine beruflichen Verantwortungen und zeitraubende private Probleme (namentlich eine schwierige und über Jahre langwierige Scheidung) zurückzuführen gewesen sei.
Solche Vorbringen können nicht dazu führen, dass die ihnen zuwiderlaufenden und vom Steuergericht seiner Beurteilung zugrunde gelegten Feststellungen für das Bundesgericht nicht verbindlich wären. Massgeblich ist hier auch die vorinstanzliche Beweiswürdigung in Bezug auf die gesundheitlichen Probleme, auf die vor Bundesgericht sowohl in der Beschwerdeschrift als auch in der zusätzlichen Eingabe vom 11. Januar (vgl. dazu oben Sachverhalt/E.) einmal mehr besonders insistiert wird. Nicht als offensichtlich unzutreffend einzustufen ist namentlich die Feststellung bzw. Beweiswürdigung des Steuergerichts, dass die Probleme, weil eher punktueller Natur, von ihrer Tragweite und Dauer her nicht so schwerwiegend waren wie dargestellt, weshalb der Beschwerdeführer u.a. selbst in der Zeit seines (Teil-) Ruhestands noch beträchtliche Aufgaben für seine (frühere) Arbeitgeberin übernehmen und über längere Zeit ausführen konnte.
2.2.2. Was der Beschwerdeführer ansonsten noch gegen das angefochtene Urteil einwendet, vermag ebenfalls nicht zu überzeugen.
Er macht zwar geltend, die Steuerbehörden hätten in all den Jahren ihre Untersuchungspflichten verletzt; namentlich wäre es ihnen ein Leichtes und auch erforderlich gewesen, bei der Arbeitgeberin Lohnausweise einzufordern. Dann wäre aber sofort klar geworden, dass die vorgenommenen Ermessensinschätzungen ungenügend waren und korrigiert werden mussten. Eine solche Argumentation lässt aber ausser Acht, dass konkrete Indizien weder dargetan noch ersichtlich sind, aufgrund derer die Behörden verpflichtet gewesen wären, Überprüfungsmassnahmen in die Wege zu leiten (vgl. dazu auch das Urteil 2C_336/2010 E. 4.1 in: StR 66/2011 S. 218).
Zu Unrecht vertritt der Beschwerdeführer zudem die Auffassung, wegen der gesamten Nachsteuern und insbesondere (hier ausschliesslich massgeblichen) Bussen werde sein Vermögen nun plötzlich im Nachhinein um zwei Drittel vermindert, was einer konfiskatorischen Besteuerung entspreche. Wie die Vorinstanz auch diesbezüglich zutreffend ausgeführt hat, sind die Voraussetzungen einer solchen, verfassungswidrigen Besteuerung hier nicht gegeben (vgl. E. 6 des angefochtenen Urteils). Ebenso wenig liegt ein Verstoss gegen den Grundsatz "ne bis in idem" vor (vgl. ebenda E. 8.2) oder eine straflose Selbstanzeige mit den sich daraus ergebenden rechtlichen Folgen (vgl. dort E. 8.4). Schliesslich ist auf das Eventualbegehren betreffend die Verzugszinsen schon deshalb nicht näher einzugehen, weil es sich auf die Nachsteuern bezieht, die hier nicht mehr umstritten und übrigens schon längst beglichen sind, mitsamt der genannten Zinsen (vgl. a.a.O. E. 3).
2.3. Die Beschwerde ist jedoch aus anderem Grund teilweise gutzuheissen und das angefochtene Urteil insoweit aufzuheben.
2.3.1. Gemäss dem neuen, am 1. Januar 2017 in Kraft getretenen Art. 184 Abs. 1 lit. b Ziff. 1 DBG verjährt die Strafverfolgung bei vollendeter Steuerhinterziehung zehn Jahre nach Ablauf der Steuerperiode, für welche die steuerpflichtige Person nicht oder unvollständig veranlagt wurde (Art. 175 Abs. 1). Nach Massgabe von <ref-law> tritt die Verjährung nicht mehr ein, wenn die zuständige kantonale Behörde vor Ablauf der Verjährungsfrist eine Verfügung erlassen hat.
Nach früherem Recht (Art. 184 Abs. 1 lit. b und 2 DBG in der Fassung vom 14. Dezember 1990 in Verb. mit <ref-law>) verjährte die Strafverfolgung für eine vollendete Hinterziehung nach 15 Jahren, wobei die gesetzliche, ebenfalls zehnjährige Verjährungsfrist durch jede Strafverfolgungshandlung gegenüber der pflichtigen Person unterbrochen wurde.
Aus dem in <ref-law> festgehaltenen Grundsatz der "lex mitior" ergibt sich, dass das neue Verjährungsrecht selbst auf die vor seinem Inkrafttreten begangenen Straftaten anwendbar ist, wenn es milder ist als das in jenen Steuerperioden geltende Recht (vgl. zum Ganzen: 2C_12/2017 vom 23. März 2018 E. 4.1 in: ASA 86 S. 781, nicht veröffentlicht in <ref-ruling> ff.).
2.3.2. Hier erging der Bussenbescheid für alle massgeblichen Perioden 2002 bis 2010 am 7. Februar 2014. Gemäss der heute geltenden - und in concreto milderen - Regelung sind somit die für 2002 und 2003 erlassenen Bussen (Fr. 290.40 und Fr. 4'408.80 für die direkte Bundessteuer, also insgesamt Fr. 4'699.20) verjährt.
2.3.3. Der Beschwerdeführer hat die Verjährung vor Bundesgericht zwar nicht gerügt, ebenso wenig wie zuvor gegenüber den kantonalen Instanzen. Nach der bundesgerichtlichen Rechtsprechung ist die Frage der Verjährung im öffentlichen Recht jedoch von Amtes wegen zu berücksichtigen, sofern das Gemeinwesen Gläubiger der Forderung ist (vgl. u.a. <ref-ruling> 3.2 S. 171; <ref-ruling> E. 3.3 S. 367 f. m.w.H.).
III. Kantons- und Gemeindesteuern
3.
3.1. Die für die Festlegung der Steuerbussen bei der Staatssteuer anwendbaren Bestimmungen (vgl. Art. 56 Abs. 1 StHG und § 189 Abs. 1 und 2 des Steuergesetzes des Kantons Solothurn vom 1. Dezember 1985) stimmen mit denen zur direkten Bundessteuer überein. Somit kann die Beschwerde auch diesbezüglich nur im gleichen Ausmass abgewiesen werden.
3.2. Die Anwendung der für die Verjährung bei vollendeter Hinterziehung massgeblichen Vorschriften betreffend die Kantons- und Gemeindesteuern (vgl. Art. 58 Abs. 2 und 3 sowie Art. 72s StHG sowie § 198 Abs. 1 lit. b und Abs. 2 StG/SO, in Kraft seit dem 1. Januar 2017) führt vorliegend zum gleichen Ergebnis wie bei der direkten Bundessteuer. Die Bussen für 2002 und 2003 (in der Höhe von Fr. 1'384.10 und Fr. 6'384.50, also insgesamt Fr. 7'768.60) sind verjährt.
IV. Kostenfolgen
4.
Nach dem Gesagten ist die Beschwerde für die Steuerperioden 2002 und 2003 gutzuheissen, das angefochtene Urteil insoweit aufzuheben, ebenso wie die entsprechenden Bussen. Ansonsten ist die Beschwerde abzuweisen.
Der Betrag der aufzuhebenden Bussen 2002 und 2003 (insgesamt Fr. 4'699.20 bei der direkten Bundessteuer gegenüber einem gesamten Bussenbetrag von Fr. 189'506.50; insgesamt Fr. 7'768.60 bei der Staatssteuer gegenüber einem gesamten Bussenbetrag von Fr. 226'411.85) erweist sich als geringfügig. Demzufolge sind die Gerichtskosten doch vollumfänglich dem Beschwerdeführer aufzuerlegen (vgl. Art. 65 f. BGG) und hat er keinen Anspruch auf eine Parteientschädigung (vgl. 68 BGG); das gilt umso mehr, als er die eingetretene Verjährung nicht geltend gemacht hat. Ebenso wenig rechtfertigt sich eine Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens (vgl. Art. 67 u. 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird hinsichtlich der direkten Bundessteuer gutgeheissen, soweit die Steuerperioden 2002 und 2003 betroffen sind; die entsprechenden Bussen werden - wie das angefochtene Urteil diesbezüglich - aufgehoben. Ansonsten wird die Beschwerde abgewiesen.
2.
Die Beschwerde wird hinsichtlich der Kantons- und Gemeindesteuern gutgeheissen, soweit die Steuerperioden 2002 und 2003 betroffen sind; die entsprechenden Bussen werden - wie das angefochtene Urteil diesbezüglich - aufgehoben. Ansonsten wird die Beschwerde abgewiesen.
3.
Die Gerichtskosten von Fr. 7'000.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. August 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter