Sachverhalt: A. Der zuletzt in U._/SO wohnhafte und am 17. Februar 2013 verstorbene C.A._ (nachfolgend: der Erblasser) investierte in den Jahren 2002 und 2003 insgesamt Fr. 370'000.-- in Anlagen bei der X._ GmbH mit Sitz in V._/GR. Diese schrieb ihm hierfür monatsweise Erträge gut, welche sich der Erblasser nicht auszahlen liess, sondern im Anlagesystem beliess und damit sogleich reinvestierte. Wie sich später herausstellte, unterhielt die X._ GmbH ein betrügerisches Anlagesystem mit Schneeballcharakter. In seinen Steuererklärungen zu den Steuerperioden 2002 und 2003 brachte der Erblasser das in der X._ GmbH angelegte Vermögen und die aus dieser Anlage erlangten Gutschriften von Fr. 134'013.-- nicht zur Deklaration. Von den Erträgen entfielen Fr. 1'484.-- auf die Steuerperiode 2002 und Fr. 132'529.-- auf die Folgeperiode. Das Kantonale Steueramt Solothurn (nachfolgend: Steueramt) hatte von diesen Positionen keine Kenntnis. Die Veranlagungsverfügungen, welche die Positionen demnach nicht enthielten, erwuchsen in Rechtskraft. Die X._ GmbH fiel am 24. März 2005 in Konkurs. B. Mit Verfügungen vom 20. November 2006 schritt das Steueramt, das mittlerweile von den Investitionen des Erblassers in die X._ G mbH erfahren hatte, zur Nacherfassung der Erträge und des Vermögens. Dabei ergaben sich Nachsteuern für die beiden Steuerperioden von insgesamt Fr. 16'717.75 (Staats- und Gemeindesteuern des Kantons Solothurn) und Fr. 17'420.-- (direkte Bundessteuer), jeweils nebst Verzugszins. Zudem sprach es Hinterziehungsbussen von Fr. 5'443.25 und Fr. 5'684.25 aus. Im zweiten Rechtsgang bestätigte das Steuergericht des Kantons Solothurn mit Entscheid vom 7. März 2016 die Nachsteuerverfügungen vom 20. November 2006. Die Erben gelangten hiergegen an das Bundesgericht. Dieses wies die Beschwerden in öffentlich-rechtlichen Angelegenheiten mit Urteil 2C_342/2016 vom 23. Dezember 2016 (publ. in: ASA 85 S. 505, StE 2017 B 21.1 Nr. 27) ab. Das Bundesgericht erwog hauptsächlich, ein Zins sei unabhängig davon steuerbar, ob er tatsächlich ausbezahlt oder "nur" gutgeschrieben werde. Bevorzuge der Investor die Gutschrift und falle der Vermögensverwalter alsdann in Konkurs, sei in einem ersten Schritt zu prüfen, ob andere Anleger zur Zeit der streitbetroffenen Gutschrift noch Auszahlungen erwirkt hätten. Treffe dies zu, sei in einem zweiten Schritt zu klären, ob es zur Anfechtung der Auszahlungen und Gutschriften gekommen sei. C. C.a. Am 23. Dezember 2017 reichten die Erben bei der Schweizerischen Eidgenossenschaft, handelnd durch das Eidgenössische Finanzdepartement (EFD), ein Schadenersatzbegehren ein. Sie beantragten, die Schweizerische Eidgenossenschaft habe sie im Zusammenhang mit dem Urteil 2C_342/2016 vom 23. Dezember 2016 für "zu Unrecht erhobene Nachsteuern und Verzugszinsen sowie für Gerichts-, Beratungs- und Rechtsvertretungskosten zu entschädigen". C.b. Das EFD lud das Bundesgericht zur Stellungnahme ein. In seiner Vernehmlassung vom 24. Januar 2018 rief der Generalsekretär des Bundesgerichts in Erinnerung, dass die Rechtmässigkeit bundesgerichtlicher Urteile nicht in einem Verantwortlichkeitsverfahren überprüft werden könne (Art. 12 VG). Die Erben hielten in ihrer Vernehmlassung vom 31. Januar 2018 am gestellten Begehren fest. C.c. Der Bundesrat bestritt den geltend gemachten Anspruch und lehnte das Schadenersatzbegehren vom 23. Dezember 2017 mit Schreiben vom 2. März 2018 ab. Er legte dar, dass das streitbetroffene Urteil 2C_342/2016 vom 23. Dezember 2016 am selben Tag in Rechtskraft getreten sei (Art. 61 BGG). Sodann sehe Art. 12 VG vor, dass die Rechtsmässigkeit formell rechtskräftiger Verfügungen, Entscheide und Urteile nicht in einem Verantwortlichkeitsverfahren überprüft werden könne. Entsprechend könne dem Begehren nicht gefolgt werden. D. Mit Eingabe vom 31. August 2018 erheben die Erben beim Bundesgericht Klage gegen die Schweizerische Eidgenossenschaft. Sie beantragen, die Schweizerische Eidgenossenschaft habe sie für zu Unrecht erhobene Nachsteuern und Verzugszinsen sowie für Gerichts-, Beratungs- und Rechtsvertretungskosten zu entschädigen. Sie machen einen Schaden von insgesamt Fr. 111'882.20 geltend. Dieser setzt sich aus Nachsteuern (inkl. Verzugszinsen) von Fr. 37'207.20, Gerichtsgebühren von Fr. 4'875.-- sowie Beratungs- und Rechtsvertretungskosten von Fr. 69'800.-- zusammen. Dem Bundesgericht liegen neben den Rechtsschriften (inkl. Beilagen) der klagenden Erben namentlich die Stellungnahmen des Bundesgerichts vom 24. Januar 2018 und jene des Bundesrats vom 2. März 2018 vor. Der Abteilungspräsident hat einen Kostenvorschuss verfügt und von weiteren Instruktionsmassnahmen abgesehen.