Sachverhalt:
A.
Der in der Schweiz ansässige A._ ist Miteigentümer einer Liegenschaft in U._/SO und Alleineigentümer einer Liegenschaft in Deutschland. Am 1. Mai 2020 reichte er seine Steuererklärung bezüglich der Steuerperiode 2019 ein und nahm bezüglich Staatssteuer (Kanton Solothurn) und direkter Bundessteuer Abzüge für Schuldzinsen und Liegenschaftskosten vor.
B.
Mit Veranlagung bezüglich Staatssteuer und direkter Bundessteuer vom 27. August 2020 (Steuerperiode 2019) verlegte die Veranlagungsbehörde Dorneck/Thierstein (Veranlagungsbehöride) in der internationalen Steuerausscheidung gewisse Schuldzinsen nach Deutschland und liess einen Teil der deklarierten Liegenschaftskosten nicht zum Abzug zu.
Die dagegen erhobene Einsprache blieb bezüglich der vorliegend betroffenen Steuerfaktoren erfolglos (Verfügung bzw. Einspracheentscheid der Veranlagungsbehörde vom 24. November 2020).
Der daraufhin erhobene Rekurs (betreffend Staatssteuer), welcher auch die direkte Bundessteuer einschloss und deshalb ebenfalls als Beschwerde entgegengenommen wurde, wurde mit Urteil des Kantonalen Steuergerichts Solothurn vom 6. April 2021 abgewiesen.
C.
Mit "Beschwerde" betreffend die Staatssteuer und die direkte Bundessteuer 2019 vom 4. Juni 2021 an das Bundesgericht beantragt A._ (Beschwerdeführer oder Steuerpflichtiger) die Aufhebung des vorinstanzlichen Urteils (Rechtsbegehren Ziff. 1.1). Die Veranlagungsbehörde und die Vorinstanz seien zu rügen wegen Verletzung des Völkerrechts, Verletzung des Bundesrechts, Verletzung der Grundrechts auf Eigentum sowie Verletzung des Grundrechts auf ein faires Verfahren (Rechtsbegehren Ziff. 1.2). Es sei eine neue Veranlagung zu erstellen. In der Steuerausscheidung sei das Abkommen zwischen der Schweizerischen Eidgenossenschaft und der Bundesrepublik Deutschland zur Vermeidung der Doppelbesteuerung auf dem Gebiete der Steuern vom Einkommen und vom Vermögen (Doppelbesteuerungsabkommen, DBA) zu beachten. Dies schliesse eine Verlustverrechnung von Liegenschaftskosten und Schuldzinsen zwischen den beiden Ländern aus. Die strittigen Liegenschaftskosten seien voll zum Abzug zuzulassen (Rechtsbegehren Ziff. 1.3). Die Kosten des Verfahrens trage der Staat (Rechtsbegehren Ziff. 1.4).
D.
Die Vorinstanz, das Steueramt des Kantons Solothurn (Steueramt) und die Eidgenössische Steuerverwaltung (ESTV) beantragen vernehmlassungsweise die Abweisung der Beschwerde, soweit darauf einzutreten sei.
Der Beschwerdeführer repliziert und stellt in diesem Rahmen folgendes, weiteres Rechtsbegehren (Ziff. 2) : Soweit das Bundesgericht sich mit der Klärung der Problematik vom Zusammenspiel der Verlegung von Gewinnungskostenüberschüssen und Schuldzinsenverlegung befasse, wie vom Beschwerdegegner nachgesucht (Ziff. II/15 der Vernehmlassung des Steueramts vom 29. Juli 2021), sei der Anteil der Verfahrenskosten, die auf diese Befassung entfallen würden, unabhängig vom Ausgang des Verfahrens nicht dem Beschwerdeführer aufzuerlegen.
Das Steueramt dupliziert.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid (<ref-law>) des Kantonalen Steuergerichts Solothurn in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (<ref-law> i.V.m. <ref-law> [SR 642.11] bzw. Art. 73 StHG [SR 642.14]). Der Beschwerdeführer ist durch das angefochtene Urteil besonders berührt und gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Das vom Beschwerdeführer eingereichte Rechtsmittel ist deshalb als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegen zu nehmen und auf das frist- und formgerecht eingereichte Rechtsmittel ist, unter Vorbehalt von E. 1.2 nachfolgend, einzutreten (Art. 42, Art. 100 Abs. 1 BGG).
1.2. Im Antrag bzw. Rechtsbegehren ist die gewünschte Rechtsfolge anzugeben (primär die Aufhebung des vorinstanzlichen Urteils und der angestrebte, reformatorischen Entscheid in der Sache; vgl. LAURENT MERZ, in: Niggli/Uebersax/Wiprächtiger/Kneubühler [Hrsg.], Basler Kommentar, Bundesgerichtsgesetz [Basler Kommentar BGG], 3. Aufl. 2018, N. 15 zu <ref-law>). In Ziff. 1.2 Rechtsbegehren formuliert der Beschwerdeführer jedoch die in der Beschwerde vorgebrachten, rechtlichen Rügen, was weder erforderlich noch zulässig ist. Auf das Rechtsbegehren Ziff. 1.2 (vgl. Bst. C oben) ist deshalb nicht einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>; <ref-ruling> E. 4.4.5) und verfügt es über volle Kognition (<ref-law>; <ref-ruling> E. 2). Es prüft die Anwendung des harmonisierten kantonalen Steuerrechts gleich wie Bundesrecht mit freier Kognition, jene des nicht-harmonisierten, autonomen kantonalen Rechts hingegen bloss auf Verletzung des Willkürverbots und anderer verfassungsmässiger Rechte (<ref-ruling> E. 2.1; <ref-ruling> E. 2). Die Verletzung von verfassungsmässigen Rechten prüft das Bundesgericht nur, wenn eine solche Rüge in der Beschwerde vorgebracht und ausreichend begründet worden ist. Es ist klar und detailliert anhand der Erwägungen des angefochtenen Urteils aufzuzeigen, inwiefern die entsprechenden Rechtsnormen verletzt worden sein sollen (<ref-law>; strenges Rügeprinzip bzw. qualifizierte Rüge- und Begründungspflicht). Andernfalls geht das Bundesgericht auf die Rüge nicht ein (<ref-ruling> E. 2.2 mit Hinweisen).
2.2. Willkür in der Rechtsanwendung liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 7.1; <ref-ruling> E. 4.3).
2.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig, das heisst willkürlich, sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>). Zudem hat die beschwerdeführende Partei aufzuzeigen, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.3.1; <ref-ruling> E. 1.4.1). Eine entsprechende Rüge ist substanziiert vorzubringen (vgl. E. 2.1 oben); auf rein appellatorische Kritik an der Sachverhaltsfeststellung geht das Gericht nicht ein (<ref-ruling> E. 2.3; <ref-ruling> E. 10.1).
3.
3.1. Strittig ist zunächst die Verlegung von Schuldzinsen nach Deutschland in der Steuerperiode 2019. Der Beschwerdeführer beanstandet, dass die Veranlagungsbehörde die Erträge aus der Liegenschaft in U._ "um eine Verlustverrechnung von Fr. 4'269.-- gekürzt" habe und der gleiche Betrag den Abzügen in Deutschland zugerechnet worden sei. Dadurch erhöhe sich das steuerbare Einkommen in der Schweiz um Fr. 4'269.--.
3.2. Das vorinstanzliche Urteil enthält diesbezüglich keine Zahlen. Diese ergeben sich aber aus den von der Vorinstanz beigezogenen und dem Bundesgericht vorgelegten Akten: Bezüglich der Staatssteuer wurden in der Steuerausscheidung die Grundstücke objektmässig der Schweiz bzw. Deutschland zugewiesen. Ebenso wurden Liegenschaftserträge und ein Gewinnungskostenüberschuss objektmässig zugeordnet. In Bezug auf sämtliche Aktiven ergab sich, dass 55.96 % derselben auf das schweizerischen Hauptsteuerdomizil (U._) und 44.04 % auf das Nebensteuerdomizil Deutschland entfielen. Die Schuldzinsen von total Fr. 8'041.-- wurden entsprechend proportional verteilt (U._: Fr. 4'500.--; Deutschland: Fr. 3'541.--). Die weitere Steuerausscheidung (Staatssteuer) lässt sich bezüglich der Schuldzinsen soweit relevant folgendermassen tabellarisch zusammenfassen:
U._/Schweiz (Fr.) Deutschland (Fr.) Liegenschaftsertrag netto 310.-- 12'816.-- Gewinnungskostenüberschuss ./. 79.-- 0.-- Schuldzinsen ./. 4'500.-- ./. 3'541.-- Saldo/Vermögensertrag netto 1 - 4'269.-- / 0.-- 9'275.-- zweite Schuldzinsenverlegung bzw. Abzug Schuldzinsenüberschuss ./. 4'269.-- Vermögensertrag netto 2 5'006.-- Steuerbares Einkommen nach weiteren Abzügen 126'003.-- 4'678.-- Steuerbares Einkommen satzbestimmend 130'681
In Bezug auf die direkte Bundessteuer ist die Veranlagungsbehörde methodisch gleich vorgegangen, wobei hier aufgrund betraglicher Abweichungen - nachdem der Vermögensertrag netto 1 für U._ auf Null gestellt war - ein Schuldzinsenüberschuss von Fr. 2'965.-- (statt Fr. 4'269.--) dem Nebensteuerdomizil Deutschland zugewiesen wurde. Schliesslich resultierte für die Steuerperiode 2019 bezüglich der direkten Bundessteuer ein steuerbares Einkommen von Fr. 126'323.-- bzw. satzbestimmend Fr. 132'235.-- (steuerbares Einkommen Deutschland: Fr. 5'912.--).
3.3. Der Beschwerdeführer rügt eine Verletzung von Art. 6 und Art. 24 Abs. 2 Ziff. 1 des Abkommens vom 11. August 1971 zwischen der Schweizerischen Eidgenossenschaft und der Bundesrepublik Deutschland zur Vermeidung der Doppelbesteuerung auf dem Gebiete der Steuern vom Einkommen und vom Vermögen (DBA CH-DE; SR 0.672.913.62). Er bringt im Wesentlichen vor, die genannten Bestimmungen des DBA liessen eine Schuldzinsenverlegung nicht zu. Deutschland gewähre den Abzug dieser Schuldzinsen nicht und in der Schweiz werde das steuerbare Einkommen unzulässigerweise erhöht. Das vorinstanzliche Urteil sei deshalb völkerrechtswidrig.
3.4. Die Vorinstanz hat erwogen, Schuldzinsen seien vom Vermögensertrag abzuziehen. Wenn ein Schuldzinsenüberschuss bestehe, sei dieser bei Grundstücken des Privatvermögens auf jene weiteren Steuerdomizile zu verteilen, welche nach der ersten Schuldzinsenverlegung noch über einen Nettovermögensertrag verfügten. Diese Grundsätze des interkantonalen Steuerrechts seien auf das internationale Steuerrecht zu übertragen, weshalb die Schuldzinsenzuweisung an Deutschland zulässig sei. Eine Verletzung des DBA CH-DE sei nicht erkennbar.
3.5. Jedem Staat steht es aufgrund seiner Souveränität frei, sein eigenes Steuersystem zu etablieren und zu gestalten. Zunächst ist deshalb zu prüfen, ob gemäss internem Steuerrecht eine Besteuerungsgrundlage bzw. einschlägige Steuerregeln bestehen. Trifft dies zu, ist weiter zu prüfen, ob diese eingeschränkt werden durch Bestimmungen internationaler Doppelbesteuerungsabkommen, welche eine (internationale) Doppelbesteuerung begrenzen oder eliminieren wollen. Diese Abkommen schränken somit den staatlichen Steueranspruch ein, vermögen aber keine neuen Steuernormen zu begründen oder bestehende Steuernormen auszuweiten, und stellen insofern Kollisionsrecht dar (<ref-ruling> E. 5.1; Urteil 2C_18/2014 vom 15. Januar 2015 E. 4.4.1; vgl. auch Urteile 2C_187/2020 vom 9. Juli 2020 E. 4.5.2; 2C_585/2012, 2C_586/2012 vom 6. März 2014 E. 2.4, nicht publ. in: <ref-ruling>; LOCHER/MARANTELLI/OPEL, Einführung in das internationale Steuerrecht der Schweiz, 4. Aufl. 2019, S. 45 f.).
3.6. Das StHG enthält keine Regelung bezüglich internationaler Steuerausscheidung, insbesondere keine mit <ref-law> (vgl. E. 3.10 unten) vergleichbare Bestimmung (<ref-ruling> E. 8; Urteile 2C_646/2021 vom 7. Oktober 2021 E. 3.2.1; 2C_404/2017 vom 10. Mai 2017 E. 4). Jedoch hat der solothurnische Gesetzgeber eine Regelung getroffen. Gemäss § 11 Abs. 3 des Gesetzes über die Staats- und Gemeindesteuern des Kantons Solothurn vom 1. Dezember 1985 (StG/SO; BGS 614.11) wird die Steuerpflicht insbesondere für Grundstücke "im Verhältnis zu anderen Kantonen und zum Ausland nach den Grundsätzen des Bundesrechts über das Verbot der interkantonale Doppelbesteuerung abgegrenzt. Im Verhältnis zum Ausland bleiben die Doppelbesteuerungsabkommen und Absatz 4 vorbehalten."
3.7. Gemäss den auf der Basis von <ref-law> (Verbot der interkantonalen Doppelbesteuerung) entwickelten, bundesrechtlichen Regeln sind Grundstücke objektmässig auszuscheiden und dem Ort der gelegenen Sache zuzuweisen. Die Schulden werden proportional nach Lage aller (Brutto-) Aktiven auf die Steuerdomizile verlegt. Die entsprechende Quote kommt auch bei der Verlegung der Schuldzinsen auf die verschiedenen Steuerdomizile zum Tragen (Urteile 2C_646/2021 vom 7. Oktober 2021 E. 3.2.2; 2C_404/2017 vom 10. Mai 2017 E. 3.2.1 mit Hinweisen). Schuldzinsen werden als besondere Belastung des Vermögensertrages betrachtet und sind in erster Linie von diesem abzuziehen. Wenn sich bei einem Steuerdomizil nach Abzug der Schuldzinsen von dem diesem Steuerdomizil zugewiesenen Nettovermögensertrag ein Schuldzinsenüberschuss ergibt, erfolgt eine weitere Verlegung. Bei Grundstücken des Privatvermögens ist der Schuldzinsenüberschuss auf jene anderen Steuerdomizile zu verlegen bzw. zu verteilen, die - nach der ersten Schuldzinsenverlegung - noch über Nettovermögenserträge verfügen, und von Letzteren abzuziehen (Verlegungskaskade; <ref-ruling> E. 4; Urteile 2C_23/2019 vom 29. Januar 2019 E. 3.2.2, 3.2.4; ROMAN SIEBER, in: Zweifel/Beusch/de Vries Reilingh [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, Interkantonales Steuerrecht, 2. Auf. 2021, § 25 N. 31 f.; PETER LOCHER, Einführung in das interkantonale Steuerrecht, 4. Aufl. 2015, S. 82).
3.8. Das vorinstanzliche Urteil folgt der vorgenannten Methodik. Aus Sicht des Beschwerdeführers besteht jedoch ein Widerspruch zu Art. 6 und Art. 24 Abs. 2 Ziff. 1 DBA CH-DE.
Gemäss Art. 6 Abs. 1 DBA CH-DE können Einkünfte aus unbeweglichem Vermögen in dem Vertragsstaat besteuert werden, in dem dieses Vermögen liegt. Damit wird zum Ausdruck gebracht, dass Einkünfte aus Grundstücken im Belegenheitsstaat als Quellenstaat besteuert werden können (vgl. zum entsprechenden Art. 6 Abs. 1 OECD-Musterabkommen NATALIE PETER, in: Zweifel/Beusch/Matteotti, Kommentar zum Schweizerischen Steuerrecht, Internationales Steuerrecht, 2015 [Kommentar Internationales Steuerrecht], N. 9 zu Art. 6 OECD-MA). Art. 24 Abs. 2 Ziff. 1 DBA CH-DE legt im Wesentlichen fest, dass - um eine Doppelbesteuerung von in der Schweiz ansässige Personen zu vermeiden - Einkünfte aus oder Vermögen in Deutschland von der schweizerischen Besteuerung freigestellt werden, wobei diese freigestellten Steuerfaktoren für die Festlegung des (schweizerischen) Steuersatzes einbezogen werden können (sogenannte Freistellung mit Progressionsvorbehalt; Urteil 2C_698/2015, 2C_699/2015 vom 29. August 2016 E. 3.2.2; zum vergleichbaren Art. 25 lit. B Abs. 1 Satz 1 des Abkommens vom 9. September 1966 zwischen der Schweiz und Frankreich zur Vermeidung der Doppelbesteuerung auf dem Gebiet der Steuern vom Einkommen und vom Vermögen und zur Vermeidung von Steuerbetrug und Steuerflucht [DBA CH-FR; SR 0.672.934.91] vgl. Urteil 2C_585/2012, 2C_586/2012 vom 6. März 2014 E. 2.3, nicht publ. in: <ref-ruling>). Das DBA CH-DE enthält jedoch keine Bestimmung, wie Schulden und Schuldzinsen aus unbeweglichem Vermögen im internationalen Verhältnis zu verteilen sind (Urteil 2C_646/2021 vom 7. Oktober 2021 E. 3.2.3; LOCHER/MEIER/VON SIEBENTHAL/KOLB, Doppelbesteuerungsabkommen Schweiz-Deutschland, Stand Lieferung 56/2021, B 6.1 (7); zum insofern gleichlautenden DBA CH-FR vgl. <ref-ruling> E. 5.2; Urteil 2C_891/2018 vom 30. Oktober 2018 E. 3.2.3). Jedenfalls schliessen weder Art. 6 noch Art. 24 Abs. 2 Ziff. 1 DBA CH-DE eine entsprechende Schuldzinsenverlegung aus.
3.9. Folglich kommt das genannte interne Recht (vgl. E. 3.6 f. oben) zur Anwendung. Dieses ermöglicht eine Verlegung des aus dem schweizerischen Grundstück resultierenden Schuldzinsenüberschusses nach Deutschland und damit einen - zumindest aus schweizerischer Sicht - Abzug vom Nettoertrag des deutschen Grundstückes. Entgegen dem Beschwerdeführer steht dies mangels anderweitiger Regelung im DBA CH-DE nicht im Widerspruch zu diesem DBA. Ebenso wenig spielt es entgegen dem Beschwerdeführer eine Rolle, wenn dieser Abzug nach deutschem Steuerrecht nicht gewährt wird. Eine allfällige Doppelbesteuerung ist als Folge von unterschiedlichen Steuersystemen der beiden Länder hinzunehmen und von der Schweiz nicht zu vertreten (Urteil 2C_646/2021 vom 7. Oktober 2021 E. 3.2.4; LOCHER/MEIER/VON SIEBENTHAL/KOLB, a.a.O., B 6.1 (7)). Das allgemeine Völkerrecht kennt zudem kein Verbot der internationalen Doppelbesteuerung (MATTEOTTI/HORN, in: Kommentar Internationales Steuerrecht, Einleitung N. 25).
Das angefochtene Urteil erweist sich damit - soweit die Staatssteuer betreffend - als völkerrechts- und bundesrechtskonform.
3.10. In Bezug auf die direkte Bundessteuer verweist <ref-law> bezüglich Abgrenzung der Steuerpflicht im Verhältnis zum Ausland ebenfalls auf die bundesrechtlichen Grundsätze des Verbots der interkantonalen Doppelbesteuerung (<ref-law>), wobei die Doppelbesteuerungsabkommen vorbehalten bleiben (<ref-law>). Es kann demnach auf das unter E. 3.7 - 3.9 Gesagte verwiesen werden. Auch bezüglich der direkten Bundessteuer ist bei Grundstücken des Privatvermögens der Schuldzinsenüberschuss auf jene anderen Steuerdomizile zu verlegen, die nach der ersten Schuldzinsenverlegung noch über Nettovermögenserträge verfügen, und von Letzteren abzuziehen. Weder Art. 6 Abs. 1 noch Art. 24 Abs. 2 Ziff. 1 DBA CH-DE stehen dem entgegen; vielmehr enthält das DBA CH-DE keine Bestimmung, wie Schulden und Schuldzinsen aus unbeweglichem Vermögen im internationalen Verhältnis zu verteilen sind. Demzufolge ist auch im Rahmen der direkten Bundessteuer eine Verlegung des aus dem schweizerischen Grundstück resultierenden Schuldzinsenüberschusses nach Deutschland und damit ein Abzug vom Nettoertrag des deutschen Grundstückes zulässig. Das vorinstanzliche Urteil erweist sich somit auch bezüglich der direkten Bundessteuer als völkerrechts- und bundesrechtskonform.
4.
4.1. Im Weiteren rügt der Beschwerdeführer im Zusammenhang mit der Verlegung des Schuldzinsenüberschusses eine Verletzung des Willkürverbots (<ref-law>), von Treu und Glauben, des Grundrechts auf ein faires Verfahren und der Eigentumsgarantie.
4.2. Nachdem sich ergeben hat, dass die Vorinstanz das DBA CH-DE nicht verletzt, das interne Steuerrecht korrekt angewendet hat und das angefochtene Urteil insoweit völkerrechts- und bundesrechtskonform ist, besteht für eine offensichtlich unhaltbare bzw. willkürliche Rechtsanwendung (vgl. E. 2.2 oben) von vornherein kein Raum. Die entsprechende Rüge erweist sich damit als unberechtigt.
4.3. Der Grundsatz von Treu und Glauben (Art. 5 Abs. 3 und <ref-law>) verleiht Rechtssuchenden unter gewissen Umständen Anspruch auf Schutz ihres Vertrauens auf die Richtigkeit behördlichen Handelns. Letzteres stellt, sofern gewisse Voraussetzungen erfüllt sind, eine Vertrauensgrundlage dar, auf welche sich der Rechtssuchende berufen kann (vgl. dazu <ref-ruling> E. 5.1.1 mit Hinweisen; <ref-ruling> E. 5.2.1). Vorliegend wird vom Beschwerdeführer eine entsprechende Vertrauensgrundlage weder behauptet noch begründet. Demnach ist auf die Rüge der Verletzung von Treu und Glauben mangels substanziierter Begründung (vgl. E. 2.1 oben) nicht weiter einzugehen.
4.4. Der vom Beschwerdeführer angerufene Grundsatz der Verfahrensfairness (<ref-law>) umfasst verschiedene Teilgehalte, insbesondere das Verbot der Rechtsverweigerung, das Verbot des überspitzten Formalismus und das Beschleunigungsgebot (vgl. dazu <ref-ruling> E. 3.1; <ref-ruling> E. 7.1; <ref-ruling> E. 4.2). Der Beschwerdeführer legt nicht dar, inwiefern der Grundsatz der Verfahrensfairness verletzt worden sein soll. Auch auf diese Rüge ist mangels substanziierter Begründung (vgl. E. 2.1 oben) nicht weiter einzugehen.
4.5. Bezüglich Eigentumsgarantie (<ref-law>) beschränkt sich der Beschwerdeführer darauf, auszuführen, eine unzulässige bzw. (replikweise) widerrechtliche Besteuerung verletze das Grundrecht auf Eigentum. Vorliegend hat sich jedoch ergeben, dass die Besteuerung gemäss angefochtenem Urteil zulässig ist. Damit entfällt selbst nach der Argumentation des Beschwerdeführers die Grundlage für eine Verletzung der Eigentumsgarantie. Weitere substanziierte Ausführungen, inwiefern die Eigentumsgarantie verletzt worden sein soll, sind der vorliegenden Beschwerde nicht zu entnehmen, weshalb auf die entsprechende Rüge ebenfalls nicht weiter einzugehen ist.
5.
Weiterer Gegenstand der Beschwerde ist der Abzug von Liegenschaftskosten.
Diesbezüglich ist unbestritten, dass der Beschwerdeführer die Küche seiner selbstbewohnten Liegenschaft in U._ in Eigenleistung "erneuert" bzw. "renoviert" und für diese Arbeiten Maschinen, Geräte und Werkzeuge erworben und eingesetzt hat. In der Steuererklärung (Steuerperiode 2019) hat er den Abzug von Liegenschaftskosten im Betrag von Fr. 5'588.-- geltend gemacht. Davon entfielen Fr. 1'122.-- auf Maschinen, Geräte und Werkzeuge bzw. gemäss Steuererklärung auf "Werkzeuge". Dieser Betrag wurde von der Veranlagungsbehörde (in Bezug auf die Staatssteuer und die direkte Bundessteuer) nicht zum Abzug zugelassen; Letzterer wurde nur bis zum Betrag von Fr. 4'466.-- (für die Staatssteuer und direkte Bundessteuer) gewährt.
Strittig ist, ob die Kosten für den Erwerb der Maschinen, Geräte und Werkzeuge, welche für die "Erneuerung" der Küche verwendet wurden (wobei es nicht um Küchengeräte oder -einrichtungen wie Backöfen oder Kühlschränke geht, sondern um Werkzeuge und Baumaschinen/-geräte, nachfolgend gesamthaft als "Werkzeug" bezeichnet), als Liegenschaftskosten abgezogen werden können.
5.1. Im Rahmen der direkten Bundessteuer können bei Liegenschaften im Privatvermögen unter anderem die Unterhaltskosten abgezogen werden (<ref-law>). Als Unterhaltskosten gelten jene Aufwendungen, die dazu dienen, den konkreten Nutzungswert eines Wirtschaftsguts in einer Liegenschaft zu erhalten, instand zu stellen oder ihn zu ersetzen (Urteil 2C_582/2021 vom 29. November 2021 E. 2.1). Generell nicht abziehbar sind demgegenüber gemäss <ref-law> die "übrigen Kosten und Aufwendungen", insbesondere (lit. d) "die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen." Reparaturen und Renovationen haben praxisgemäss werterhaltenden Charakter, ebenso der Ersatz veralteter Kücheneinrichtungen und -geräte (Kühlschrank, etc.) durch zeitgemässe Einrichtungen und Geräte (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 3. Aufl. 2016, N. 37, 41, 85 zu <ref-law>; PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, I. Teil, 2. Aufl. 2019, N. 26 zu <ref-law>).
Bei von der steuerpflichtigen Person selbst genutzten Liegenschaften sind zudem nur diejenigen Kosten als Unterhaltskosten abzugsfähig, welche mit dem (steuerbaren) Eigenmietwert in unmittelbarem Zusammenhang stehen (Urteile 2C_1003/2017 vom 21. Juni 2018 E. 5.1; 2C_434/2017 vom 4. April 2018 E. 4.2). Der Eigenmietwert entspricht dem Wohnwert, d.h. dem Betrag, den die steuerpflichtige Person für die Benützung einer gleichartigen Wohnung aufwenden müsste (vgl. § 28 Abs. 1 StG/SO). Die Unterhaltskosten müssen sich mit anderen Worten im Eigenmietwert bzw. Wohnwert niederschlagen (Urteil 2C_393/2012 vom 8. November 2012 E. 2.2; RICHNER/FREI/KAUFMANN/MEUTER, a.a.O., N. 36 zu <ref-law>). Die Kosten für die (erstmalige) Anschaffung von Vermögensgegenständen stellen dagegen keine Unterhaltskosten dar (vgl. <ref-law>), weil sie nicht dazu dienen, die normale Abnutzung einer Sache durch deren Gebrauch auszugleichen und damit den ursprünglichen Zustand (vor der Abnutzung) zu erhalten (Urteile 2C_1003/2017 vom 21. Juni 2018 E. 5.1; 2C_434/2017 vom 4. April 2018 E. 4.2). Vielmehr geht es darum, einen Vermögensgegenstand überhaupt erst zu erlangen (Urteil 2C_534/2018 vom 27. September 2019 E. 3.2).
5.2. Der Beschwerdeführer macht im Wesentlichen geltend, die Kosten für die Werkzeuge seien als Unterhaltskosten zum Abzug zuzulassen. Auch sei nicht ersichtlich, weshalb Ersatzbeschaffungen für Geräte wie Waschmaschinen, Boiler und Geschirrspüler zum Abzug zugelassen würden, nicht aber Werkzeuge, obwohl in beiden Fällen kein Vermögensabgang, sondern eine Vermögensumschichtung stattfinde. Er rügt damit sinngemäss eine Verletzung von Art. 32 Abs. 2 und <ref-law>.
5.3. Die Vorinstanz hat bezüglich der direkten Bundessteuer im Wesentlichen erwogen, zu den Unterhaltskosten gehörten die eigentlichen Reparatur- und Renovationskosten. Ausserdem könnten die Kosten für Ersatzanschaffungen von Geräten, welche fest mit dem Gebäude verbunden seien wie Waschmaschinen, abgezogen werden. Die Kosten für die Anschaffung von Mobilien wie Werkzeugen könnten nicht unter die vorgenannten Kosten subsumiert werden, selbst wenn diese Werkzeuge für den Unterhalt eingesetzt würden. Vielmehr handle es sich dabei um Vermögensgegenstände im Sinne von <ref-law>.
5.4. Die Kosten für den Erwerb der Werkzeuge selbst, auch wenn diese für Renovationsarbeiten eingesetzt werden, dienen nicht dem Werterhalt der Liegenschaft. Zudem schlagen sie sich nicht im Wohnwert bzw. Eigenmietwert der Liegenschaft nieder, sodass es am unmittelbaren Zusammenhang mit dem Eigenmietwert fehlt. Es handelt sich auch nicht um Ersatzbeschaffungen für Vermögensgegenstände wie veraltete Kücheneinrichtungen oder -geräte. Vielmehr ist der Erwerb von Werkzeugen als Anschaffung von Mobilien bzw. Vermögensgegenständen im Sinne von <ref-law> zu qualifizieren, weshalb die entsprechenden Kosten von Fr. 1'122.-- nicht als Unterhaltskosten abgezogen werden können.
Das angefochtene Urteil erweist sich insofern als bundesrechtskonform.
6.
6.1. Auch in Bezug auf den Abzug der strittigen Kosten für Werkzeuge rügt der Beschwerdeführer eine Verletzung des Willkürverbots (<ref-law>), von Treu und Glauben, des Grundrechts auf ein faires Verfahren und der Eigentumsgarantie.
6.2. Nachdem sich ergeben hat, dass die Vorinstanz die Werkzeugkosten zu Recht nicht zum Abzug (als Liegenschafts- bzw. Unterhaltskosten) zugelassen bzw. Art. 32 Abs. 2 und <ref-law> bundesrechtskonform angewendet hat, besteht für eine offensichtlich unhaltbare bzw. willkürliche Rechtsanwendung (vgl. E. 2.2 oben) von vornherein kein Raum. Die entsprechende Rüge erweist sich damit als unberechtigt.
6.3. In Bezug auf die Verletzung von Treu und Glauben, des Grundrechts auf ein faires Verfahren und der Eigentumsgarantie begründet der Beschwerdeführer nicht, inwiefern diese Grundrechte verletzt worden sein sollen (vgl. auch E. 4.3 f. oben). Mangels substanziierter Begründung (vgl. E. 2.1 oben) ist demnach auf die genannten Rügen nicht weiter einzugehen.
7.
7.1. Im Hinblick auf die Staatssteuer ist festzuhalten, dass das Reineinkommen harmonisierungsrechtlich im Wesentlichen gleich ermittelt wird wie im Rahmen der direkten Bundessteuer, indem Abzüge für Kosten und allgemeine Abzüge vorgenommen werden können (vgl. Art. 9 StHG). In Bezug auf Liegenschaften im Privatvermögen können neben weiteren, hier nicht interessierenden Kosten, Unterhaltskosten abgezogen werden. Andere Abzüge sind nicht zulässig (Art. 9 Abs. 3 Satz 1, Art. 9 Abs. 4 StHG). Das Harmonisierungsrecht lässt demnach den Kantonen bezüglich des Begriffs der Unterhaltskosten und betreffend die Anschaffungskosten für Vermögensgegenstände keinen Spielraum und es ist vom selben Verständnis auszugehen wie bei der direkten Bundessteuer (vgl. Art. 32 Abs. 2 und <ref-law>; vgl. Urteile 2C_242/2020 vom 23. September 2020 E. 2.1 f.; 2C_1003/2017 vom 21. Juni 2018 E. 6; 2C_384/2013, 385/2013 vom 25. Oktober 2013 E. 3.1). Der Wortlaut der einschlägigen Bestimmungen des StG/SO entspricht denn auch dem vorgegebenen Rahmen: Gemäss § 39 Abs. 3 StG/SO können bezüglich Liegenschaften des Privatvermögens (neben weiteren, hier nicht relevante Kosten) die Unterhaltskosten abgezogen werden. Laut § 41 (Titel: "Allgemeine Abzüge") Abs. 4 StG/SO sind dagegen nicht abziehbar die übrigen Kosten und Aufwendungen, insbesondere "die Aufwendungen für die Anschaffung [...] von Vermögensgegenständen."
7.2. Bezüglich des Abzug der strittigen Kosten kann demnach betreffend die Staatssteuer (Steuerperiode 2019) auf das zur direkten Bundessteuer Gesagte verwiesen werden (vgl. E. 5.1 - 5.4 oben). Dasselbe gilt auch bezüglich der verschiedenen, in diesem Zusammenhang ins Feld geführten Grundrechtsverletzungen (vgl. E. 6 oben).
8.
8.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich demnach als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
8.2. Da sich das Bundesgericht vorliegend nicht wie vom Steueramt vernehmlassungsweise angeregt zu einem bestimmten Punkt in Form eines obiter dictum geäussert hat, erweist sich das Rechtsbegehren Ziff. 2 (vgl. Bst. D oben) als gegenstandslos. Entsprechend dem vorliegenden Verfahrensausgang sind die Gerichtskosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65, Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird hinsichtlich der direkten Bundessteuer abgewiesen, soweit darauf einzutreten ist.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird hinsichtlich der Staatssteuer abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten des bundesgerichtlichen Verfahrens von Fr. 1'300.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung mitgeteilt.
Lausanne, 16. März 2022
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: F. Aubry Girardin
Der Gerichtsschreiber: C. Quinto