Erwägungen:
1.
Das Amtsgericht Dorneck-Thierstein stellte im Urteil vom 6. Juli 2015 fest, dass der Beschwerdeführer am 13. August 2013 seinem Bruder A._ vorsätzlich mit einer Schrotflinte in den Bauch schoss; dieser sei noch am gleichen Tag seinen Verletzungen erlegen. Es erklärte den Beschwerdeführer für die vorsätzliche Tötung seines Bruders für schuldunfähig und ordnete eine stationäre Massnahme im Sinne von Art. 59 StGB an. Zudem verpflichtete es ihn, folgende Genugtuungszahlungen zu leisten: Fr. 60'000.-- an die Lebensgefährtin des Opfers B._, Fr. 10'000.-- an deren Sohn und Fr. 15'000.-- bzw. 5'000.-- an die Geschwister des Opfers. Das Obergericht des Kantons Solothurn bestätigte auf Berufung des Beschwerdeführers am 8. Dezember 2016 das erstinstanzliche Urteil.
Der Beschwerdeführer gelangt mit Beschwerde in Strafsachen an das Bundesgericht.
2.
Die Sachverhaltsfeststellung der Vorinstanz kann vor Bundesgericht nur gerügt werden, wenn sie offensichtlich unrichtig bzw. willkürlich im Sinne von Art. 9 BV ist (Art. 97 Abs. 1 BGG; BGE 141 IV 317 E. 5.4 S. 324 mit Hinweisen). Die Rüge der Willkür muss in der Beschwerde explizit vorgebracht und substanziiert begründet werden (Art. 106 Abs. 2 BGG). Das Bundesgericht stellt insoweit hohe Anforderungen. Auf eine rein appellatorische Kritik am angefochtenen Entscheid, wie sie z.B. im Berufungsverfahren vor einer Instanz mit voller Kognition vorgebracht werden kann, tritt das Bundesgericht nicht ein (BGE 141 IV 369 E. 6.3 S. 375, 317 E. 5.4 S. 324; je mit Hinweisen).
3.
Nicht eingetreten werden kann auf die Beschwerde, soweit der Beschwerdeführer geltend macht, er habe in Notwehr gehandelt und er sei nicht schuldunfähig. Seine diesbezüglichen Ausführungen sind grösstenteils schwer verständlich, gehen an der Sache vorbei oder betreffen nicht die Frage der Notwehr. So zweifelt der Beschwerdeführer beispielsweise an, dass das Opfer wie im Untersuchungsbericht vermerkt schlechte Leberwerte hatte, was für die Frage der Notwehr offensichtlich unerheblich ist. Inwiefern die Vorinstanz in Willkür verfallen sein könnte, weil sie eine Notwehrsituation verneinte, zeigt der Beschwerdeführer nicht auf.
4.
Der Beschwerdeführer beantragt eine Haaranalyse von sich und seinen Geschwistern sowie "einen 100%-igen Beweis, dass der Tote auch wirklich Ernst sei" (Beschwerde S. 10). Er wirft seiner amtlichen Verteidigerin im vorinstanzlichen Verfahren weiter vor, sie habe ihn ungenügend verteidigt, weil sie den Hausarzt des Opfers nicht kontaktiert habe. Sein Bruder habe an einem Herzfehler gelitten, was im Gutachten jedoch nicht erwähnt werde.
Nicht ersichtlich ist, welche rechtserheblichen Beweise der Beschwerdeführer damit erbringen könnte, da nicht ernsthaft angezweifelt werden kann, dass es sich beim Toten um den Bruder des Beschwerdeführers handelte. Die Vorinstanz durfte die Beweisanträge ohne Willkür abweisen. Anhaltspunkte, dass der Beschwerdeführer im vorinstanzlichen Verfahren ungenügend verteidigt war, ergeben sich aus den Vorbringen des Beschwerdeführers nicht.
5.
Der Beschwerdeführer ficht die Genugtuungsforderungen der Privatkläger an. Er macht geltend, B._ sei mit dem Opfer nicht verheiratet gewesen. Damit verkennt er, dass nach der Rechtsprechung im Falle einer Tötung ein Genugtuungsanspruch nach Art. 47 OR auch bei einem stabilen Konkubinatsverhältnis gegeben sein kann (BGE 138 III 157 E. 2).
Der Beschwerdeführer bringt sodann vor, er habe auf seinen Erbanspruch an der Liegenschaft des Opfers verzichtet, so dass B._ nun in Besitz des Hauses sei. Darauf ist nicht einzutreten, da den Akten nicht entnommen werden kann, dass der Beschwerdeführer dies bereits im vorinstanzlichen Verfahren geltend machte (vgl. Plädoyer S. 8 f.). Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Eine weitere Begründung, weshalb die Genugtuungsforderungen abzuweisen gewesen wären, kann der Beschwerde nicht entnommen werden. Diese genügt insofern den gesetzlichen Begründungsanforderungen von Art. 42 Abs. 2 BGG nicht, weshalb darauf nicht weiter einzugehen ist.
6.
Eventualiter beantragt der Beschwerdeführer sinngemäss eine Verwahrung nach Art. 64 StGB (Beschwerde S. 9 unten). Dabei handelt es sich um ein neues Begehren, das vor Bundesgericht nicht zulässig ist (Art. 99 Abs. 2 BGG). Darauf ist nicht einzutreten.
7.
Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Strafkammer, schriftlich mitgeteilt.
Lausanne, 24. März 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Unseld