Sachverhalt:
A.
Am 7. Dezember 2015 sprach das Amtsgericht Thal-Gäu X._ der versuchten schweren Körperverletzung, des Diebstahls, der Sachbeschädigung, des mehrfachen Hausfriedensbruchs, alles begangen zum Nachteil von A._, des Vergehens gegen das Betäubungsmittelgesetz, des Vergehens gegen das Waffengesetz, der einfachen Körperverletzung zum Nachteil von B._, der mehrfachen Übertretung des Betäubungsmittelgesetzes und der Übertretung des Bundesgesetzes über Ausländerinnen und Ausländer schuldig. Es verurteilte ihn unter Anrechnung der erstandenen Haft zu 40 Monaten Freiheitsstrafe sowie zu einer Busse von Fr. 250.-- und ordnete eine stationäre therapeutische Massnahme an, zu deren Gunsten es den Vollzug der Freiheitsstrafe aufschob. Das Amtsgericht widerrief den bedingten Vollzug zweier Geldstrafen und sprach den durch Körperverletzungen Geschädigten eine Genugtuung sowie Parteientschädigungen zu.
Auf Berufung von X._ hin bestätigte das Obergericht des Kantons Solothurn am 5. September 2016 das erstinstanzliche Urteil in den angefochtenen Punkten.
B.
Mit Beschwerde in Strafsachen beantragt X._, er sei der einfachen Körperverletzung schuldig zu sprechen und zu maximal 18 Monaten Freiheitsstrafe zu verurteilen. Die Genugtuung und erstinstanzliche Parteientschädigung an A._ sowie die diesbezüglichen Verfahrenskosten seien zu reduzieren. Von einer stationären Massnahme sowie der Auflage von Kosten und Parteienschädigung im Berufungsverfahren sei abzusehen. Eventualiter bzw. subeventualiter sei die Sache zu neuer Beurteilung an das Obergericht zurückzuweisen. X._ ersucht um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren.

Erwägungen:
1.
Der Beschwerdeführer kritisiert die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung.
1.1. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser ist offensichtlich unrichtig oder beruht auf einer Rechtsverletzung im Sinne von Art. 95 BGG (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Offensichtlich unrichtig ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.3.1). Willkür liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist oder mit der tatsächlichen Situation in klarem Widerspruch steht. Dass eine andere Lösung oder Würdigung ebenfalls vertretbar oder gar zutreffender erscheint, genügt für die Annahme von Willkür nicht. Erforderlich ist, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 1.2 mit Hinweisen). Die Willkürrüge muss explizit vorgebracht und substanziiert begründet werden (Art. 106 Abs. 2 BGG). Auf ungenügend begründete Rügen oder allgemeine appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E. 1.3.1; <ref-ruling> E. 6.3, 317 E. 5.4; je mit Hinweisen).
Was der Täter wusste, wollte und in Kauf nahm, betrifft sogenannte innere Tatsachen und ist damit Tatfrage. Als solche prüft sie das Bundesgericht nur unter dem Gesichtspunkt der Willkür (Art. 9 BV; Art. 97 Abs. 1 BGG; <ref-ruling> E. 6.3; <ref-ruling> E. 4.2.3). Dem Grundsatz "in dubio pro reo" kommt als Beweiswürdigungsregel im Verfahren vor Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende Bedeutung zu (<ref-ruling> E. 7 mit Hinweisen). Als Beweislastregel besagt der Grundsatz, dass es Sache der Anklagebehörde ist, die Schuld des Angeklagten zu beweisen. Der Grundsatz ist verletzt, wenn das Gericht einen Angeklagten (einzig) mit der Begründung verurteilt, er habe seine Unschuld nicht nachgewiesen. Dies prüft das Bundesgericht mit freier Kognition (Urteil 6B_661/2016 vom 23. Februar 2017 E. 1.2 mit Hinweis).
1.2. Die Vorinstanz erachtet als erstellt, dass der Beschwerdeführer nach einer verbalen Auseinandersetzung mit dem Beschwerdegegner 2 diesem mindestens viermal mit voller Kraft die Faust ins Gesicht schlug, worauf der Beschwerdegegner 2 bewusstlos mit dem Oberkörper auf einem Tisch zu liegen kam. Danach habe der Begleiter des Beschwerdeführers diesen von hinten festgehalten und der Beschwerdeführer habe versucht, dem Beschwerdegegner 2 mit einem auf dem Tisch liegenden, rund achtzehn Zentimeter langen Küchenmesser eine Ohrmuschel abzuschneiden. Dabei habe er dem Beschwerdegegner 2 einen sieben Zentimeter langen Schnitt im Bereich des Ohrs zugefügt und das Ohrläppchen teilweise abgetrennt. Anschliessend habe der Beschwerdeführer im Zweifel aus freien Stücken vom Beschwerdegegner 2 abgelassen.
1.3. Was der Beschwerdeführer gegen die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung vorbringt, belegt, soweit es den gesetzlichen Anforderungen genügt, keine Willkür.
1.3.1. Die Vorinstanz stützt sich bei ihrer Beweiswürdigung in erster Linie auf die Aussagen des Beschwerdeführers selbst sowie die medizinischen Akten. Dabei stellt sie nachvollziehbar auf die tatnächsten Aussagen, nicht auf die diese teilweise relativierenden späteren Angaben ab, welche sie überzeugend als zum Teil widersprüchlich bezeichnet.
Der Beschwerdeführer setzt sich damit nicht auseinander. Er bestreitet weder die mindestens vier Faustschläge gegen den Kopf des Beschwerdegegners 2 noch den darauf folgenden Schnitt im Bereich des Ohrs. Die Vorinstanz hält ihm zudem im Zweifel zugute, dass er danach freiwillig von seinem ursprünglichen Plan, dem Beschwerdegegner 2 das Ohr abzutrennen, damit sich dieser künftig daran erinnere, respektvoll mit anderen umzugehen, abgelassen hat. Es ist nicht ersichtlich, was der Beschwerdeführer daraus ableiten will, dass die Vorinstanz zu Unrecht annehme, sein Begleiter habe ihn noch während des Schnitts festgehalten. Abgesehen davon, dass sich dies aus ihren Erwägungen nicht eindeutig ergibt, leuchtet nicht ein, weshalb es den Beschwerdeführer mit Bezug auf den Vorwurf, er habe das Ohr des Beschwerdegegners 2 abschneiden wollen, entlasten soll, dass ihn sein Begleiter nach eigener Darstellung "nur" unmittelbar im Anschluss an die Schläge festgehalten hat. Unabhängig vom genauen Tatablauf ist der von der Vorinstanz als versuchte schwere Körperverletzung interpretierte Schnitt gegen das Ohr erstellt und aufgrund der Angaben des Beschwerdeführers erwiesen, dass er dieses abschneiden wollte. Selbst wenn die Vorinstanz aber ausdrücklich annehmen würde, der Beschwerdeführer sei auch während des Schnitts von seinem Begleiter festgehalten worden, wäre dies weder willkürlich noch würde es die Unschuldsvermutung verletzten. Der Beschwerdeführer weist in diesem Zusammenhang selber auf seine folgende Aussage hin: " Da A._ aber auf dem Tisch liegen blieb und mich C._ von hinten festhielt, nahm ich das Küchenmesser, welches auf dem Tisch lag und versuchte das Ohr abzuschneiden" (Beschwerde S. 15). Ferner ist ohne Belang, ob sein Begleiter ein Messer gesehen hat oder nicht. Eine willkürliche Beweiswürdigung ist nicht ersichtlich.
1.3.2. Die Vorinstanz verfällt auch nicht in Willkür, wenn sie annimmt, der Beschwerdeführer habe ausser der direkt beabsichtigten Verstümmelung eines Ohrs auch eine lebensgefährliche Verletzung des Beschwerdegegners 2 in Kauf genommen. Es ist unbestritten und erstellt, dass er das grosse und augenscheinlich scharfe Messer am Ohr des Beschwerdegegners 2 und somit in unmittelbarer Nähe zum Hals, mithin in einer besonders verletztlichen Körperregion angesetzt hat. Daher bestand die reale Gefahr einer lebensgefährlichen Verletzung. Diese Annahme ist auch dann nicht unhaltbar, wenn der Beschwerdeführer zu diesem Zeitpunkt nicht mehr von seinem Kollegen festgehalten worden sein sollte und der Beschwerdegegner 2 bewusstlos war. Er war unstreitig weiterhin schwer erregt und stand unter Einfluss von Testosteron, Alkohol und Cannabis. Es ist deshalb plausibel anzunehmen, er habe unter diesen Umständen keinen derart präzisen Schnitt ausführen können, dass er mit einer Lebensgefahr für den Beschwerdegegner 2 nicht hätte rechnen müssen. Er behauptet auch nicht, über besondere Erfahrung mit Messern zu verfügen. Dass der Schnitt nicht präzise war, zeigt sich nicht zuletzt daran, dass es dem Beschwerdeführer nicht gelang, das Ohr ganz abzutrennen. Es ist daher nachvollziehbar, wenn die Vorinstanz daraus schliesst, es habe sich um ein kaum kontrollierbares Geschehen mit entsprechender Gefahr für den Beschwerdegegner 2 gehandelt. Hätte der Beschwerdeführer das Messer so gezielt zum Einsatz bringen können, wie er behauptet, wäre die erlittene Verletzung ausgehend von der erstellten Absicht, das Ohr abzutrennen, nicht nachvollziehbar. Dies müsste erst Recht unter Zugrundelegung des von ihm behaupteten Sachverhalts gelten. Im Übrigen sagt auch der Beschwerdeführer, dass alles sehr schnell gegangen sei, was ebenfalls auf ein dynamisches Geschehen schliessen lässt. Von einer willkürlichen Beweiswürdigung kann keine Rede sein. Ebenso wenig davon, dass das medizinische Gutachten auf einer irrigen Annahme beruhen würde. Der darin gezogene Schluss, wonach sich die Schnitt- oder Stichführung im Rahmen einer dynamischen Auseinandersetzung nur ungenau steuern lasse und daher eine lebensgefährliche Verletzung gedroht habe, ist nachvollziehbar. Ein dynamisches Geschehen steht auch weder im Widerspruch zur Feststellung, dass der Beschwerdeführer nach dem ersten Schnitt freiwillig von einer Weiterverfolgung seines Ziels abgesehen hat, noch verletzt die Annahme die Unschuldsvermutung als Beweislast- oder Beweiswürdigungsregel.
Wenn der Beschwerdeführer vorbringt, er habe nie die Absicht gehabt, den Beschwerdegegner 2umzubringen, so verkennt er, dass ihm dies die Vorinstanz gar nicht vorwirft. Hingegen ist es angesichts der Dynamik des Geschehens, der Grösse des Messers und des Orts des Schnitts nicht zu beanstanden, dass sie annimmt, er habe eine lebensgefährliche Verletzung mindestens in Kauf genommen. Abgesehen davon ist dies für die Qualifikation als versuchte schwere Körperverletzung ohne Bedeutung, nachdem unbestritten ist, dass der Beschwerdeführer beabsichtigte, das Ohr des Beschwerdegegners 2abzutrennen und dies ebenfalls eine (versuchte) schwere Körperverletzung darstellt (dazu unten E. 2). Schliesslich leuchtet nicht ein, inwiefern es für den Vorsatz relevant sein soll, dass es effektiv zu keiner lebensgefährlichen Verletzung kam, der in Kauf genommene Erfolg mithin nicht eintrat.
2.
Der Beschwerdeführer rügt eine Verletzung von Bundesrecht, indem ihm die Vorinstanz zwar zugute halte, aus freien Stücken vom Beschwerdegegner 2 abgelassen zu haben, sie die Vorschriften über den freiwilligen Rücktritt vom Versuch der schweren Körperverletzung aber nicht diskutiere.
2.1. Gemäss Art. 122 StGB macht sich der schweren Körperverletzung schuldig, wer einen Menschen lebensgefährlich verletzt (Abs. 1), wer den Körper, ein wichtiges Organ oder Glied eines Menschen verstümmelt oder ein wichtiges Organ oder Glied unbrauchbar macht, einen Menschen bleibend arbeitsunfähig, gebrechlich oder geisteskrank macht, das Gesicht eines Menschen arg und bleibend entstellt (Abs. 2), oder wer eine andere schwere Schädigung des Körpers oder der körperlichen oder geistigen Gesundheit eines Menschen verursacht (Abs. 3).
Ein vollendeter Versuch nach Art. 22 Abs. 1 StGB liegt vor, wenn die strafbare Tätigkeit zu Ende geführt wird, aber der tatbestandsmässige Erfolg nicht eintritt. Die Abgrenzung des vollendeten vom unvollendeten Versuch ist auf der Grundlage des konkreten Tatplans vorzunehmen. Es ist zu fragen, ob der Täter alle Voraussetzungen geschaffen hat, die nach seinem Plan zum Eintritt des Erfolges hätten führen sollen. Führt der Täter aus eigenem Antrieb die strafbare Tätigkeit nicht zu Ende oder trägt er dazu bei, die Vollendung der Tat zu verhindern, so kann das Gericht die Strafe mildern oder von einer Bestrafung absehen (Art. 23 Abs. 1 StGB; Urteil 6B_239/2012 vom 1. Februar 2013 E. 2.2 mit Hinweis).
2.2. Die Einwände des Beschwerdeführers sind unbegründet. Gestützt auf die willkürfreien Feststellungen der Vorinstanz ist erstellt, dass er beabsichtigte, ein Ohr des Beschwerdegegners 2 abzutrennen und dass er mit dem schwer steuerbaren Schnitt in der Nähe wichtiger Blutgefässe eine lebensgefährliche Verletzung mindestens in Kauf genommen hat. Die Vorinstanz erwägt daher zu Recht, dass der subjektive Tatbestand von Art. 122 StGB erfüllt ist, zumal sowohl die Verstümmelung eines Organs bzw. eine Entstellung des Gesichts als auch eine lebensgefährliche Verletzung schwere Körperverletzungen darstellen (oben E. 2.1). Ihr ist auch zuzustimmen, dass der Beschwerdeführer mit dem Schnitt in der Hals- und Ohrregion des Beschwerdegegners 2 gemäss eigenen Angaben das nach seinem Plan zur Tatbestandsverwirklichung Notwendige getan hat und es einzig dem Zufall zu verdanken ist, dass er weder die Ohrmuschel ganz abtrennen konnte noch eine lebensgefährliche Verletzung verursacht hat. Der Versuch war daher vollendet, wobei der tatbestandsmässige Erfolg nahe lag. Die Vorinstanz verletzt kein Bundesrecht, wenn sie erwägt, von einem Rücktritt im Sinne von Art. 23 Abs. 1 StGB könne trotz Verzichts auf einen weiteren Versuch nicht gesprochen werden. Schon gar nicht komme ein Absehen von Strafe in Frage. Sie trägt aber sehr wohl dem Umstand Rechnung, dass es beim Versuch geblieben ist und dass der Beschwerdeführer nach dem misslungenen ersten Versuch keine weiteren Anstrengungen unternommen hat, um zum Erfolg zu kommen. Sie berücksichtigt dies mit einer Reduktion der Einsatzstrafe um einen Drittel von 45 auf 30 Monate Freiheitsstrafe. Damit bewegt sie sich klarerweise im Rahmen des ihr bei der Strafzumessung zustehenden Ermessens. Für das Bundesgericht besteht kein Anlass hierin einzugreifen, zumal nicht ersichtlich ist, dass die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hätte, von rechtlich nicht massgebenden Kriterien ausgegangen wäre oder wesentliche Gesichtspunkte ausser Acht gelassen bzw. in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hätte (<ref-ruling> E. 2.1; zum alten Recht: <ref-ruling> E. 6.1; <ref-ruling> E. 2; <ref-ruling> E. 4a). Nach dem Gesagten ist der Einwand, wonach sich die Vorinstanz zum freiwilligen Rücktritt und zur dadurch möglichen Strafminderung nicht geäussert habe, nicht nachvollziehbar. Ebenso wenig leuchtet ein, weshalb bei Annahme eines Rücktritts die Qualifikation als versuchte schwere Körperverletzung falsch wäre. Der Rücktritt ändert am Versuch nichts, sondern setzt diesen voraus.
3.
Der Beschwerdeführer beanstandet die Anordnung einer stationären therapeutischen Massnahme nach Art. 59 StGB. Diese sei ungeeignet, die Legalprognose zu verbessern, da die diagnostizierte Störung nur schwer behandelbar sei. Sie sei unverhältnismässig angesichts der vorgeworfenen Straftaten. Daher sei Art. 56 Abs. 2 StGB verletzt.
3.1. Eine Massnahme ist anzuordnen, wenn eine Strafe allein nicht geeignet ist, der Gefahr weiterer Straftaten des Täters zu begegnen, ein Behandlungsbedürfnis des Täters besteht oder die öffentliche Sicherheit dies erfordert und die Voraussetzungen der Art. 59-61, 63 oder 64 StGB erfüllt sind (Art. 56 Abs. 1 StGB). Die Anordnung setzt voraus, dass der mit ihr verbundene Eingriff in die Persönlichkeitsrechte des Täters im Hinblick auf die Wahrscheinlichkeit und Schwere weiterer Straftaten nicht unverhältnismässig ist (Art. 56 Abs. 2 StGB). Das Gericht stützt sich bei seinem Entscheid auf eine sachverständige Begutachtung (Art. 56 Abs. 3 StGB).
Ist der Täter psychisch schwer gestört, so kann das Gericht gemäss Art. 59 Abs. 1 StGB eine stationäre Behandlung anordnen, wenn der Täter ein Verbrechen oder Vergehen begangen hat, das mit seiner psychischen Störung im Zusammenhang steht und zu erwarten ist, dadurch lasse sich der Gefahr weiterer mit seiner psychischen Störung in Zusammenhang stehender Taten begegnen. Die Anordnung einer Massnahme nach Art. 59 StGB setzt die hinreichende Wahrscheinlichkeit voraus, dass sich dadurch über die Dauer von fünf Jahren die Gefahr von weiteren mit der psychischen Störung im Zusammenhang stehenden Taten deutlich verringern lässt. Es muss jedoch im Zeitpunkt des Entscheids nicht hinreichend wahrscheinlich sein, dass schon nach einer stationären Behandlung von fünf Jahren ein Zustand erreicht werden kann, der es rechtfertigt, dem Täter die Gelegenheit zu geben, sich in der Freiheit zu bewähren, und ihn daher aus der stationären Massnahme bedingt zu entlassen (Urteil 6B_263/2008 vom 10. Oktober 2008 E. 3.4.1 mit Hinweisen).
3.2. Die Vorinstanz erwägt, die psychische Störung des Beschwerdeführers sei unbestrittenermassen schwer behandelbar. Der Gutachter äussere sich zu den Erfolgsaussichten nunmehr aber leicht positiver als bei Erstattung der Expertise. Dies nicht zuletzt wegen den geänderten Einstellungen und Zukunftsplänen des Beschwerdeführers sowie nach Absolvierung einer Ausbildung, deren Sinn dieser nun einsehe. Zu beachten seien hinsichtlich der Behandelbarkeit insbesondere das noch jugendliche Alter sowie die Tatsache, dass bislang kein Behandlungsversuch erfolgt sei. Schliesslich seien die Erfolgsaussichten sowohl einer Ausbildung als auch des Einhaltens der Abstinenz im strukturierten Rahmen einer stationären Massnahme besser. Deren Anordnung unter Aufschub des Strafvollzugs erscheine daher auch unter diesem Gesichtspunkt als verhältnismässig. Eine ambulante Behandlung oder eine Massnahme für junge Erwachsene seien hingegen gemäss Gutachter ausgeschlossen.
3.3. Der Beschwerdeführer rügt einzig eine Verletzung der Verhältnismässigkeit. Die übrigen Voraussetzungen einer Massnahme nach Art. 59 StGB, insbesondere eine schwere psychische Störung, einen Zusammenhang mit der Gewaltdelinquenz und eine schlechte Legalprognose bzw. hohe Rückfallgefahr für schwere Gewalttaten, bestreitet er nicht. Es kann dafür auf die überzeugenden Ausführungen der Vorinstanz verwiesen werden.
Der Beschwerdeführer setzt sich mit den Erwägungen der Vorinstanz nicht substanziiert auseinander und zeigt nicht auf, weshalb diese rechtsfehlerhaft sein sollen. Soweit er die Verhältnismässigkeit mit dem Argument bestreitet, ihm würden lediglich einfache Körperverletzungen zur Last gelegt, weshalb die Anlasstat keine Massnahme nach Art. 59 StGB rechtfertige, trifft dies nach dem Gesagten nicht zu. Den Ausführungen des Gutachters lässt sich zudem sehr wohl eine beachtenswerte Erfolgsaussicht der ins Auge gefassten Massnahme entnehmen, wenngleich er keine ausdrückliche Empfehlung dafür ausspricht. Dies insbesondere im Zusammenwirken mit einer Ausbildung sowie mit Suchtmittelabstinenz. Sie kann die Gefahr weiterer Delikte somit mindestens vermindern. Die Vorinstanz weist zu Recht auch auf das jugendliche Alter des Beschwerdeführers sowie auf die Tatsache hin, dass bislang kein Behandlungsversuch erfolgt ist. Zum gegenwärtigen Zeitpunkt kann daher (noch) nicht gesagt werden, dass eine stationäre Massnahme nicht geeignet wäre, das Rückfallrisiko und damit die Gefahr für die Gesellschaft deutlich zu reduzieren. Im Rahmen der Verhältnismässigkeitsbeurteilung gilt es ferner, dem sehr hohen Rückfallrisiko und der Schwere der Störung erheblich Rechnung zu tragen. Sollte sich im Laufe des Vollzugs der stationären Massnahme herausstellen, dass dadurch kein Erfolg im Sinne einer deutlichen Verminderung der Gefahr weiterer Taten erreicht werden kann, wenn also die Fortführung dieser Massnahme als aussichtslos erscheint, so wäre sie in Anwendung von Art. 62c Abs. 1 lit. a StGB aufzuheben.
4.
Nachdem das vorinstanzliche Urteil im Schuld- und Strafpunkt zu bestätigen ist, erübrigen sich Ausführungen zur vom Beschwerdeführer beantragten Herabsetzung der Genugtuung und Parteientschädigung an den Beschwerdegegner 2. Dass die Vorinstanz in diesem Zusammenhang Bundesrecht verletzt, ist nicht ersichtlich.
5.
Die Beschwerde ist offensichtlich unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege ist infolge Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG). Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Bei deren Festsetzung ist seiner finanziellen Lage Rechnung zu tragen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'200.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Strafkammer, schriftlich mitgeteilt.
Lausanne, 16. Mai 2017
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Der Gerichtsschreiber: Matt