Sachverhalt:
A.
A.a. Das Kriminalgericht des Kantons Luzern erklärte X._ am 26. November 2010 der (eventual-) vorsätzlichen Tötung nach Art. 111 StGB, begangen in Notwehrexzess nach Art. 15 und Art. 16 Abs. 1 StGB, schuldig. Vom Vorwurf der mehrfachen falschen Anschuldigung nach Art. 303 Ziff. 1 StGB sprach es ihn frei. Es verurteilte ihn zu einer Freiheitsstrafe von vier Jahren.
A.b. Das Kantonsgericht Luzern sprach X._ am 20. Juni 2011 in Gutheissung von dessen Appellation von sämtlichen Anklagevorwürfen frei.
A.c. Das Bundesgericht hiess am 30. August 2012 die Beschwerden der Staatsanwaltschaft sowie von A._ und C.Y._ und B.Y._ (Privatkläger) bezüglich des Freispruchs vom Vorwurf der vorsätzlichen Tötung, begangen in Notwehrexzess, gut und wies die Sache zur Neubeurteilung an die Vorinstanz zurück. Im Übrigen wies es die Beschwerde ab, soweit darauf einzutreten war (Urteil 6B_810+811/2011).
B.
Das Kantonsgericht Luzern sprach X._ am 17. September 2013 im schriftlichen Verfahren der (eventual-) vorsätzlichen Tötung nach Art. 111 StGB, begangen in Notwehrexzess nach Art. 15 und 16 Abs. 1 StGB, schuldig und auferlegte ihm eine Freiheitsstrafe von drei Jahren, davon zwei Jahre mit bedingtem Vollzug.
C.
X._ führt Beschwerde in Strafsachen mit den Anträgen, das Urteil vom 17. September 2013 aufzuheben und ihn vom Vorwurf der vorsätzlichen Tötung nach Art. 111 StGB aufgrund eines Notwehrexzesses in entschuldbarer Aufregung oder Bestürzung nach Art. 16 Abs. 2 StGB freizusprechen. Eventualiter sei er wegen Totschlags nach Art. 113 StGB i.V.m. Art. 16 Abs. 1 StGB und Art. 19 Abs. 2 StGB zu einer bedingten Freiheitsstrafe von zwei Jahren bei einer Probezeit von zwei Jahren zu verurteilen. Subeventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege.
D.
Das Kantonsgericht, die Oberstaatsanwaltschaft und die Privatkläger wurden beschränkt auf Ziff. II.B. der Beschwerde (Fehlen einer mündlichen Berufungsverhandlung) zur Vernehmlassung eingeladen. Sie beantragen die Abweisung der Beschwerde.
Erwägungen:
1.
1.1. Der Beschwerdeführer rügt, die Vorinstanz habe nach dem Rückweisungsentscheid des Bundesgerichts vom 30. August 2012 in Verletzung von Art. 406 StPO keine mündliche Verhandlung mehr durchgeführt.
1.2. Die Vorinstanz wies den Antrag des Beschwerdeführers auf Durchführung einer weiteren Verhandlung mit verfahrensleitender Verfügung vom 22. Juli 2013 ab. Sie stellt sich auf den Standpunkt, das Bundesgericht habe mit der Rückweisung die Sachverhaltsfeststellung des angefochtenen Urteils nicht aufgehoben oder eine Ergänzung derselben angeordnet. Es habe eine andere rechtliche Würdigung der angeklagten Tat verlangt, indem es diese als Notwehrexzess qualifiziert habe. Die sich stellenden Fragen seien bereits an der seinerzeitigen Verhandlung vor Obergericht bekannt gewesen und von den Parteien in ihren Plädoyers auch ausführlich behandelt worden. Das vom Bundesgericht vorgegebene Teilergebnis der Urteilsberatung wäre somit schon damals möglich gewesen und sei von den Parteien auch bewusst in Betracht gezogen worden. Im Weiteren hätten sich die Parteien im Rückweisungsverfahren schriftlich äussern können. Davon hätten sie Gebrauch gemacht. Eine erneute persönliche Befragung des Beschwerdeführers sei gestützt auf seine Eingabe nicht erforderlich (Urteil S. 8).
Die Beschwerdegegner schliessen sich in ihren Vernehmlassungen dieser Auffassung an.
1.3. Auf das Rückweisungsverfahren gelangt die Schweizerische Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 320.0) zur Anwendung, da die bundesgerichtliche Rückweisung nach dem 1. Januar 2011 erging (Art. 453 Abs. 2 StPO; Urteil 6B_425/2011 vom 10. April 2012 E. 2.2).
1.4. Das Berufungsverfahren ist grundsätzlich mündlich und öffentlich (vgl. Art. 69 und Art. 405 StPO; Botschaft zur Vereinheitlichung des Strafprozessrechts vom 21. Dezember 2005, BBl 2006 1316; BGE 139 IV 290 E. 1.1). Die Voraussetzungen zur Durchführung schriftlicher Berufungsverfahren sind in Art. 406 StPO abschliessend geregelt (BGE 139 IV 290 E. 1.1). Gemäss Art. 406 Abs. 1 lit. a StPO kann die Berufung in einem schriftlichen Verfahren behandelt werden, wenn ausschliesslich Rechtsfragen zu entscheiden sind.
Im Falle eines bundesgerichtlichen Rückweisungsurteils richtet sich die Art des Berufungsverfahrens gemäss der Rechtsprechung ebenfalls nach Art. 405 f. StPO. Entscheidend für die Frage, ob das Rückweisungsverfahren mündlich oder schriftlich zu führen ist, sind der Rahmen des Rückweisungsentscheids des Bundesgerichts und dessen für das Berufungsgericht verbindliche Erwägungen. Das Verfahren kann schriftlich geführt werden, wenn die Rückweisung ausschliesslich Rechtsfragen betrifft (Urteile 6B_4/2014 vom 28. April 2014 E. 4; 6B_76/2013 vom 29. August 2013 E. 1.1).
1.5. Das Bundesgericht hob den Entscheid der Vorinstanz vom 20. Juni 2011 in der Hauptbegründung auf, weil es der Auffassung war, es liege ein Notwehrexzess vor (Urteil 6B_810+811/2011 E. 3). Bezüglich der in der Eventualbegründung behandelten Frage, ob der Notwehrexzess im Sinne von Art. 16 Abs. 2 StGB entschuldbar war, liess es die rechtliche Würdigung offen. Es warf der Vorinstanz vor, sie habe die von der Rechtsprechung bei der Beurteilung der Entschuldbarkeit eines Notwehrexzesses geforderte Gesamtwürdigung der wesentlichen Umstände unterlassen. Sie hätte namentlich prüfen müssen, ob dem Notwehrexzess eine verbale Provokation des Beschwerdeführers allenfalls gar vor dem Hintergrund eines bereits vorbestehenden Konfliktes vorausgegangen sei (E. 5.6), was diese offenliess (vgl. E. 5.1). Unklar sei auch, inwiefern sich der Beschwerdeführer an der tätlichen Auseinandersetzung im Untergeschoss seiner Liegenschaft beteiligt und auch das Opfer Schläge habe einstecken müssen (E. 5.6).
1.6. Die Vorinstanz hatte für die vom Bundesgericht geforderte Gesamtwürdigung der wesentlichen Umstände ihre früheren Sachverhaltsfeststellungen zu ergänzen und zu präzisieren. Sie hatte insbesondere zu klären, was sich vor dem tödlichen Messereinsatz im Untergeschoss der Liegenschaft des Beschwerdeführers abspielte und wie es zur heftigen Auseinandersetzung kam. Sie musste sich aufgrund der Rückweisung durch das Bundesgericht folglich mit Sachverhaltsfragen befassen, was sie im Urteil vom 17. September 2013 auch tat (vgl. Urteil S. 12 ff.). Der vorinstanzliche Entscheid hätte daher im mündlichen Verfahren ergehen müssen, wie dies vom Beschwerdeführer beantragt wurde.
2.
Die Beschwerdegegner machen geltend, der Beschwerdeführer habe auf die Durchführung eines mündlichen Rückweisungsverfahrens verzichtet.
Der Beschwerdeführer beantragte am 4. Juni 2013 eine mündliche Verhandlung (kant. Akten, Beleg 9). Die Vorinstanz wies diesen Antrag mit Verfügung vom 22. Juli 2013 ab (kant. Akten, Beleg 19). In seiner Eingabe vom 13. August 2013 hielt der Beschwerdeführer nochmals ausdrücklich fest, dass nach seiner Auffassung eine mündliche Verhandlung durchzuführen gewesen wäre (kant. Akten, Beleg 22 Ziff. 3 S. 3). Entgegen dem Einwand der Beschwerdegegnerin 1 verzichtete der Beschwerdeführer nicht auf das mündliche Verfahren, weil er sich am 13. August 2013 schriftlich zur Sache äusserte. Ebenso wenig kann den Beschwerdegegnern 2-4 gefolgt werden, die den Verzicht darin sehen, dass der Beschwerdeführer am 4. Juni 2013 im Sinne eines Eventualantrags (für den Fall, dass die Vorinstanz dem Antrag, eine Verhandlung durchzuführen, nicht entsprechen sollte) eine Frist zur Stellungnahme beantragte und die Abweisung des Antrags auf Durchführung einer mündlichen Verhandlung durch die Vorinstanz nicht "kritisierte". Der Beschwerdeführer legt zutreffend dar, dass ihm gegen den Zwischenentscheid der Vorinstanz vom 22. Juli 2013 die Beschwerde an das Bundesgericht mangels eines nicht wieder gutzumachenden Nachteils nicht offenstand (vgl. Art. 93 Abs. 1 lit. a BGG).
3.
Die Beschwerde ist gutzuheissen. Damit erübrigt sich eine Behandlung der weiteren Rügen.
4.
Die Beschwerdegegner 2-4 werden als unterliegende Parteien kostenpflichtig (Art. 66 Abs. 1 BGG). Dem Kanton Luzern sind keine Gerichtskosten aufzulegen (Art. 66 Abs. 4 BGG).
Der Kanton Luzern und die Beschwerdegegner 2-4 haben dem Beschwerdeführer für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG; Art. 68 Abs. 4 i.V.m. Art. 66 Abs. 5 BGG). Die Entschädigung ist dem Rechtsvertreter des Beschwerdeführers zuzusprechen. Das Gesuch um unentgeltliche Rechtspflege wird gegenstandslos.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, das Urteil des Kantonsgerichts Luzern vom 17. September 2013 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdegegnern 2-4 auferlegt.
3.
Der Kanton Luzern und die Beschwerdegegner 2-4 haben dem Rechtsvertreter des Beschwerdeführers, Rechtsanwalt Urs Rudolf, für das bundesgerichtliche Verfahren je eine Entschädigung von Fr. 1'500.-- (total Fr. 3'000.--) zu bezahlen, unter solidarischer Haftung.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht Luzern, 2. Abteilung, schriftlich mitgeteilt.
Lausanne, 18. September 2014
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld