Sachverhalt:
A. A.a Das Kriminalgericht des Kantons Luzern sprach Y._ am 26. November 2010 der (eventual-)vorsätzlichen Tötung nach Art. 111 StGB, begangen in Notwehrexzess nach Art. 15 und Art. 16 Abs. 1 StGB, schuldig. Vom Vorwurf der mehrfachen falschen Anschuldigung nach Art. 303 Ziff. 1 StGB sprach es ihn frei. Es verurteilte ihn zu einer Freiheitsstrafe von vier Jahren. Im Zivilpunkt erklärte es ihn dem Grundsatz nach im Umfang von 2/3 schadenersatzpflichtig und verwies A.X._ sowie B.X._ und C.X._ zur Festsetzung der Schadenshöhe auf den Zivilweg. Die Genugtuungsforderung von A.X._ hiess es im Umfang von Fr. 30'000.-- gut, diejenigen von B.X._ und C.X._ im Umfang von je Fr. 20'000.--. Gegen dieses Urteil legten Y._ und die Staatsanwaltschaft Appellation und A.X._ Anschlussappellation ein.
A.b Das Obergericht des Kantons Luzern sprach Y._ am 20. Juni 2011 von sämtlichen Anklagevorwürfen frei. Auf die Zivilforderungen trat es nicht ein.
Das Obergericht geht von folgendem Sachverhalt aus:
Am 25. September 2007 kam es im Untergeschoss des sich im Rohbau befindlichen Einfamilienhauses von Y._ zuerst zu einer verbalen und anschliessend zu einer tätlichen Auseinandersetzung zwischen diesem und dem Gipsermeister D._, wobei Letzterer die Oberhand hatte. Die beiden Angestellten von D._, E._ und F._, versuchten, ihren Chef zurückzuhalten und Y._ zur Flucht zu verhelfen. Dieser konnte sich tatsächlich lösen und das Haus über die offen stehende Fenstertüre verlassen, von wo aus er über die Aussentreppe nach oben rannte. Dort angekommen schaute er zurück und stürzte, woraufhin er von D._ eingeholt wurde. In der Folge ging D._ im Vorgarten des Einfamilienhauses erneut auf den ihm körperlich unterlegenen Y._ los, indem er ihn am Kopf bzw. an den Ohren packte, nach unten drückte und gleichzeitig mit dem Knie gegen dessen Kopf schlug. Er gab dem mit dem Oberkörper nach vorne geneigten Y._ zudem einen Faustschlag in die Seite. An der Auseinandersetzung im Vorgarten beteiligten sich auch E._ und F._, wenn auch nicht intensiv und nur schlichtend. E._ hatte eine Schaufel in der Hand, mit deren Stiel er Y._ am Bein traf. Y._ nahm aus seiner unterlegenen Position heraus wahr, dass E._ und F._ ebenfalls auf ihn einwirkten und es ein eigentliches Gerangel gab, in welchem geschubst, gestossen und geschlagen wurde. Dass die beiden Angestellten ihren Chef zurückhalten wollten, konnte er nicht sehen.
Y._ konnte sich eines Klappmessers behändigen, das er in seiner Umhängetasche trug, und begann damit aus seiner gebückten Haltung heraus blind um sich zu schlagen bzw. herumzufuchteln, in der Hoffnung, D._ werde von ihm ablassen. Dabei fügte er D._ eine (feine) Schnittverletzung am Rücken zu, welche dieser nicht verspürte. Y._ stach weiter unkontrolliert mit dem Messer nach oben. Durch eine Stichbewegung in Richtung des linken Brustbereichs von D._ verursachte er dessen Tod. Der tödliche Stich war von einer gewissen Heftigkeit und durchtrennte eine Rippe, bevor er das Herz traf. Er erfolgte aus der Y._ aufgezwungenen gebückten Position und war nicht konkret zielgerichtet. Mit dem Stich gegen den Oberkörper von D._ nahm Y._ jedoch eine schwere Verletzung bzw. Tötung in Kauf, da er erkennbar den Brust- resp. Herzbereich treffen konnte. Die anderen Beteiligten nahmen nicht wahr, wie sich Y._ des Messers behändigte und damit herumzuhantieren begann. E._ und F._ sahen dieses erst nach dem tödlichen Stich.
Y._ erlitt eine Rissquetschwunde und Schwellungen an der Nase, kleine Rissquetschwunden und Schwellungen an den Ohren, eine Kontusionsmarke oberhalb der Nase bis hin zur Stirn reichend, eine Rissquetschwunde im Bereich des linken Mastoids sowie Schürfungen am Knie und am Ellenbogen. Aufgrund des Einsatzes des Knies gegen seinen Kopf musste er mit weit gefährlicheren bzw. mit möglicherweise erheblichen Verletzungen rechnen, insbesondere mit schweren Kopfverletzungen. Ihm kam auch der Gedanke, er könnte sterben.
B. Die Staatsanwaltschaft beantragt mit Beschwerde in Strafsachen, das Urteil vom 20. Juni 2011 aufzuheben und Y._ der vorsätzlichen Tötung nach Art. 111 StGB, begangen in Notwehrexzess nach Art. 15 und Art. 16 Abs. 1 StGB, sowie der falschen Anschuldigung nach Art. 303 Ziff. 1 StGB schuldig zu befinden bzw. die Sache zur Fällung dieses Schuldbefunds und zur Ausfällung einer Strafe an die Vorinstanz zurückzuweisen (Verfahren 6B_810/2011).
C. A.X._ sowie B.X._ und C.X._ führen Beschwerde in Strafsachen mit den Anträgen, das Urteil des Obergerichts vom 20. Juni 2011 aufzuheben, Y._ der vorsätzlichen Tötung schuldig zu sprechen und mit 6 1⁄2 Jahren Freiheitsstrafe zu bestrafen. Zudem sei er zu verpflichten, Genugtuungszahlungen von Fr. 45'000.-- (A.X._) bzw. je Fr. 30'000.-- (B.X._ und C.X._) mit Zins zu 5 % ab dem 19. Dezember 2007 zu leisten. Eventualiter sei er wegen (eventual-)vorsätzlicher Tötung nach Art. 111 StGB, begangen in Notwehrexzess nach Art. 15 und Art. 16 Abs. 1 StGB, zu einer Freiheitsstrafe von 4 Jahren und zur Leistung von Genugtuungszahlungen von Fr. 30'000.-- bzw. je Fr. 20'000.-- zu verurteilen. Y._ sei überdies 100 % schadenersatzpflichtig zu erklären, und sie seien für die Festsetzung des massgeblichen Schadens an den Zivilrichter zu verweisen. Sie ersuchen um unentgeltliche Rechtspflege und Verbeiständung (Verfahren 6B_811/2011).
D. Das Obergericht und Y._ stellen Antrag auf Abweisung der Beschwerden. Die Staatsanwaltschaft beantragt (sinngemäss) die Gutheissung der Beschwerde von A.X._ sowie B.X._ und C.X._.
Erwägungen:
1. Die beiden Beschwerden richten sich gegen den gleichen Entscheid und betreffen weitgehend die gleichen Rechtsfragen. Es rechtfertigt sich daher, sie gemeinsam zu behandeln und die Verfahren zu vereinigen.
2. 2.1 Die Beschwerdeführer rügen eine willkürliche Sachverhaltsfeststellung.
2.1.1 Die Beschwerdeführerin 1 macht geltend, die Vorinstanz stelle willkürlich fest, der Beschwerdegegner habe anlässlich der Auseinandersetzung im Vorgarten auch E._ und F._ als Angreifer wahrgenommen. Nicht erstellt sei, dass E._ den Beschwerdegegner mit der Schaufel schlug. Die Argumentation der Vorinstanz sei nicht schlüssig. Sie spreche einerseits davon, E._ und F._ hätten sich an der Schlägerei - allerdings nicht intensiv - beteiligt, andererseits gestehe sie diesen zu, dass sie hauptsächlich schlichtend in die Auseinandersetzung hätten eingreifen wollen. Die Zwitterrolle der beiden Arbeiter - halb Aggressoren und halb Friedensstifter - sei nicht verständlich. Die Vorinstanz habe die dramatischen und massiv übertriebenen Schilderungen des Beschwerdegegners, es sei um Leben und Tod gegangen und er habe Angst vor dem Sterben gehabt, unkritisch übernommen. Dessen angeblichen Befürchtungen, schwer verletzt zu werden, seien nicht glaubhaft. Willkürlich sei zudem die Feststellung, der Beschwerdegegner habe vor dem tödlichen Stich zur Warnung mit dem Messer herumgefuchtelt.
2.1.2 Die Beschwerdeführer 2-4 beanstanden, der Schaufeleinsatz von E._ gegen den Beschwerdegegner sei nicht bewiesen. Die Vorinstanz argumentiere widersprüchlich, da sie festhalte, die beiden Arbeiter hätten versucht, die Kontrahenten zu trennen, an anderer Stelle aber davon ausgehe, sie hätten sich an der Auseinandersetzung beteiligt, wenn auch nicht intensiv. Sie nehme willkürlich an, der Beschwerdegegner habe mit dem Messer vor dem tödlichen Stich herumgefuchtelt. Wäre dies der Fall gewesen, hätten E._ und F._ dies wahrgenommen.
Offensichtlich unhaltbar sei auch die Feststellung, der Beschwerdegegner habe die Stichbewegung aus gebückter Haltung heraus unkontrolliert, von unten nach oben vorgenommen. Gemäss dem Obduktionsbericht sei der tödliche Stich vom Opfer aus gesehen von vorne, leicht ansteigend in Richtung Wirbelsäule erfolgt. Die Durchtrennung der Rippe habe eine ausgeprägte Gewaltanwendung mit viel Krafteinsatz oder erheblicher Wucht mit entsprechender Ausholbewegung erfordert. Dies könne nicht die Folge eines unkoordinierten Herumfuchtelns sein. Völlig unberücksichtigt gelassen habe die Vorinstanz zudem, dass der Beschwerdegegner das Messer in der linken Hand gehalten habe. Eine Stichbewegung mit der linken Hand treffe die rechte Körper- bzw. Brustseite des Gegenübers, nicht aber das Herz, es sei denn, man ziele mit Absicht auf das Herz. Der Beschwerdegegner habe in Tötungsabsicht und nicht in Verteidigungsabsicht gehandelt.
2.2 Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie willkürlich (Art. 9 BV) ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; BGE 134 IV 36 E. 1.4.1).
Die Rüge der Willkür muss präzise vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8; je mit Hinweisen).
Die Rüge der Willkür muss präzise vorgebracht und begründet werden (Art. 106 Abs. 2 BGG). In der Beschwerde muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet. Auf eine rein appellatorische Kritik am angefochtenen Urteil tritt das Bundesgericht nicht ein (BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8; je mit Hinweisen).
2.3 2.3.1 Die Vorinstanz führt aus, E._ und F._ hätten sich an der tätlichen Auseinandersetzung im Vorgarten nicht intensiv und "hauptsächlich" schlichtend beteiligt. Ob E._ die beiden Streitenden durch Einsatz des Schaufelstiels "auf Distanz" zu trennen versuchte oder ob er mit dem Stil bewusst gegen den Unterschenkel des Beschwerdegegners schlug, lässt sie offen (Urteil S. 11 f.). Daraus könnte tatsächlich gefolgert werden, diese hätten nicht bloss schlichtend in das Geschehen eingegriffen. Insgesamt ergibt sich aus dem angefochtenen Entscheid jedoch, dass die Vorinstanz den übereinstimmenden Ausführungen der beiden Angestellten Glauben schenkt, welche aussagten, sie hätten lediglich versucht, die Kontrahenten zu trennen (vgl. insbes. Urteil S. 17). In diesem Sinne äussert sich die Vorinstanz auch in ihren Vernehmlassungen vor Bundesgericht.
2.3.2 Die Vorinstanz hält dem Beschwerdegegner zugute, er sei in der falschen Annahme gewesen, er werde auch von den beiden Angestellten angegriffen. Ihre Feststellung ist nicht willkürlich. Es ist durchaus denkbar, dass der Beschwerdegegner aus seiner unterlegenen Position heraus das Eingreifen von E._ und F._ als gegen ihn gerichtet wahrnahm. Der in Art. 32 Abs. 1 BV und in Art. 6 Ziff. 2 EMRK verankerte Grundsatz "in dubio pro reo" besagt als Beweiswürdigungsregel, dass sich der Strafrichter nicht von der Existenz eines für den Angeklagten ungünstigen Sachverhalts überzeugt erklären darf, wenn bei objektiver Betrachtung erhebliche und nicht zu unterdrückende Zweifel bestehen, ob sich der Sachverhalt so verwirklicht hat (BGE 127 I 38 E. 2a mit Hinweis). Das Gericht muss daher auf die für den Angeklagten günstigste Version abstellen, wenn sich nicht sicher oder mit an Sicherheit grenzender Wahrscheinlichkeit sagen lässt, dass sich der Sachverhalt anders zugetragen hat. Dem Sachrichter muss auf dem Gebiet der Beweiswürdigung und namentlich auch bei der Beurteilung der Glaubwürdigkeit der angeschuldigten Person ein gewisser Ermessensspielraum zugestanden werden. Dies gilt auch vorliegend.
2.3.3 Die Vorinstanz geht für die Feststellung, E._ habe beim Trennungsversuch eine Schaufel in der Hand gehabt, mit welcher der Beschwerdegegner getroffen worden sei, von den Aussagen des Beschwerdegegners aus. Diesen stehen die übereinstimmenden Angaben von F._ und E._ gegenüber, wonach Letzterer die Schaufel während der tätlichen Auseinandersetzung im Vorgarten nie in den Händen hatte. Die Vorinstanz erwägt, die Aussagen des Beschwerdegegners seien glaubhaft. Sie würden durch die DNA-Analyse gestützt, mit welcher Hautreste von E._ am Schaufelblatt nachgewiesen worden seien (Urteil S. 11).
Die Einwände der Beschwerdeführer lassen die vorinstanzliche Feststellung nicht offensichtlich unhaltbar erscheinen. Die Beschwerdeführer verkennen, dass es nicht darum geht, zu beweisen, ob der Schlag mit der Schaufel sicher erfolgte, sondern ob dieser entgegen den Behauptungen des Beschwerdegegners mit an Sicherheit grenzender Wahrscheinlichkeit nicht stattfand. Dass die DNA-Spuren nicht zwingend von einem Schaufeleinsatz während des Angriffs durch D._ herrühren müssen und in dieser Hinsicht auch eine andere Würdigung denkbar gewesen wäre, lässt die vorinstanzliche Feststellung noch nicht willkürlich erscheinen. Die Vorinstanz geht nicht davon aus, der Schlag mit der Schaufel sei von einer gewissen Heftigkeit gewesen und der Beschwerdegegner habe Verletzungen davon getragen. An der Sache vorbei geht der Einwand der Beschwerdeführer, auch das Fehlen von Verletzungen am linken Unterschenkel bzw. Schienbein des Beschwerdegegners würde gegen den Schaufeleinsatz sprechen.
2.3.4 Das Gleiche gilt für die von den Beschwerdeführern beanstandete Feststellung, der Beschwerdegegner habe vor dem tödlichen Stich mit dem Messer herumgefuchtelt. Die Vorinstanz stellt diesbezüglich auf die Aussagen des Beschwerdegegners ab, welche sie durch die Schnittstellen an dessen Umhängetasche und die feine, schnittartige Verletzung am Rücken von D._ bestätigt sieht. Ihre Ausführungen lassen keine Willkür erkennen. Wie dieses Herumfuchteln bzw. "blind um sich Schlagen", welches von den anderen Beteiligten nicht bemerkt wurde, rechtlich zu werten ist, wird nachfolgend zu beurteilen sein.
2.3.5 Die Vorinstanz hält fest, der Beschwerdegegner habe mit erheblichen, namentlich mit schweren Kopfverletzungen rechnen müssen. Dass er sich auch in Todesgefahr befand, stellt sie nicht fest. Sie anerkennt jedoch, dass diesem damals der Gedanke kam, er könnte sterben. Dies ist unter Willkürgesichtspunkten nicht zu beanstanden, nachdem auch F._ zu Protokoll gab, er sei erschrocken, als sich die Streitenden im Vorgarten erneut geschlagen hätten, und er habe gedacht, sie würden sich umbringen (Urteil S. 17).
2.3.6 Nicht willkürlich ist schliesslich der Schluss, der Beschwerdegegner habe mit Verteidigungswillen gehandelt. Sowohl der Beschwerdegegner als auch die beiden Angestellten sagten aus, Ersterer habe eine nach unten gebeugte Stellung gehabt, während sich der Oberkörper von D._ über ihm befunden habe. Aus dieser Stellung heraus kann sehr wohl auch ein heftiger Stich nach oben das festgestellte Verletzungsbild verursachen. Nicht weiter führt die Erkenntnis der Beschwerdeführer 2-4, wonach der Beschwerdegegner das Messer in der linken Hand gehalten haben muss, da sich die genaue Position des Opfers im Zeitpunkt des Stichs nicht eruieren lässt. Selbst wenn der Beschwerdegegner die Stichbewegung mit der linken Hand ausgeführt hätte, könnte ihm angesichts der Notwehrsituation schwerlich nachgewiesen werden, dass er gezielt und in Tötungsabsicht das Herz des Opfers treffen wollte. Dass der tödliche Stich ebenfalls eine Folge des blossen Herumfuchtelns war, behauptet die Vorinstanz nicht.
2.4 Die Sachverhaltsrügen der Beschwerdeführer sind unbegründet, soweit darauf mangels einer rechtsgenügenden Begründung einzutreten ist.
3. Die Beschwerdeführer machen eine Verletzung von Art. 15 und Art. 16 Abs. 2 StGB geltend.
3.1 Die Vorinstanz führt aus, der Beschwerdegegner habe in Notwehr nach Art. 15 StGB oder zumindest in einem entschuldbaren Notwehrexzess nach Art. 16 Abs. 2 StGB gehandelt (Urteil E. 3.5.3 und 3.6 S. 21). Sie erwägt in der Hauptbegründung, der Beschwerdegegner habe die Grenzen der zulässigen Notwehr gemäss Art. 15 StGB nicht überschritten. Er habe insbesondere mit schweren Kopfverletzungen rechnen müssen und sei daher nicht gehalten gewesen, den Angriff mit blosser Körpergewalt abzuwehren. Solches wäre für ihn auch aussichtslos gewesen (Urteil S. 17 f.). Der Beschwerdegegner habe in einer ersten Phase mit dem Messer herumgefuchtelt. Damit habe er zumindest aus seiner Sicht eine Warnungshandlung vorgenommen. In einer weiteren Phase habe er dem Opfer die Schnittverletzung am Rücken zugefügt. Er habe somit vor dem Einsatz des Messers gegen den Oberkörper zur Erreichung eines Abwehrerfolgs einen schonenderen Einsatz des Messers versucht. Da auch dies zu keiner Reaktion von D._ oder den anderen Beteiligten geführt habe, habe er schliesslich in einer letzten Phase mit dem Messer gegen den Oberkörper des sich in diesem Zeitpunkt über ihm befindlichen D._ gestochen (Urteil S. 18). Das Herumfuchteln und die Verletzung am Rücken würden deutliche Warnungshandlungen im Sinne des von der Rechtsprechung geforderten stufenweisen Vorgehens darstellen. In diesem Sinne sei auch die Aussage des Beschwerdegegners zu interpretieren, er habe gehofft, die Beteiligten würden beim Anblick des Messers von ihm ablassen. Dass diese die Warnungshandlungen nicht sahen oder nicht sehen konnten resp. D._ den Schnitt am Rücken nicht spürte und darauf nicht reagierte, ändere nichts an den vom Beschwerdegegner vorgenommenen und als solche gewollten Warnungshandlungen (Urteil S. 19).
Der Beschwerdegegner schliesst sich in seinen Vernehmlassungen im Wesentlichen der Argumentation der Vorinstanz an.
3.2 Die Beschwerdeführer halten dem entgegen, der Beschwerdegegner sei nicht berechtigt gewesen, den Angriff mit dem Messer abzuwehren. Es könne zudem nicht von einem schonenden und stufenweisen Vorgehen im Sinne der bundesgerichtlichen Rechtsprechung gesprochen werden. Vom Herumfuchteln und der sehr feinen, oberflächlichen Schnittverletzung am Rücken des Opfers sei keine Warnwirkung ausgegangen. Der Beschwerdegegner habe nie behauptet, seine Absicht sei es gewesen, sich durch die Schnittverletzung zuerst mit geringerem Einsatz des Messers zu verteidigen. Angemessen wäre gewesen, wenn er dem Opfer vorerst einen Stich oder Stiche ins Bein zugefügt hätte. Dies wäre ihm nicht nur möglich gewesen, sondern hätte auch nahegelegen und dem natürlichen Bewegungsablauf entsprochen.
3.2 Die Beschwerdeführer halten dem entgegen, der Beschwerdegegner sei nicht berechtigt gewesen, den Angriff mit dem Messer abzuwehren. Es könne zudem nicht von einem schonenden und stufenweisen Vorgehen im Sinne der bundesgerichtlichen Rechtsprechung gesprochen werden. Vom Herumfuchteln und der sehr feinen, oberflächlichen Schnittverletzung am Rücken des Opfers sei keine Warnwirkung ausgegangen. Der Beschwerdegegner habe nie behauptet, seine Absicht sei es gewesen, sich durch die Schnittverletzung zuerst mit geringerem Einsatz des Messers zu verteidigen. Angemessen wäre gewesen, wenn er dem Opfer vorerst einen Stich oder Stiche ins Bein zugefügt hätte. Dies wäre ihm nicht nur möglich gewesen, sondern hätte auch nahegelegen und dem natürlichen Bewegungsablauf entsprochen.
3.3 3.3.1 Wird jemand ohne Recht angegriffen oder unmittelbar mit einem Angriff bedroht, so ist der Angegriffene und jeder andere berechtigt, den Angriff in einer den Umständen angemessenen Weise abzuwehren (Art. 15 StGB).
3.3.2 Nach der Rechtsprechung muss die Abwehr in einer Notwehrsituation nach der Gesamtheit der Umstände als verhältnismässig erscheinen. Eine Rolle spielen vor allem die Schwere des Angriffs, die durch den Angriff und die Abwehr bedrohten Rechtsgüter, die Art des Abwehrmittels und dessen tatsächliche Verwendung. Die Angemessenheit der Abwehr ist aufgrund jener Situation zu beurteilen, in der sich der rechtswidrig Angegriffene im Zeitpunkt seiner Tat befand. Es dürfen nicht nachträglich allzu subtile Überlegungen darüber angestellt werden, ob der Angegriffene sich nicht allenfalls auch mit anderen, weniger einschneidenden Massnahmen hätte begnügen können und sollen (BGE 136 IV 49 E. 3.2 mit Hinweisen).
3.3.3 Besondere Zurückhaltung ist bei der Verwendung von gefährlichen Werkzeugen zur Abwehr (Messer, Schusswaffen etc.) geboten, da deren Einsatz stets die Gefahr schwerer oder gar tödlicher Verletzungen mit sich bringt. Angemessen ist die Abwehr, wenn der Angriff nicht mit weniger gefährlichen und zumutbaren Mitteln hätte abgewendet werden können, der Täter womöglich gewarnt worden ist und der Abwehrende vor der Benutzung des gefährlichen Werkzeugs das Nötige zur Vermeidung einer übermässigen Schädigung vorgekehrt hat. Auch ist eine Abwägung der auf dem Spiel stehenden Rechtsgüter unerlässlich. Doch muss deren Ergebnis für den Angegriffenen, der erfahrungsgemäss rasch handeln muss, mühelos erkennbar sein (BGE 136 IV 49 E. 3.3 mit Hinweisen).
3.3.3 Besondere Zurückhaltung ist bei der Verwendung von gefährlichen Werkzeugen zur Abwehr (Messer, Schusswaffen etc.) geboten, da deren Einsatz stets die Gefahr schwerer oder gar tödlicher Verletzungen mit sich bringt. Angemessen ist die Abwehr, wenn der Angriff nicht mit weniger gefährlichen und zumutbaren Mitteln hätte abgewendet werden können, der Täter womöglich gewarnt worden ist und der Abwehrende vor der Benutzung des gefährlichen Werkzeugs das Nötige zur Vermeidung einer übermässigen Schädigung vorgekehrt hat. Auch ist eine Abwägung der auf dem Spiel stehenden Rechtsgüter unerlässlich. Doch muss deren Ergebnis für den Angegriffenen, der erfahrungsgemäss rasch handeln muss, mühelos erkennbar sein (BGE 136 IV 49 E. 3.3 mit Hinweisen).
3.4 3.4.1 Der Beschwerdegegner befand sich aufgrund des unrechtmässigen Angriffs in einer Notwehrsituation. Er musste gemäss der vorinstanzlichen Feststellung angesichts der massiven Einwirkung auf seinen Kopf mit schweren Verletzungen rechnen. Er war daher berechtigt, den Angriff mit dem Messer abzuwehren (vgl. BGE 136 IV 49 E. 4.1 und 4.2).
3.4.2 Der Messereinsatz muss jedoch verhältnismässig sein. Er darf nur mit besonderer Zurückhaltung erfolgen und muss wenn möglich angedroht werden. Verlangt wird zudem, dass zuerst ein schonenderer bzw. milderer Einsatz des Messers zur Erreichung des Abwehrerfolgs versucht wird, der sich in erster Linie gegen weniger verletzliche Körperteile wie Beine und Arme zu richten hat (BGE 136 IV 49 E. 4.2; Urteil 6B_1039/2010 vom 16. Mai 2011 E. 2.1.4). Die Beschwerdeführer machen zu Recht geltend, dass vom Herumfuchteln des Beschwerdegegners und der ca. 2 cm langen, sehr feinen und oberflächlichen, schnittartigen Verletzung am Rücken von D._ (kant. Akten, Fasz. 4.1 Beleg 45 S. 41) keine Warnwirkung ausging, da dies von den anderen Beteiligten nicht wahrgenommen wurde. Dass der Beschwerdegegner den Messereinsatz auch verbal androhte, stellt die Vorinstanz nicht fest.
Der Einsatz des Messers gegen den Oberkörper bzw. Brustbereich von D._ wäre auch unverhältnismässig gewesen, wenn der Beschwerdegegner davon hätte ausgehen dürfen, dieser habe bemerkt, wie er sich des Messers behändigte. Zwar dürfen im Nachhinein keine subtilen Überlegungen zur angemessenen Abwehr angestellt werden. Vorliegend hätte von einem Angegriffenen in der Situation des Beschwerdegegners jedoch erwartet werden können, dass er das Messer aus der gebückten Haltung heraus beispielsweise gegen die Beine des neben ihm stehenden D._ einsetzte, bevor er damit mit einer gewissen Heftigkeit auf dessen Oberkörper bzw. Brustbereich einstach. Weshalb ein weniger gefährlicher Einsatz des Messers gegen die Beine nicht möglich gewesen sein soll, legt die Vorinstanz nicht dar und ist gestützt auf die verbindliche Sachverhaltsfeststellung im angefochtenen Entscheid auch nicht ersichtlich.
Die Vorinstanz geht in ihren rechtlichen Erwägungen zu Unrecht von einem dreistufigen Vorgehen aus, obschon sie in tatsächlicher Hinsicht lediglich feststellt, der Beschwerdegegner müsse vor dem tödlichen, auf den Oberkörper des Opfers gerichteten heftigen Stich in einer ersten Phase mit dem Messer herumgefuchtelt haben. Von einem dreistufigen Vorgehen kann nicht die Rede sein. Dass der Beschwerdegegner zuerst versucht haben soll, D._ weniger gefährliche Verletzungen zuzufügen, wurde von diesem nie geltend gemacht. Die sehr feine, schnittartige Verletzung am Rücken soll vielmehr eine Folge des Herumfuchtelns in einer ersten Phase gewesen sein, wobei weder der Beschwerdegegner noch das Opfer diese bemerkten.
Der Messereinsatz des Beschwerdegegners entspricht gerade nicht dem vom Bundesgericht in BGE 136 IV 49 aufgezeigten Vorgehen. Es liegt ein Notwehrexzess vor.
4. Ein Fall von Putativnotwehr ist gegeben, wenn der Täter einem Sachverhaltsirrtum unterliegt, indem er irrtümlich annimmt, es sei ein rechtswidriger Angriff im Sinne von Art. 15 StGB gegenwärtig oder unmittelbar bevorstehend (BGE 129 IV 6 E. 3.2 mit Hinweisen). Handelt der Täter in einer irrigen Vorstellung über den Sachverhalt, so beurteilt das Gericht die Tat zugunsten des Täters nach dem Sachverhalt, den sich der Täter vorgestellt hat (Art. 13 Abs. 1 StGB).
Der Beschwerdegegner befand sich bezüglich des vermeintlichen Angriffs der beiden Angestellten in einem Sachverhaltsirrtum, da diese sich an der Auseinandersetzung in Wirklichkeit nur schlichtend beteiligten. Dies war insofern unerheblich, als die Notwehr auch ausgehend von der irrigen Vorstellung des Beschwerdegegners unverhältnismässig war.
5. 5.1 Die Vorinstanz führt in der Eventualbegründung aus, selbst wenn die Handlung des Beschwerdegegners im Vorgarten seines Einfamilienhauses als Notwehrexzess qualifiziert würde, wäre sie nach Art. 16 Abs. 2 StGB entschuldbar. Insbesondere aufgrund der massiven Einwirkung auf seinen Kopf wäre ihm eine heftige Gemütsbewegung im Sinne einer entschuldbaren Aufregung über den Angriff zuzugestehen. Nicht entschuldbar wäre die Aufregung, wenn der Beschwerdegegner selber schuldhaft durch deliktisches Verhalten die Ursache des Angriffs gesetzt hätte. Da er aber zumindest den Angriff im Vorgarten des Einfamilienhauses nicht durch eine Provokation veranlasst habe, habe er auch nicht dessen Ursache gesetzt. Die allenfalls im Untergeschoss erfolgte Provokation könne für die Auseinandersetzung im Vorgarten nach der Flucht über die Aussentreppe nicht mehr ausschlaggebend sein, handle es sich dabei doch um eine erneute, von der ersten zu trennende Auseinandersetzung. Im Übrigen liessen sich die massiven körperlichen Angriffe von D._ als Reaktion auf eine verbale Provokation des Beschwerdegegners nicht rechtfertigen (Urteil S. 19 f.). Letztlich lässt die Vorinstanz offen, von wem die verbale Provokation im Untergeschoss des Einfamilienhauses ausging (Urteil E. 3.2.1 S. 8).
5.2 Die Beschwerdeführer verneinen demgegenüber die Anwendbarkeit von Art. 16 Abs. 2 StGB. Die Beschwerdeführerin 1 argumentiert, die Vorinstanz gestehe dem Beschwerdegegner zu Unrecht eine entschuldbare heftige Gemütsbewegung zu. Dieser habe durch seine provozierenden Worte "du Schwanz" selber und schuldhaft die Ursache des Angriffs gesetzt. Eine entschuldbare Aufregung sei gemäss BGE 109 IV 5 daher zu verneinen. Die Vorinstanz gehe willkürlich darüber hinweg, dass die Auseinandersetzung im Kellergeschoss und jene im Vorgarten zusammenhängten. Wenn sie von einer massiven Überreaktion ausgehe, werde sie der bekanntlich impulsiven Natur und dem Ehrbegriff des kosovarischen Opfers nicht gerecht. Der Beschwerdegegner selber sei nicht schwer verletzt worden, und er habe sich selber ebenfalls mit Schlägen gewehrt. Er könne sich nicht auf Art. 16 Abs. 2 StGB berufen.
5.2 Die Beschwerdeführer verneinen demgegenüber die Anwendbarkeit von Art. 16 Abs. 2 StGB. Die Beschwerdeführerin 1 argumentiert, die Vorinstanz gestehe dem Beschwerdegegner zu Unrecht eine entschuldbare heftige Gemütsbewegung zu. Dieser habe durch seine provozierenden Worte "du Schwanz" selber und schuldhaft die Ursache des Angriffs gesetzt. Eine entschuldbare Aufregung sei gemäss BGE 109 IV 5 daher zu verneinen. Die Vorinstanz gehe willkürlich darüber hinweg, dass die Auseinandersetzung im Kellergeschoss und jene im Vorgarten zusammenhängten. Wenn sie von einer massiven Überreaktion ausgehe, werde sie der bekanntlich impulsiven Natur und dem Ehrbegriff des kosovarischen Opfers nicht gerecht. Der Beschwerdegegner selber sei nicht schwer verletzt worden, und er habe sich selber ebenfalls mit Schlägen gewehrt. Er könne sich nicht auf Art. 16 Abs. 2 StGB berufen.
5.3 5.3.1 Überschreitet der Abwehrende die Grenzen der Notwehr nach Art. 15 StGB, so mildert das Gericht die Strafe (Art. 16 Abs. 1 StGB). Überschreitet er die Grenzen der Notwehr in entschuldbarer Aufregung oder Bestürzung über den Angriff, so handelt er nicht schuldhaft (Art. 16 Abs. 2 StGB).
5.3.2 Die zu Art. 33 Abs. 2 aStGB (Fassung vor Inkrafttreten des neuen Allgemeinen Teils des StGB am 1. Januar 2007) ergangene Rechtsprechung ist auch im Rahmen von Art. 16 StGB massgebend. Art. 16 Abs. 2 StGB setzt voraus, dass die Aufregung oder die Bestürzung des Täters allein oder doch vorwiegend auf den rechtswidrigen Angriff zurückzuführen ist. Überdies müssen Art und Umstände des Angriffs derart sein, dass sie die Aufregung oder die Bestürzung entschuldbar erscheinen lassen. Nicht jede geringfügige Erregung oder Bestürzung kann Straflosigkeit zur Folge haben. Vielmehr muss der Richter von Fall zu Fall ermessen, ob die Aufregung oder die Bestürzung hinreichend erheblich war, um den Täter nicht mit Strafe zu belegen, und ob Art und Umstände des Angriffs diesen Grad der Erregung entschuldbar erscheinen lassen. Dabei muss er einen umso strengeren Massstab anlegen, d.h. einen umso höheren Grad entschuldbarer Aufregung oder Bestürzung verlangen, je mehr die Reaktion des Täters den Angreifer verletzt oder gefährdet. Insoweit schliesst dieser Strafausschliessungsgrund trotz der absoluten Formulierung ein gewisses Ermessen ein (BGE 102 IV 1 E. 3b).
Nicht jede Aufregung, die mit einem Angriff gezwungenermassen einhergeht, führt zur Straflosigkeit im Sinne von Art. 16 Abs. 2 StGB (BGE 109 IV 5 E. 3; Urteile 6B_1039/2010 vom 16. Mai 2011 E. 2.1.4; 6B_239/2009 vom 13. Juli 2009 E. 4.4). An eine die Straflosigkeit von schweren Notwehrüberschreitungen rechtfertigende Emotion sind besondere Anforderungen zu stellen. Dabei müssen Art und Ausmass der unangemessenen Abwehr sowie die gesamten Umstände des Einzelfalls berücksichtigt werden (BGE 109 IV 5 E. 3). Erforderlich ist, dass es dem Täter aufgrund der Aufregung oder Bestürzung über den Angriff nicht möglich war, besonnen und verantwortlich zu reagieren (vgl. Urteil 6S.734/1999 vom 10. April 2001 E. 4 zum Einsatz von Schusswaffen).
5.3.3 Wer selber schuldhaft durch deliktisches Verhalten die Ursache des Angriffs gesetzt hat, kann nicht geltend machen, eine unangemessene Abwehr sei auf eine entschuldbare Aufregung oder Bestürzung zurückzuführen. Der Täter, der sich aufgrund einer unangemessenen Notwehr seinerseits in einer Notwehrsituation befindet, kann sich nicht auf Art. 16 Abs. 2 StGB berufen (vgl. BGE 109 IV 5 E. 3). Führt der Angegriffene die Notwehrsituation absichtlich herbei, um den Angreifer gleichsam unter dem Deckmantel der Notwehr etwa zu töten oder zu verletzen (sog. Absichtsprovokation), handelt er nicht in Notwehr. Ist der Angriff nicht dergestalt provoziert, liegt grundsätzlich eine Notwehrsituation vor. Hat der Angegriffene die Notwehrlage zwar nicht absichtlich provoziert, aber durch sein Verhalten doch mitverschuldet bzw. -verursacht, hängt es von der Bewertung dieses Verhaltens ab, welche Folgen sich daraus für das Notwehrrecht ergeben. Je nach den Umständen kann das Notwehrrecht des Angegriffenen uneingeschränkt bestehen bleiben oder aber eingeschränkt sein (Urteil 6S.268/2005 vom 9. August 2005 E. 3.1 mit Hinweisen).
5.3.4 In welchem Zustand sich die angegriffene Person befand, ist eine Tatfrage. Rechtsfrage ist hingegen, ob dieser Zustand eine entschuldbare Aufregung oder Bestürzung im Sinne von Art. 16 Abs. 2 StGB begründet (Urteil 6S.38/2007 vom 14. März 2007 E. 2).
5.4 Die Vorinstanz geht für die Beurteilung der Entschuldbarkeit des Notwehrexzesses von der Vorstellung des Beschwerdegegners aus. Dies ist nicht zu beanstanden.
In der Lehre wird die Auffassung vertreten, bei einem Exzess in einer nur vermeintlichen Notwehrlage (Putativnotwehrexzess) gelange Art. 16 Abs. 2 StGB nicht zur Anwendung. Dies wird damit begründet, dass das Opfer der Überreaktion - in Ermangelung eines wirklichen Angriffs - keine Überreaktion veranlasste. Es sollte daher auch gegen Überreaktionen geschützt werden (KURT SEELMANN, Basler Kommentar, Strafrecht I, 2. Aufl. 2007, N. 5 zu Art. 16 StGB). Wie es sich damit verhält, braucht vorliegend nicht beantwortet zu werden. Bezüglich D._ lag ein tatsächlicher Angriff vor, während die vermeintliche Beteiligung der beiden Angestellten am Angriff ohnehin nicht intensiv war. Der Sachverhaltsirrtum steht einer Anwendung von Art. 16 Abs. 2 StGB nicht entgegen.
5.5 Wohl kann eine verbale Beleidigung für sich gesehen noch nicht zur Folge haben, dass es dem Opfer eines darauf folgenden schweren körperlichen Angriffs im Falle eines Notwehrexzesses im Sinne von BGE 109 IV 5 E. 3 gänzlich verwehrt ist, sich auf Art. 16 Abs. 2 StGB zu berufen. Auch lag keine Absichtsprovokation vor. Dennoch ist bei der Frage nach der Entschuldbarkeit der Aufregung auch dem Verhalten des Beschwerdegegners im Untergeschoss des Einfamilienhauses Rechnung zu tragen. Hierfür sind Art und Ausmass der unangemessenen Abwehr sowie die gesamten Umstände des Einzelfalls zu berücksichtigen (oben E. 5.3.2 und 5.3.3). Zwischen dem Streit im Untergeschoss und der tätlichen Auseinandersetzung, welche wenige Sekunden später im Vorgarten ihre Fortsetzung fand, bestand offensichtlich ein enger örtlicher und zeitlicher Zusammenhang. Die Vorinstanz stellt sich zu Unrecht auf den Standpunkt, die Geschehnisse im Untergeschoss und der Angriff im Vorgarten des Einfamilienhauses seien losgelöst voneinander zu betrachten. Der diesbezügliche Einwand der Beschwerdeführerin 1 ist begründet.
5.6 Die Vorinstanz gesteht dem Beschwerdegegner ohne nachvollziehbare Begründung eine entschuldbare Aufregung oder Bestürzung zu. Sie führt lediglich aus, der Beschwerdegegner habe sich in einer heftigen Gemütsbewegung befunden. Die von der Rechtsprechung bei der Beurteilung der Entschuldbarkeit geforderte Gesamtwürdigung der wesentlichen Umstände unterlässt sie.
Die Vorinstanz hätte namentlich der Schwere des Notwehrexzesses Rechnung tragen müssen. Die unverhältnismässige Notwehr hatte den Tod von D._ zur Folge. Gemäss der Rechtsprechung müssen an die Aufregung und deren Entschuldbarkeit daher hohe Anforderungen gestellt werden. Wie beim Umgang mit Schusswaffen muss auch beim Gebrauch eines gefährlichen Messers verlangt werden, dass dem Angegriffenen ein besonnener und verhältnismässiger Einsatz desselben nicht möglich war (vgl. oben E. 5.3.2).
Sodann wäre zu prüfen gewesen, ob dem Notwehrexzess eine verbale Provokation allenfalls gar vor dem Hintergrund des aktenkundig bereits vorbestehenden Konflikts vorausging, was angesichts der Schwere des Notwehrexzesses eher gegen die Entschuldbarkeit sprechen würde. Unklar ist zudem, inwiefern sich auch der Beschwerdegegner an der tätlichen Auseinandersetzung im Untergeschoss beteiligte und auch das Opfer Schläge einstecken musste. Bei einer auf eine verbale Provokation folgenden gegenseitigen Schlägerei kann der schwächeren Partei bei einem schweren Notwehrexzess grundsätzlich keine entschuldbare Aufregung oder Bestürzung im Sinne von Art. 16 Abs. 2 StGB zugutegehalten werden, wenn die vorerst verhältnismässig harmlose gegenseitige tätliche Auseinandersetzung in einem für sie bedrohlichen Angriff endet.
Sind die Voraussetzungen für die Annahme einer entschuldbaren Aufregung oder Bestürzung über den Angriff - an welche vorliegend hohe Anforderungen zu stellen sind - nicht erfüllt, wäre aufgrund des massiven und ohne Zweifel unrechtmässigen Angriffs jedoch von einem verringerten Verschulden auszugehen. Dies ist im Rahmen von Art. 16 Abs. 1 StGB bei der Strafzumessung zu berücksichtigen.
Die Beschwerden sind in diesem Punkt begründet.
6. Die Beschwerdeführerin 1 wendet ein, der Freispruch vom Vorwurf der falschen Anschuldigung beruhe auf einer willkürlichen Sachverhaltsfeststellung und verletze Art. 303 StGB.
6.1 Dem Beschwerdegegner wird von der Anklage vorgeworfen, er habe E._ und F._ am 25. September 2007 gegenüber der Polizei beschuldigt, ihn zugunsten von D._ gehalten sowie mit Händen und Füssen und einer Schaufel zusammengeschlagen zu haben. Am 16. November 2007 habe er förmlich Strafklage wegen Raufhandels gegen E._ und F._ erhoben. In der Folge habe er deren deeskalierendes Verhalten im Kellerraum der Baustelle selber einräumen müssen und eingestanden, das Zuschlagen in der zweiten Tatphase nicht mit eigenen Augen wahrgenommen zu haben. Indem er vorsätzlich und wider besseres Wissen falsche Tatsachenbehauptungen aufgestellt und diese den Strafverfolgungsorganen mitgeteilt habe, habe er den Tatbestand der falschen Anschuldigung erfüllt (Anklageschrift S. 24 f.).
6.2 Die Vorinstanz spricht den Beschwerdegegner vom Vorwurf der mehrfachen falschen Anschuldigung frei. Sie führt dazu aus, wenn dieser beim telefonischen Kontakt mit der Einsatzleitzentrale der Kantonspolizei Luzern gemeldet habe, er sei von drei Männern zusammengeschlagen worden, könne dies nicht dahin gehend ausgelegt werden, er sei auch im Untergeschoss des Einfamilienhauses von allen drei Beteiligten geschlagen worden. Er habe in der polizeilichen Befragung präzisiert, dass er unten (gemeint im Untergeschoss) nicht, aber oben schon geschlagen worden sei (Urteil E. 4.2 S. 22). Bezüglich der Vorkommnisse im Vorgarten des Einfamilienhauses habe für den Beschwerdegegner zumindest subjektiv der Eindruck entstehen können, E._ und F._ hätten ebenfalls auf ihn eingeschlagen. In dubio pro reo müsse daher davon ausgegangen werden, seine Aussagen seien nicht wider besseres Wissen erfolgt (Urteil E. 4.2 und 4.3 S. 22 f.).
6.3 Den Tatbestand der falschen Anschuldigung nach Art. 303 Ziff. 1 Abs. 1 StGB erfüllt, wer einen Nichtschuldigen wider besseres Wissen bei der Behörde eines Verbrechens oder eines Vergehens beschuldigt, in der Absicht, eine Strafverfolgung gegen ihn herbeizuführen.
Der subjektive Tatbestand von Art. 303 Ziff. 1 Abs. 1 StGB erfordert Vorsatz und in Bezug auf die Unwahrheit der Beschuldigung Handeln wider besseres Wissen. Das Bewusstsein, die Behauptung könnte möglicherweise falsch sein, genügt mithin nicht. Der Täter muss vielmehr sicher darum wissen, dass die Anschuldigung unwahr ist. Eventualvorsatz scheidet insofern aus (BGE 136 IV 170 E. 2.1 mit Hinweisen). Aus dem Umstand, dass das gegen eine angezeigte Person eröffnete Strafverfahren später eingestellt wird, lässt sich nicht ableiten, die Strafanzeige selbst sei wider besseres Wissen gegen Nichtschuldige erhoben worden (BGE 136 IV 170 E. 2.2).
6.4 Die vorinstanzlichen Ausführungen sind weder willkürlich noch verletzen sie Bundesrecht. Die Beschwerdeführerin 1 setzt sich damit nur ungenügend auseinander. Sie legt namentlich nicht dar, weshalb die Vorinstanz willkürliche Tatsachenfeststellungen trifft, wenn sie ausführt, der Beschwerdegegner habe gegenüber der Polizei nie behauptet, er sei von E._ und F._ bereits anlässlich der Auseinandersetzung im Untergeschoss angegriffen worden. Dass er bezüglich der Vorkommnisse im Vorgarten später einräumte, er habe nicht gesehen, wie er von E._ und F._ geschlagen wurde, lässt nicht zwingend darauf schliessen, er habe wider besseres Wissen gehandelt.
Die Rüge der Beschwerdeführerin 1 ist unbegründet, soweit darauf mangels einer ausreichenden Begründung eingetreten werden kann (Art. 106 Abs. 2 BGG).
7. 7.1 Die Beschwerden sind teilweise gutzuheissen und im Übrigen abzuweisen, soweit darauf einzutreten ist.
7.2 Die Parteientschädigung der teilweise obsiegenden Beschwerdeführer 2-4 ist vom Beschwerdegegner als unterliegender Partei zu tragen (Art. 68 Abs. 2 BGG). Dieser stellt im bundesgerichtlichen Verfahren ein Gesuch um unentgeltliche Rechtspflege und Verbeiständung, weshalb an der Einbringlichkeit der Parteientschädigung Zweifel bestehen. Das Gesuch der Beschwerdeführer 2-4 um unentgeltliche Rechtspflege und Verbeiständung wird im Falle der Uneinbringlichkeit der Parteientschädigung nicht gegenstandslos. Es wäre gutzuheissen, wenn deren Bedürftigkeit erstellt wäre. Dies ist nicht der Fall. Die Beschwerdeführerin 2 lebt mit ihren beiden Kindern aus der Ehe mit D._ (den Beschwerdeführern 3 und 4), ihrem derzeitigen Ehemann und einer Tochter aus dieser Ehe in einem gemeinsamen Haushalt. Die Ehegatten X._ verfügen zusammen über monatliche Einkommen von Fr. 12'512.70 (inklusive Kinderrenten und Kinderzulagen). Besondere Auslagen, welche bei der Beurteilung der Mittellosigkeit zu berücksichtigen wären, machen sie nicht geltend. Die Beschwerdeführer 2-4 können daher nicht als bedürftig gelten.
Soweit die Beschwerdeführer 2-4 mit ihrem Hauptantrag und ihren Sachverhaltsrügen unterliegen, ist das Gesuch um unentgeltliche Rechtspflege und Verbeiständung auch wegen Aussichtslosigkeit der Beschwerde abzuweisen.
7.3 Der Beschwerdeführerin 1 sind keine Kosten aufzuerlegen und ihr ist keine Entschädigung zuzusprechen (Art. 66 Abs. 4 und Art. 68 Abs. 3 BGG).
7.4 Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege und Verbeiständung wird im Umfang seines teilweisen Obsiegens gegenstandslos. Die Entschädigung an ihn ist vom Kanton Luzern (Verfahren 6B_810/2011) bzw. solidarisch von den Beschwerdeführern 2-4 und dem Kanton Luzern (Verfahren 6B_811/2011) zu tragen. Die Beschwerdeführerin 1 beantragt zumindest sinngemäss die Gutheissung der Beschwerde der Beschwerdeführer 2-4. Sie hat daher auch im Verfahren 6B_811/2011 als unterliegende Partei zu gelten. Die Parteientschädigungen sind dem Rechtsvertreter des Beschwerdegegners zuzusprechen.
Im Übrigen ist das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege und Verbeiständung gutzuheissen, da seine Bedürftigkeit erstellt ist (Art. 64 Abs. 1 BGG). Die Beigabe eines unentgeltlichen Rechtsbeistands war zudem notwendig (Art. 64 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 6B_810/2011 und 6B_811/2011 werden vereinigt.
2. Die Beschwerden werden teilweise gutgeheissen, das Urteil des Obergerichts des Kantons Luzern vom 20. Juni 2011 in Bezug auf den Freispruch vom Vorwurf der vorsätzlichen Tötung, begangen in Notwehrexzess, aufgehoben und die Sache zur Neubeurteilung an die Vorinstanz zurückgewiesen. Im Übrigen werden die Beschwerden abgewiesen, soweit darauf einzutreten ist.
3. Das Gesuch der Beschwerdeführer 2-4 um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
4. Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen, soweit es nicht gegenstandslos geworden ist.
5. Den Beschwerdeführern 2-4 werden Gerichtskosten von Fr. 1'000.-- auferlegt, unter solidarischer Haftung.
6. Der Beschwerdeführerin 1 und dem Beschwerdegegner werden keine Gerichtskosten auferlegt.
7. Der Beschwerdegegner hat dem Rechtsvertreter der Beschwerdeführer 2-4, Rechtsanwalt Beat Hess, für das bundesgerichtliche Verfahren 6B_811/2011 eine Entschädigung von Fr. 2'000.-- zu bezahlen.
8. Der Kanton Luzern hat dem Rechtsvertreter des Beschwerdegegners, Rechtsanwalt Urs Rudolf, für das bundesgerichtliche Verfahren 6B_810/2011 eine Entschädigung von Fr. 1'000.-- zu bezahlen.
9. Der Kanton Luzern und die Beschwerdeführer 2-4 haben dem Rechtsvertreter des Beschwerdegegners, Rechtsanwalt Urs Rudolf, für das bundesgerichtliche Verfahren 6B_811/2011 je eine Entschädigung von Fr. 500.-- (total Fr. 1'000.--) zu bezahlen, unter solidarischer Haftung.
10. Rechtsanwalt Urs Rudolf wird als unentgeltlicher Rechtsanwalt des Beschwerdegegners bestellt und ihm wird für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'000.-- aus der Bundesgerichtskasse ausgerichtet.
11. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Luzern, 4. Abteilung, schriftlich mitgeteilt.
Lausanne, 30. August 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld