Sachverhalt:
A. Mit Urteil vom 28. August 2006 sprach das Kantonsgericht von Appenzell Ausserrhoden Xa._ von den Vorwürfen der Anstiftung zur vorsätzlichen Tötung und der Anstiftung zur versuchten Körperverletzung frei. Hingegen befand es ihn der Drohung, der Tätlichkeit und der mehrfachen Widerhandlung gegen das BetmG schuldig und verurteilte ihn zu einer Gefängnisstrafe von sechs Wochen, unter Gewährung des bedingten Strafvollzugs bei einer Probezeit von fünf Jahren.
Gegen dieses Urteil erklärte die Staatsanwaltschaft des Kantons Appenzell Ausserrhoden die Appellation. Mit Urteil vom 10. Juli 2007 nahm das Obergericht von Appenzell Ausserrhoden davon Vermerk, dass das erstinstanzliche Urteil des Kantonsgerichts von Appenzell Ausserrhoden insoweit in Rechtskraft erwachsen ist, als Xa._ wegen Drohung, Tätlichkeit und mehrfacher Widerhandlungen gegen das BetmG schuldig gesprochen wurde (Dispositiv-Ziffer 1). Von der Anklage der Anstiftung zur vorsätzlichen Tötung sprach es Xa._ frei (Dispositiv-Ziffer 2). Dagegen befand es ihn der Anstiftung zur versuchten Körperverletzung schuldig (Dispositiv-Ziffer 3) und verurteilte ihn zu einer Freiheitsstrafe von 13 Monaten, einer Geldstrafe von 30 Tagessätzen à Fr. 80.-- und einer Busse von Fr. 400.-- (Dispositiv-Ziffer 4). Den Vollzug der Freiheits- sowie der Geldstrafe schob es bedingt auf, unter Ansetzung einer Probezeit von fünf Jahren (Dispositiv-Ziffer 5). Des Weiteren auferlegte es Xa._ zwei Fünftel der Verfahrenskosten, ausmachend Fr. 10'540.-- (Dispositiv-Ziffer 8), und sprach ihm und seinem amtlichen Verteidiger Entschädigungen zu (Dispositiv-Ziffer 9 und 10).
B. Xa._ führt Beschwerde in Strafsachen mit den Anträgen, die Dispositiv-Ziffern 3, 4, 5, 8, 9 und 10 des Urteils des Obergerichts von Appenzell Ausserrhoden vom 10. Juli 2007 seien aufzuheben, und er sei vom Vorwurf der Anstiftung zur versuchten Körperverletzung freizusprechen. Er sei zu einer Gefängnisstrafe von sechs Wochen zu verurteilen, wobei der Vollzug der Strafe bedingt aufzuschieben sei, unter Ansetzung einer Probezeit von fünf Jahren. Im Falle der Bestätigung des Schuldspruchs bezüglich des Vorwurfs der Anstiftung zur versuchten Körperverletzung sei die ausgesprochene Strafe angemessen zu reduzieren, eventualiter sei die Angelegenheit zu neuer Strafzumessung an die Vorinstanz zurückzuweisen.
C. Das Obergericht und die Angehörigen des Opfers haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde.
Erwägungen:
1. Auf die Beschwerde ist einzutreten, da sie unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) von der in ihren Anträgen unterliegenden beschuldigten Person (Art. 81 Abs. 1 lit. b Ziff. 1 BGG) eingereicht wurde und sich gegen einen von einer letzten kantonalen Instanz (Art. 80 BGG) gefällten Endentscheid (Art. 90 und 95 BGG) in Strafsachen (Art. 78 Abs. 1 BGG) richtet.
2. 2.1 Die Vorinstanz geht von folgendem Sachverhalt aus:
Am Nachmittag des 28. Februar 2005 gegen 15 Uhr kam es zwischen dem Beschwerdeführer und Ab._ in Herisau zu einer verbalen und tätlichen Auseinandersetzung. Der Streit endete mit einem Nasenbeinbruch des Beschwerdeführers. Dieser begab sich, nachdem er zunächst per Mobiltelefon mit Y._ - dem (Ex-)Freund einer seiner Schwestern - und seinem Bruder Xb._ telefoniert hatte, zur Behandlung der Verletzung ins Spital Herisau. Am Abend erhielt der Beschwerdeführer in seiner Wohnung Besuch von Y._. Um etwa 20.30 Uhr stiess Xb._ hinzu. In der Folge fuhren sie zu dritt im Personenwagen von Y._ zu einem Imbisslokal in Herisau. Um 20.44 Uhr meldete sich S._, der Schwager der Brüder X._, telefonisch bei Y._. Kurz darauf kam er ebenfalls ins Imbisslokal. Dort berichtete der Beschwerdeführer den drei andern von seiner Auseinandersetzung am Nachmittag. Die vier im Imbisslokal versammelten Männer entschieden, Ab._ einen "Denkzettel" zu verpassen, und brachten deshalb dessen Wohnadresse in Erfahrung. Um ca. 21.30 Uhr klingelte Y._ bei Ab._ und bewog ihn unter dem Vorwand, er müsse sein Auto umparkieren, dazu, seine Wohnung zu verlassen. Y._ kehrte zu den übrigen drei zurück und machte diese darauf aufmerksam, dass Ab._ sehr wahrscheinlich bewaffnet sei. Die vier warteten alsdann während 10 bis 15 Minuten auf der Strasse auf Ab._. Da dieser nicht erschien, beschlossen Y._ und der Beschwerdeführer mit dem Auto von Y._ in die Wohnung des Beschwerdeführers zurückzufahren. Xb._ und S._ gingen gerade zum Wagen der Ehefrau von S._, als sie doch noch auf Ab._ stiessen. Dieser sprach die beiden an, und Xb._ gab sich als Bruder des Beschwerdeführers zu erkennen. S._ zog in der Folge seine Waffe, welche er aus dem Auto geholt hatte, nachdem Y._ und der Beschwerdeführer den Ort des Geschehens bereits verlassen hatten, und gab einen Schuss auf Ab._ ab. Dieser brach augenblicklich zusammen. Ohne sich um das Opfer zu kümmern oder die Sanität zu rufen, fuhren S._ und Xb._ alsdann in die Wohnung des Beschwerdeführers zurück. Kurz nach 22 Uhr traf die von Dritten benachrichtigte Polizei am Tatort ein. Ab._ wurde ins Spital überführt, wo jedoch nur noch der Tod festgestellt werden konnte (angefochtenes Urteil S. 4-6).
2.2 S._ wurde wegen vorsätzlicher Tötung schuldig gesprochen und zu einer Freiheitsstrafe von zehn Jahren sowie zur Bezahlung von Schadenersatz und Genugtuung an die Beschwerdegegner im Gesamtbetrag von Fr. 66'000.-- verurteilt (in Rechtskraft erwachsenes Urteil des Obergerichts von Appenzell Ausserrhoden vom 10. Juli 2007).
3.1 3.1.1 Die Vorinstanz hat erwogen, es ergäben sich keine Anhaltspunkte, dass die vier Beteiligten über eine Tötung von Ab._ gesprochen, geschweige denn diese geplant hätten. Auch hätten der Beschwerdeführer und Y._ den Ort des Geschehens bereits verlassen gehabt, als S._ seine Schusswaffe überhaupt erst behändigt habe. Der Beschwerdeführer sei deshalb vom Vorwurf der Anstiftung zur vorsätzlichen Tötung freizusprechen (angefochtenes Urteil S. 19).
3.1.2 Die Vorinstanz hat weiter ausgeführt, die einfache Körperverletzung stelle ein Antragsdelikt dar. Rechtsanwalt Peter Sutter habe mit Schreiben vom 8. April 2005 an das Verhöramt erklärt, dass ihn der Bruder des Opfers, welcher sich im Strafverfahren betreffend Tötungsdelikt als Strafkläger konstituiert habe, mit der Interessenwahrung beauftragt habe. Mit Eingaben vom 13. April 2005 und vom 23. November 2005 habe Rechtsanwalt Peter Sutter dem Verhöramt weiter mitgeteilt, dass die Interessenwahrung auch die Schwester und die Mutter des Verstorbenen umfasse. Mit diesen Erklärungen hätten die Beschwerdegegner ihren Strafverfolgungswillen nicht auf den Tatbestand der vorsätzlichen Tötung beschränkt. Vielmehr dränge sich der Schluss geradezu auf, dass Personen, welche einen Angehörigen durch ein Gewaltdelikt verloren hätten, den Willen hätten, dass die Verantwortlichen unbedingt zur Rechenschaft gezogen würden. Falls eine Verurteilung wegen vorsätzlicher Tötung scheitere, sei der Wille der Angehörigen deshalb vermutungsweise darauf gerichtet, dass die Verantwortlichen zumindest wegen eines anderen Straftatbestands gegen Leib und Leben strafrechtlich belangt würden. Die Prozessvoraussetzung des gültigen Strafantrags liege somit vor (angefochtenes Urteil S. 19-21).
3.1.3 Die Vorinstanz hat zudem festgehalten, die vier Beteiligten hätten ihren Plan, Ab._ einen "Denkzettel" zu verpassen, aufgegeben, als dieser einige Zeit auf sich habe warten lassen. Zu prüfen bleibe damit, ob sich der Beschwerdeführer der versuchten einfachen Körperverletzung schuldig gemacht habe. Aufgrund der Vorgeschichte - dem Streit zwischen dem Beschwerdeführer und Ab._ - und der Umstände - das Opfer wurde nachts unter einem Vorwand aus seiner Wohnung gelockt - deute alles darauf hin, dass die Beteiligten Ab._ zusammenschlagen bzw. ihm ein ähnliches Übel hätten zufügen wollen, wie dieser es am Nachmittag dem Beschwerdeführer beigefügt habe. Der Vorsatz der Beteiligten habe sich mithin auf eine einfache Körperverletzung gerichtet. Der Beschwerdeführer habe als einziger ein persönliches Motiv für einen Angriff auf Ab._ gehabt. Er sei die treibende Kraft gewesen und habe bei den Mitbeteiligten den Entschluss, Ab._ einen "Denkzettel" zu verpassen, hervorgerufen. Indem die Beteiligten in einer bitterkalten Winternacht 10 bis 15 Minuten auf ihr Opfer gewartet hätten, hätten sie den letzten entscheidenden Schritt vollzogen, von dem es in der Regel kein Zurück mehr gebe. Die Anstiftung sei somit vollendet, da die Körperverletzung zumindest versucht worden sei (angefochtenes Urteil S. 21-27).
3.1.3 Die Vorinstanz hat zudem festgehalten, die vier Beteiligten hätten ihren Plan, Ab._ einen "Denkzettel" zu verpassen, aufgegeben, als dieser einige Zeit auf sich habe warten lassen. Zu prüfen bleibe damit, ob sich der Beschwerdeführer der versuchten einfachen Körperverletzung schuldig gemacht habe. Aufgrund der Vorgeschichte - dem Streit zwischen dem Beschwerdeführer und Ab._ - und der Umstände - das Opfer wurde nachts unter einem Vorwand aus seiner Wohnung gelockt - deute alles darauf hin, dass die Beteiligten Ab._ zusammenschlagen bzw. ihm ein ähnliches Übel hätten zufügen wollen, wie dieser es am Nachmittag dem Beschwerdeführer beigefügt habe. Der Vorsatz der Beteiligten habe sich mithin auf eine einfache Körperverletzung gerichtet. Der Beschwerdeführer habe als einziger ein persönliches Motiv für einen Angriff auf Ab._ gehabt. Er sei die treibende Kraft gewesen und habe bei den Mitbeteiligten den Entschluss, Ab._ einen "Denkzettel" zu verpassen, hervorgerufen. Indem die Beteiligten in einer bitterkalten Winternacht 10 bis 15 Minuten auf ihr Opfer gewartet hätten, hätten sie den letzten entscheidenden Schritt vollzogen, von dem es in der Regel kein Zurück mehr gebe. Die Anstiftung sei somit vollendet, da die Körperverletzung zumindest versucht worden sei (angefochtenes Urteil S. 21-27).
3.2 3.2.1 Der Beschwerdeführer bringt vor, es fehle an einem rechtsgültigen Strafantrag der Beschwerdegegner zur strafrechtlichen Verfolgung einer einfachen Körperverletzung. Die drei von der Vorinstanz angeführten Schreiben von Rechtsanwalt Peter Sutter hätten rein informativen Charakter und genügten den inhaltlichen Anforderungen eines Strafantrags nicht. In den Eingaben teile Rechtsanwalt Peter Sutter lediglich mit, dass ihn die Beschwerdegegner mit der Interessenwahrung in dem von Amtes wegen bereits eingeleiteten Strafverfahren wegen vorsätzlicher Tötung betraut hätten. Eine bedingungslose Erklärung des Willens der antragsberechtigten Personen, es solle eine vom Beschwerdeführer oder einem anderen Beteiligten am späten Abend des 28. Februar 2005 ausgeführte oder geplante einfache Körperverletzung zum Nachteil von Ab._ strafrechtlich verfolgt werden, könne hierin nicht erblickt werden, denn in keinem der Schreiben werde eine allfällige versuchte Körperverletzung auch nur erwähnt, geschweige denn näher umschrieben. Die Vorinstanz übersehe insbesondere, dass die angeblich begangene versuchte einfache Körperverletzung einen vom späteren Tötungsdelikt sachlich und zeitlich deutlich abgrenzbaren Sachverhalt darstelle. Zudem habe der Rechtsvertreter der Beschwerdegegner zum Zeitpunkt des Verfassens des ersten Schreibens die Strafakten noch gar nicht eingesehen, weshalb er auch nicht habe wissen können, dass die Beteiligten angeblich eine Körperverletzung zum Nachteil von Ab._ beabsichtigt hätten (Beschwerde S. 5-8).
3.2.2 Der Beschwerdeführer hält weiter fest, falls wider Erwarten vom Vorliegen eines gültigen Strafantrags ausgegangen werden sollte, so verletze seine Verurteilung den Grundsatz "in dubio pro reo". Dass er bei den Mitbeteiligten den Entschluss hervorgerufen habe, Ab._ am Abend des 28. Februar 2005 eine Körperverletzung zuzufügen, sei in keiner Weise erstellt. Bezeichnenderweise verwende die Vorinstanz denn auch den unbestimmten Rechtsbegriff "Denkzettel". Beabsichtigt gewesen sei einzig ein friedliches, klärendes Gespräch (Beschwerde S. 8-14).
3.3 Ist eine Tat nur auf Antrag strafbar, so kann jede Person, die durch sie verletzt worden ist, die Bestrafung des Täters beantragen (Art. 30 Abs. 1 StGB). Stirbt die verletzte Person, ohne dass sie den Strafantrag gestellt oder auf den Strafantrag ausdrücklich verzichtet hat, so steht das Antragsrecht jedem Angehörigen zu (Art. 30 Abs. 4 StGB).
Nach der Praxis des Bundesgerichts liegt ein gültiger Strafantrag vor, wenn die antragsberechtigte Person innert Frist bei der nach kantonalem Recht zuständigen Behörde und in der vom kantonalen Recht vorgeschriebenen Form ihren bedingungslosen Willen zur Strafverfolgung des Täters so erklärt, dass das Strafverfahren ohne weitere Willenserklärung weiterläuft (BGE 115 IV 1 E. 2a). Dazu ist erforderlich, dass der Sachverhalt, der verfolgt werden soll, zweifelsfrei umschrieben wird. Hingegen ist es nicht Sache der antragsstellenden Person, den Sachverhalt rechtlich zu qualifizieren. Die rechtliche Würdigung obliegt der Strafbehörde (vgl. BGE 131 IV 97 E. 3.3; BGE 115 IV 1 E. 2a; 85 IV 73 E. 2; Christof Riedo, Der Strafantrag, Diss. 2004, S. 400 f.; vgl. auch derselbe, Basler Kommentar, Strafrecht I, 2. Aufl., 2007, Art. 30 StGB N. 40). Weiss die antragsberechtigte Person zwar um das Vorliegen einer Straftat, vermag sie aber aufgrund fehlender Detailkenntnisse noch nicht einzuschätzen, ob es sich um ein Offizial- oder ein Antragsdelikt handelt, beginnt die Antragsfrist trotzdem bereits zu laufen. Ist etwa unklar, ob es sich bei der zu beurteilenden Straftat gegen die körperliche Integrität um ein Offizial- oder ein Antragsdelikt handelt und will die antragsberechtigte Person nicht nur ein Offizialdelikt, sondern auch ein damit allfällig einhergehendes Antragsdelikt verfolgt wissen, so muss sie sicherheitshalber stets einen Strafantrag einreichen (vgl. BGE 129 IV 1 E. 3.1; ferner auch Andreas Donatsch/Brigitte Tag, Strafrecht I, Verbrechenslehre, 8. Aufl., 2006, S. 411 Fn. 62; Riedo, a.a.O., S. 452). Treffen verschiedene Tatbestände zusammen, steht es der antragsberechtigten Person frei, falls sie eine Anzeige in Bezug auf Offizialdelikte einreicht, auf eine Strafverfolgung von daneben einhergehenden Antragsdelikten zu verzichten (BGE 115 IV 1 E. 2a; 85 IV 73 E. 2). Fehlt ein rechtsgültiger Strafantrag, ist ein bereits begonnenes Verfahren einzustellen (Riedo, a.a.O., Art. 30 StGB N. 71).
3.4 Die Argumentation der Vorinstanz, aus den Eingaben von Rechtsanwalt Peter Sutter lasse sich ableiten, die Beschwerdegegner wollten die Verantwortlichen unbedingt, d.h. wegen sämtlicher Delikte gegen Leib und Leben zur Rechenschaft ziehen, vermag nicht zu überzeugen. Inhalt der Schreiben ist einzig die Mitteilung der Mandatsverhältnisse in dem von Amtes wegen bereits eingeleiteten Verfahren wegen vorsätzlicher Tötung. Eine Erklärung des bedingungslosen Willens, der Beschwerdeführer solle wegen versuchter einfacher Körperverletzung verfolgt werden, ist darin nicht enthalten, zumal der massgebliche Sachverhalt weder erwähnt, geschweige denn näher umschrieben wird. Wie der Beschwerdeführer überdies zutreffend einwendet, war zu diesem Zeitpunkt eine allfällige versuchte Körperverletzung noch kein Thema im Verfahren. Eine Umschreibung des massgeblichen Sachverhalts wäre auch deshalb unabdingbar gewesen, weil - wie der Beschwerdeführer zu Recht vorbringt - der Vorwurf der versuchten einfachen Körperverletzung nicht auf dem gleichen Lebenssachverhalt wie die Anklage wegen vorsätzlicher Tötung basiert, geht doch die Vorinstanz explizit davon aus, dass der (angebliche) Versuch der einfachen Körperverletzung bereits abgeschlossen war, als Ab._ schliesslich erschien und es zu dem für diesen tödlich endenden Aufeinandertreffen mit S._ kam.
Da es folglich an einem rechtsgültigen Strafantrag und daher an einer Prozessvoraussetzung mangelt, erübrigt sich ein Eingehen auf die vom Beschwerdeführer in materieller Hinsicht erhobenen Rügen.
4. Die Beschwerde ist daher im Ergebnis gutzuheissen, und die Ziffern 3, 4, 5, 8, 9 und 10 des Urteils des Obergerichts von Appenzell Ausserrhoden sind aufzuheben.
Heisst das Bundesgericht die Beschwerde gut, so entscheidet es in der Sache selbst oder weist diese zu neuer Beurteilung an die Vorinstanz zurück (Art. 107 Abs. 2 BGG). In Anbetracht des der Vorinstanz bei der Strafzumessung wie auch bei der Regelung der Kosten- und Entschädigungsfolgen zustehenden Ermessensspielraums kommt ein reformatorischer Entscheid nicht in Betracht. In ihrem neuen Entscheid wird die Vorinstanz das Verfahren wegen Anstiftung zur versuchten einfachen Körperverletzung einzustellen und die für die rechtskräftigen Schuldsprüche wegen Drohung, Tätlichkeit und mehrfacher Widerhandlungen gegen das BetmG schuldangemessene Strafe festzusetzen haben, wobei - wie der Beschwerdeführer zu Recht einwendet - die Kombination einer bedingten Freiheitsstrafe mit einer bedingten Geldstrafe, wie sie die Vorinstanz im angefochtenen Urteil vorgenommen hat, gegen Art. 42 Abs. 4 StGB verstossen würde. Des Weiteren wird die Vorinstanz die Kosten- und Entschädigungsfolgen für das kantonale Verfahren zu regeln haben.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Appenzell Ausserrhoden hat dem Beschwerdeführer eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, die Ziffern 3, 4, 5, 8, 9 und 10 des Urteils des Obergerichts von Appenzell Ausserrhoden vom 10. Juli 2007 werden aufgehoben und die Sache wird im Sinne der Erwägungen zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Appenzell Ausserrhoden hat dem Beschwerdeführer eine Parteientschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Obergericht von Appenzell Ausserrhoden, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 9. Juli 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Schneider Stohner