Sachverhalt:
A. B. und C. X._ (Beschwerdegegner 1) wurden nach mehrjährigen Auseinandersetzungen mit Nachbarn und Baubehörden von Stadt und Kanton St. Gallen verpflichtet, die Höhe des auf ihrem Grundstück Nr. YYY._ nach Plänen des Architekten A._ erstellten Wohnhauses ("Baumhaus"), das zu hoch gebaut worden war, auf das in der Baubewilligung vom 1. Juli 2002 festgelegte Mass zu reduzieren (siehe Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 14. September 2006, Urteil des Bundesgerichts 1P.708/2006 und 1P.710/2006 vom 13. April 2007 und Revisionsentscheid 1F_9/2009 vom 20. April 2009).
Am 14. November 2008 reichten die Beschwerdegegner 1 ein von der Baupolizeibehörde für die Wiederherstellung des rechtmässigen Zustandes verlangtes Rückbaugesuch ein. Dieses wurde am 9. Januar 2009 bewilligt. Die gegen diese Bewilligung erhobenen Rechtsmittel blieben erfolglos (siehe insb. Urteil des Bundesgerichts 1C_260/2009 vom 6. Oktober 2009).
B. A._ (Beschwerdeführer) und die A._ Architekten AG (Mitverfasserin des Rückbauprojekts) reichten am 25. November 2009 beim Kantonsgericht St. Gallen gegen die Beschwerdegegner 1 und die politische Gemeinde St. Gallen (Beschwerdegegnerin 2) Klage ein mit folgenden Rechtsbegehren:
"1. Es sei festzustellen, dass der Rückbau des Baumhauses um 38 cm eine Verletzung der Urheberrechtspersönlichkeit des Architekten im Sinne von Art. 11 Abs. 2 URG darstellt.
2. Es sei den Beklagten zu verbieten, den Rückbau vorzunehmen oder vornehmen zu lassen."
Mit gleichzeitig gestelltem Massnahmegesuch im Sinne von aArt. 65 Abs. 1 und 2 URG beantragten sie, den Beschwerdegegnern vorsorglich zu verbieten, den Rückbau vorzunehmen oder vornehmen zu lassen. Am 11. Januar 2010 wies der Präsident der III. Zivilkammer des Kantonsgerichts das Massnahmegesuch ab. Gegen diesen Entscheid erhoben die Beschwerdeführer sowohl Beschwerde an das Bundesgericht als auch kantonale Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons St. Gallen. Am 10. März 2010 wies der Präsident des Kassationsgerichts die Nichtigkeitsbeschwerde ab, soweit auf sie eingetreten werden konnte. Dagegen wurde kein Rechtsmittel ergriffen. Das Bundesgericht trat mit Urteil vom 6. Juli 2010 weder auf die subsidiäre Verfassungsbeschwerde noch auf die Beschwerde in Zivilsachen ein (Verfahren 4A_57/2010).
In der Replik vom 24. September 2010 beantragten A._ und die A._ Architekten AG neu, ihnen sei - für den Fall dass der Rückbau nicht mehr verhindert werden könne - eine Entschädigung von mindestens Fr. 200'000.-- zuzusprechen.
Die Beschwerdegegner trugen auf vollumfängliche Abweisung der Klage an, soweit auf sie einzutreten sei. Ausserdem teilten sie mit, am 4. Oktober 2010 habe durch das Amt für Baubewilligungen die Schlussabnahme stattgefunden. Dabei sei festgestellt worden, dass die (Rückbau-) Arbeiten ordnungsgemäss ausgeführt worden seien und die Gebäudehöhe dem Urteil des Verwaltungsgerichts und dem Korrekturgesuch vom 24. November 2008 entspreche.
Am 12. Mai 2011 erklärten A._ und die A._ Architekten AG den Rückzug des Rechtsbegehrens 2, also der Unterlassungsklage und der eventualiter erhobenen Forderungsklage.
Mit Entscheid vom 18. Mai 2011 schrieb das Kantonsgericht St. Gallen, III. Zivilkammer, Ziffer 2 des Klagebegehrens gemäss Replik als erledigt ab. Im Übrigen wies es die Klage ab. Der A._ Architekten AG sprach das Kantonsgericht die Aktivlegitimation ab, da das Urheberrecht betreffend das Baumhaus jedenfalls nicht bei ihr entstanden sei und eine Übertragung des einzig Prozessthema bildenden Urheberpersönlichkeitsrechts nicht möglich sei. Die Klage von A._ wies es mit der Begründung ab, dass der vom Kläger angerufene Art. 11 Abs. 2 URG auf den vorliegenden Fall nicht anwendbar sei. Ohnehin mangle es mit Blick auf den Rechtfertigungsgrund von Art. 52 OR an der Widerrechtlichkeit der Urheberpersönlichkeitsverletzung.
C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, den Entscheid des Kantonsgerichts St. Gallen vom 18. Mai 2011 aufzuheben. Es sei die Urheberrechtsverletzung im Sinne von Art. 11 Abs. 2 URG festzustellen. Eventuell sei die Sache zur Durchführung eines Augenscheins und zur Neubeurteilung der Feststellungsklage an die Vorinstanz zurückzuweisen. Innerhalb der Beschwerdefrist, am 11. Juli 2011, reichte er eine Ergänzung zur Beschwerde vom 7. Juli 2011 ein. Darin beantragt er subeventuell, die Kostenfolgen des Entscheids vom 18. Mai 2011 seien neu festzulegen. Ferner ergänzte er die Begründung mit weiteren Rügen und führte aus, welche Passagen in der Beschwerde vom 7. Juli 2011 entfallen.
Es wurden keine Antworten und keine Vernehmlassung eingeholt.
Am 20. September 2011 ersuchte der Beschwerdeführer um Erteilung der aufschiebenden Wirkung betreffend den vorinstanzlichen Kostenentscheid.
Erwägungen:
1. Mit dem heutigen Entscheid in der Sache wird das Gesuch um Erteilung der aufschiebenden Wirkung gegenstandslos.
2. Das Kantonsgericht hat als einzige kantonale Instanz im Sinne von aArt. 64 des Urheberrechtsgesetzes (URG; SR 231.1; nunmehr Art. 5 Abs. 1 lit. a der Schweizerischen Zivilprozessordnung [ZPO]) entschieden. Die Beschwerde in Zivilsachen ist daher unabhängig vom Streitwert zulässig (Art. 74 Abs. 2 lit. b BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) - auf die Beschwerde einzutreten.
3. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 BGG). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; vgl. BGE 136 I 65 E. 1.3.1; 134 II 244 E. 2.2; 133 III 439 E. 3.2 S. 444 f.).
Die Anwendung und Auslegung des kantonalen Zivilprozessrechts kann vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht, insbesondere gegen das Willkürverbot überprüft werden (Art. 95 BGG; BGE 135 III 513 E. 4.3 S. 521 f.; 134 III 379 E. 1.2 S. 382 f.), was entsprechende Rügen in der Beschwerdeschrift voraussetzt.
Macht der Beschwerdeführer eine Verletzung des Willkürverbots von Art. 9 BV geltend, genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Er hat vielmehr im Einzelnen aufzuzeigen, inwiefern dieser offensichtlich unhaltbar ist (BGE 135 III 513 E. 4.3 S. 522; 134 II 349 E. 3 S. 352). Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffend erscheint, genügt nicht (BGE 137 I 1 E. 2.4; 133 I 149 E. 3.1; 131 I 467 E. 3.1 S. 473 f.).
4. Vorab ist auf die formellen Rügen des Beschwerdeführers einzugehen:
4.1 Er führt aus, er habe vor der Vorinstanz mehrfach dargelegt, warum er die Durchführung eines Augenscheines resp. einer Expertise beantrage, nämlich um die Verstümmelung der äusseren Gebäudehülle und damit die Verletzung von Art. 11 Abs. 2 URG darzutun sowie die Rechtswidrigkeit des Rückbaus v.a. hinsichtlich Nichteinhaltung der Raumhöhe zu beweisen. Die Vorinstanz habe diesen Antrag übergangen resp. abgewiesen. Dadurch habe sie den Beweisführungsanspruch nach Art. 8 ZGB und den Gehörsanspruchs nach Art. 29 Abs. 2 BV verletzt. Ausserdem habe sie Art. 164 i.V.m. Art. 106 und 107 aZPO/SG sowie von Art. 172 und 175 aZPO/SG krass verletzt.
Mit diesen Ausführungen verkennt der Beschwerdeführer, dass die Frage der Entstellung des Werkes, für welche die Durchführung eines Augenscheines beantragt wurde, gar nicht entschieden zu werden brauchte, weil die Klage bereits aus anderen Gründen abzuweisen war. Irrelevant war auch das Vorbringen, der Rückbau sei hinsichtlich der Raumhöhe vorschriftswidrig. Über die baurechtliche Konformität des Rückbaus wurde im öffentlich-rechtlichen Verfahren rechtskräftig entschieden. Die ordnungsgemässe Ausführung des Rückbaus war im Rahmen der Schlussabnahme durch die Baubewilligungsbehörde zu kontrollieren und bildet nicht Gegenstand des vorliegenden Zivilverfahrens. Mangels Entscheiderheblichkeit der durch Augenschein bzw. Expertise zu beweisenden Tatsachen konnte die Vorinstanz von diesen Beweismassnahmen absehen, ohne den Beweisführungsanspruch nach Art. 8 ZGB oder das rechtliche Gehör nach Art. 29 Abs. 2 BV zu verletzen. Auf die Behauptung, die Vorinstanz habe durch die Ablehnung des besagten Antrags auch die Art. 164 i.V.m. Art. 106 und 107 aZPO/SG sowie Art. 172 und 175 aZPO/SG krass verletzt, ist nicht einzutreten, da nicht rechtsgenüglich aufgezeigt wird, inwiefern eine willkürliche Anwendung dieser Bestimmungen vorliegen soll (vgl. Erwägung 3).
4.2 Der Beschwerdeführer meint, die Vorinstanz habe zu Unrecht gestützt auf Art. 164 aZPO/SG die von ihm an der Hauptverhandlung eingereichten Fotografien und Pläne aus dem Recht gewiesen. Es habe sich dabei nicht um eine nachträgliche Eingabe gehandelt sondern um die Illustration des mündlichen Vortrags zur Rechtslage, nämlich um die Notwendigkeit eines Augenscheins darzutun.
Auch in diesem Punkt genügen die Ausführungen des Beschwerdeführers kaum den Begründungsanforderungen an eine Rüge willkürlicher Anwendung kantonaler Prozessvorschriften (vgl. Erwägung 3). Die Vorinstanz betrachtete die an den Schranken neu eingereichten Akten (Fotografien enthaltende Datenträger und Pläne) als unzulässig, da nicht ersichtlich und auch nicht vorgetragen worden sei, inwiefern die Voraussetzungen für eine nachträgliche Eingabe erfüllt seien. Dem widerspricht der Beschwerdeführer mit der Behauptung, die Voraussetzungen seien dem Gericht sehr wohl ersichtlich gewesen. Denn im Plädoyer sei ausgeführt worden, nachdem das Gesuch um vorgängigen Augenschein unverständlicherweise abgelehnt worden sei, würden die Fotos eingereicht, um erneut die nachträgliche Durchführung eines Augenscheins zu erwirken. Wenn die Vorinstanz aus diesen Ausführungen nicht ersah, dass die Voraussetzungen für die nachträgliche Eingabe der Fotos und Pläne zur Wahrung des rechtlichen Gehörs (Art. 164 Abs. 1 lit. b aZPO/SG) erfüllt seien, kann ihr keine Willkür vorgeworfen werden, ist doch mit keinem Wort dargetan, welche neuen Vorgaben oder Urkunden der Gegenpartei eine Stellungnahme in Form der Einreichung der Fotos und Pläne erforderten. Die Absicht, mit den neu eingereichten Fotos und Plänen die Vornahme des zuvor abgelehnten Augenscheins zu erwirken, legitimiert nicht zu einer Noveneingabe. Die Rüge der Verletzung von Art. 164 aZPO/SG ist abzuweisen, soweit darauf eingetreten werden kann.
4.3 Schliesslich bringt der Beschwerdeführer vor, mit der Nichtdurchführung eines Augenscheins und der Nichtbeachtung "neuer" Tatsachen und Beweismittel an der Hauptverhandlung habe die Vorinstanz überdies Art. 181 ff. sowie Art. 229 ZPO verletzt.
Diese Rüge zielt von vornherein ins Leere, nachdem die Schweizerische Zivilprozessordnung auf das vorliegende, noch vor Inkrafttreten derselben rechtshängig gemachte Verfahren nicht anwendbar war, sondern das bisherige Prozessrecht des Kantons St. Gallen galt (Art. 404 Abs. 1 ZPO).
5. In der Sache beanstandet der Beschwerdeführer die Auffassung der Vorinstanz, er könne sich für sein Feststellungsbegehren nicht auf Art. 11 Abs. 2 URG berufen.
5.1 Das Urheberrecht schützt den Urheber nicht nur in der Nutzung des Werks, sondern auch in seiner geistigen und persönlichen Beziehung zu ihm. Art. 11 URG sieht daher unabhängig von den in Art. 10 URG geregelten Verwendungsrechten Befugnisse vor, welche die Unversehrtheit des Werks gewährleisten und von ihrem Wesen her der Persönlichkeit des Urhebers verhaftet sind (vgl. Botschaft des Bundesrates vom 19. Juni 1989 zu einem Bundesgesetz über das Urheberrecht und verwandte Schutzrechte, BBl 1989 III 477 ff., 530). Nach Art. 11 Abs. 2 URG kann sich der Urheber oder die Urheberin jeder Entstellung des Werks widersetzen, die ihn oder sie in der Persönlichkeit verletzt, selbst wenn eine Drittperson vertraglich oder gesetzlich befugt ist, das Werk zu ändern oder es zur Schaffung eines Werkes zweiter Hand zu verwenden. Unter dieser Schranke steht ausdrücklich auch das gesetzlich gewährleistete Änderungsrecht des Eigentümers am ausgeführten Werk der Baukunst (Art. 12 Abs. 3 URG).
5.2 Die Vorinstanz hielt Art. 11 Abs. 2 URG auf den vorliegenden Fall für nicht anwendbar, da die Beschwerdegegner 1 nicht im Sinne dieser Bestimmung "vertraglich oder gesetzlich befugt" gewesen seien, den Rückbau vorzunehmen. Sie seien vielmehr gerichtlich dazu gezwungen gewesen. Nur bei der Möglichkeit freier Willensbetätigung könne einem entstellenden Eingriff in die Werkintegrität gestützt auf Art. 11 Abs. 2 URG entgegengetreten werden. Diese Bestimmung biete demgegenüber keinen Titel, um sich der gerichtlich bestätigten Rückbauverpflichtung zu widersetzen.
5.3 Diesen Erwägungen liegt die zutreffende Auffassung zugrunde, dass sich die Frage, ob eine aufgrund vertraglicher oder gesetzlicher Befugnis vorgenommene Änderung den Urheber in seiner Persönlichkeit verletzt, von vornherein nur für rechtmässig errichtete Werke der Baukunst stellt. Demgegenüber kann sich der Urheber bei ausgeführten Werken der Baukunst, die den einschlägigen öffentlich-rechtlichen Vorschriften (Raumplanungs-, Umweltschutz-, Natur- und Heimatschutz- sowie Baurecht) widersprechen, nicht unter Berufung auf Art. 11 Abs. 2 URG dagegen wehren, dass der rechtmässige Zustand hergestellt wird.
5.4 Der Beschwerdeführer beruft sich auf BARRELET/EGLOFF, die ausführen, der Schutz der Werkintegrität sei auch dort wirksam, wo das Änderungsrecht sich aus dem Gesetz ergebe (BARRELET/EGLOFF, Das neue Urheberrecht, 3. Aufl. 2008, N. 14 zu Art. 11 URG). Er meint, "aus dem Gesetz" sei hier gleichzusetzen mit der Rückbauverfügung vom 9. Januar 2009.
Diese Argumentation verfängt nicht. Die angerufene Ausführung von BARRELET/EGLOFF erläutert die Formulierung "vertraglich oder gesetzlich befugt" in Art. 11 Abs. 2 URG dahingehend, dass der Urheber sich nicht nur bei vertraglich eingeräumtem Änderungsrecht sondern auch bei entsprechender gesetzlicher Befugnis gegen eine ihn in der Persönlichkeit verletzende Entstellung wehren kann. Die ausgeführten Werke der Baukunst sind gerade Gegenstand einer solchen gesetzlich geregelten Änderungsbefugnis, indem Art. 12 Abs. 3 URG festhält, dass sie vom Eigentümer geändert werden dürfen. Gleichzeitig wird in dieser Bestimmung ausdrücklich bestätigt, dass diese Änderungsbefugnis dem Vorbehalt von Art. 11 Abs. 2 URG unterstellt ist. Indessen greift der Schutz nach dieser Bestimmung dann nicht, wenn ein rechtswidrig errichtetes Werk der Baukunst lediglich in den rechtmässigen Zustand versetzt wird (Erwägung 5.3). Die blosse Befolgung einer Rückbauverpflichtung zur Wiederherstellung des baurechtskonformen Zustandes fällt nicht unter Art. 11 Abs. 2 URG.
Daran ändert auch die vom Beschwerdeführer zitierte Passage aus dem Urteil des Bundesgerichts vom 6. Oktober 2009 (1C.260/2009 E. 4.4) nichts. Das Bundesgericht hielt dort fest, die Frage sei noch nicht entschieden worden, ob der Architekt als Urheber eines (Bau)Werks befugt sei, sich gegen dessen Entstellung zu wehren, beispielsweise durch eine Rückbauverfügung. Angesprochen war damit die Frage nach der Legitimation des Architekten, gegen eine Rückbauverfügung Rechtsmittel zu ergreifen (Beschwerdebefugnis). Die Frage war in casu indes nicht in allgemeiner Weise zu entscheiden, da bereits rechtskräftig über die Verpflichtung zum Rückbau entschieden worden war und es an einem erkennbaren schutzwürdigen Interesse der damaligen Beschwerdeführerin, der A._ Architekten AG, fehlte, sich gegen die Bewilligung des Rückbaugesuchs mit den von ihr selbst verfassten Plänen zur Wehr zu setzen. Die angesprochene Legitimationsfrage stellt sich im vorliegenden Verfahren nicht und der Beschwerdeführer legt nicht dar, was er aus der zitierten Passage für seinen Standpunkt ableiten will.
5.5 Der Beschwerdegegnerin 2 (Politische Gemeinde St. Gallen) wirft der Beschwerdeführer vor, bei ihrer Rückbauverfügung vom 9. Januar 2009 allfällige Urheberrechte und das Verhältnismässigkeitsprinzip nicht beachtet zu haben. Der angeordnete Rückbau sei wegen Unverhältnismässigkeit und Verstosses gegen die für Einfamilienhäuser vorgeschriebene minimale Raumhöhe von 2,4 m im obersten Hauptgeschoss rechtswidrig. Selbst wenn die Beschwerdegegnerin 2 einer Feststellungsklage nach Art. 11 Abs. 2 URG nicht direkt zugänglich wäre, müsste sie aufgrund des Zwangs, den sie mit der Androhung der Ersatzvornahme auf die Bauherrschaft ausgeübt habe, hier ins Recht gefasst werden. Da der Rückbau seinerseits rechtswidrig sei, fehle es entgegen der Meinung der Vorinstanz nicht an der Widerrechtlichkeit des Eingriffs.
Über die Frage der Wiederherstellung des rechtmässigen Zustands einschliesslich der Verhältnismässigkeit wurde im öffentlich-rechtlichen Verfahren rechtskräftig im Sinne des verfügten Rückbaus entschieden. Sie kann hier nicht erneut geprüft werden. Der Beschwerdeführer ist mit seiner Behauptung, der verfügte Rückbau sei rechtswidrig, nicht zu hören und vermag mit seiner darauf gestützten Argumentation von vornherein nicht durchzudringen.
5.6 Die Vorinstanz hat Art. 11 Abs. 2 URG demnach nicht verkannt, wenn sie annahm, der Beschwerdeführer könne sich im vorliegenden Fall nicht auf diese Bestimmung berufen, weder gegenüber den Beschwerdegegnern 1 noch gegenüber der Beschwerdegegnerin 2. Die Klage wurde zu Recht abgewiesen.
6. 6.1 Subeventuell beantragt der Beschwerdeführer, es seien die Kostenfolgen des angefochtenen Entscheids neu festzulegen. Die Entscheidgebühr und die Parteientschädigungen seien drastisch herabzusetzen. Er begründet dies damit, dass die Vorinstanz den Streitwert willkürlich auf Fr. 200'000.-- festgelegt habe, obwohl das Rechtsbegehren 2 zurückgezogen worden sei. Richtig wäre, von dem im Massnahmeverfahren angenommenen Streitwert von Fr. 50'000.-- auszugehen. Es sei nicht einzusehen, weshalb der Streitwert nur wegen des inzwischen zurückgezogenen Genugtuungsbegehrens plötzlich auf das Vierfache angewachsen sein soll.
6.2 Nach Art. 73 Abs. 1 aZPO/SG richtet sich der Streitwert nach den Rechtsbegehren des Klägers. Enthält das Rechtsbegehren keinen bestimmten Betrag, so richtet sich der Streitwert nach der übereinstimmenden Wertung der Parteien. Stimmt die Wertung der Parteien nicht überein oder ist sie offensichtlich falsch, so setzt der Richter den Streitwert fest (Art. 75 aZPO/SG).
6.3 Die Vorinstanz führte zum Streitwert aus, in den bisherigen Massnahme- bzw. Zwischenentscheiden sei von einem Streitwert von Fr. 50'000.-- ausgegangen worden. In ihrer Klage hätten sich die Kläger nicht zum Streitwert geäussert. In der Replik hätten sie ausgeführt, der Streitwert orientiere sich am noch nicht feststehenden Schaden. Anderseits sei der Betrag, den die Kläger für die erlittene Verletzung ihrer Urheberrechtspersönlichkeit forderten, also Fr. 200'000.--, eine Richtgrösse für die Festsetzung des Streitwertes. An den Schranken seien die Kläger wiederum nur von einem Streitwert von Fr. 50'000.-- ausgegangen, insbesondere da mit dem Rückzug des Rechtsbegehrens 2 nur noch das Feststellungsbegehren zur Diskussion stehe. Die Beschwerdegegner 1 hätten den Streitwert in der Höhe von 0.5 Mio., die Beschwerdegegnerin 2 von 0.5 - 1 Mio. beziffert.
Sodann verwies die Vorinstanz auf die Praxis, wonach in Streitigkeiten betreffend Bestand oder Verletzung von Immaterialgüterrechten der Streitwert erfahrungsgemäss zwischen Fr. 50'000.-- und Fr. 100'000.-- geschätzt wird, wenn es um eher unbedeutende Zeichen geht. Vorliegend sei von einem Streitwert von Fr. 200'000.-- auszugehen. Einerseits hätten die Kläger ihr geldwertes Interesse in der Replik auf mindestens diesen Betrag quantifiziert. Dem kurzfristigen Rückzug des Unterlassungs- und Schadenersatzbegehrens komme diesbezüglich kein wesentliches Gewicht zu. Anderseits könnten dem Feststellungsbegehren und der gegenstandslos gewordenen Unterlassungsklage kein höherer Streitwert im Sinne der Annahmen der Beschwerdegegner beigemessen werden.
6.4 Demnach ging die Vorinstanz gemäss Art. 75 Abs. 2 aZPO/SG vor, nachdem das klägerische Feststellungsbegehren keinen bestimmten Betrag enthielt und die Wertung der Parteien nicht übereinstimmten. Indem sie vom geldwerten Interesse ausging, wie es die Kläger in der Replik selber quantifiziert hatten, traf sie keinen unhaltbaren Entscheid. Es ist nicht ausschlaggebend, dass das zum Unterlassungsbegehren eventualiter gestellte Begehren auf Bezahlung von Fr. 200'000.-- ein Genugtuungsbegehren war, und nicht, wie die Vorinstanz ausführte, ein Schadenersatzbegehren und dass dieses zurückgezogen wurde. Denn es bleibt ohne dieses Eventualbegehren dabei, dass die Kläger ihr Vermögensinteresse auch am verbleibenden Feststellungsbegehren auf mindestens Fr. 200'000.-- veranschlagten. Indem die Vorinstanz im Rahmen der Schätzung des Streitwertes die Wertung der Kläger als Ausgangspunkt heranzog und die wesentlich höhere Wertung der Beschwerdegegner nicht als massgebend ausgab, traf sie keinen willkürlichen Entscheid zulasten des Beschwerdeführers. Da die eigene Wertung der Kläger im Massnahmeverfahren noch nicht vorlag (die Replik mit dem entsprechenden Begehren wurde erst danach eingereicht), kann der Vorinstanz auch nicht deshalb Willkür vorgeworfen werden, weil sie dem Hauptverfahren nicht denselben Streitwert zugrunde legte, wie er im Massnahmeverfahren angenommen worden war. Eine willkürliche Anwendung von Art. 75 Abs. 2 aZPO/SG ist nicht dargetan.
Die Vorinstanz konnte demnach willkürfrei von einem Streitwert von Fr. 200'000.-- ausgehen und die Gerichtsgebühr und Prozessentschädigungen entsprechend festsetzen. Der Beschwerdeführer nennt keinen anderen Grund als die Streitwertfestsetzung, aus dem die Festsetzung der Gerichtsgebühr willkürlich sein soll.
Die Zusprechung von je einer Parteientschädigung von Fr. 19'000.-- an die Beschwerdegegner 1 und die Beschwerdegegnerin 2 hält der Beschwerdeführer nicht nur wegen der Zugrundelegung eines Streitwertes von Fr. 200'000.-- für willkürlich, sondern auch, weil nicht berücksichtigt worden sei, dass die Beschwerdegegner unterschiedlich intensive resp. erfolglose Abwehrmassnahmen getroffen hätten. Mit diesem Vorbringen vermag der Beschwerdeführer die zugesprochenen Entschädigungen nicht als willkürlich auszuweisen. Entgegen der Behauptung des Beschwerdeführers sprach die Vorinstanz nicht jedem der Beklagten den einem Streitwert von Fr. 200'000.-- entsprechenden vollen Honorarbetrag zu. Sie berücksichtigte bei der Bemessung, dass die Beschwerdegegner eine einfache passive Streitgenossenschaft bildeten, dass beide bis zum kurz vor der Hauptverhandlung erfolgten teilweisen Klagerückzug damit rechnen mussten, die gesamten Fr. 200'000.-- zu bezahlen, und für die Abwehr der gegen sie gerichteten Klage(n) einen entsprechenden Aufwand betreiben durften. Diese Begründung ist nicht unhaltbar. Dass die Beschwerdegegnerin 2 mit ihren Einwänden der res iudicata und der mangelnden Aktivlegitimation (teilweise) unterlag, spielt keine Rolle, kommt es für die Verlegung der Parteikosten doch auf den Prozessausgang an. Diesbezüglich gilt aber auch die Beschwerdegegnerin 2 als obsiegende Partei. Mangels Willkür hat es demnach auch betreffend die Festsetzung der Parteikostenentschädigungen beim vorinstanzlichen Entscheid sein Bewenden.
6.5 Nicht einzugehen ist auf die Rüge, die vorinstanzliche Streitwertfestsetzung verletze auch Art. 91 ZPO, nachdem diese Bestimmung vorliegend nicht anwendbar war (vgl. Erwägung E. 4.3).
7. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Da keine Beschwerdeantworten eingeholt wurden, sind keine Parteientschädigungen zu sprechen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 26. September 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Widmer