Erwägungen:
1. 1.1 Im Jahr 1998 starb der 18-jährige B.X._ nach einem Sturz von einer Brücke in St. Gallen auf die 6,7 Meter tiefer liegende Autobahn, wo er von einem Personenwagen überfahren wurde. Mit Verfügung vom 21. Juni 1999 stellte das Untersuchungsrichteramt St. Gallen das in diesem Zusammenhang eröffnete Strafverfahren gegen Unbekannt definitiv ein, weil sich aufgrund der gerichtsmedizinischen Erkenntnisse und der weiteren Ermittlungen keine konkreten Anhaltspunkte für eine Dritteinwirkung ergeben hätten. Am 5. September 2000 wies die Staatsanwaltschaft des Kantons St. Gallen eine dagegen erhobene Beschwerde der Eltern des Verstorbenen, A.X._ und C.X._, ab.
1.2 Mit Entscheid vom 15. November 2007 wies die Anklagekammer des Kantons St. Gallen ein Wiederaufnahmebegehren der Eltern ab. Diese hatten ein neues Gutachten des Instituts für Rechtsmedizin der Universität München vom 7. Juni 2007 eingereicht, wonach ein Drittverschulden am Tod von B.X._ theoretisch nicht ausgeschlossen werden könne, vernünftige Zweifel an einer Suizidhandlung aber praktisch ausscheiden würden. Die Anklagekammer verneinte denn auch das Vorliegen konkreter Anhaltspunkte für ein möglicherweise strafbares Verhalten.
1.3 Mit Eingabe vom 19. Juli 2011 ersuchte A.X._ die Staatsanwaltschaft des Kantons St. Gallen um Einvernahme des Privatdetektivs Y._, der zwei Personen ermittelt habe, die bezeugen könnten, dass B.X._ umgebracht worden sei. Am 10. August 2011 lehnte der Erste Staatsanwalt die Wiederaufnahme des Strafverfahrens gegen Unbekannt im Zusammenhang mit dem Tod von B.X._ ab. Mit Entscheid vom 27. September 2011 wies die Anklagekammer eine dagegen erhobene Beschwerde ab.
1.4 Mit Beschwerde in Strafsachen vom 23. November 2011 an das Bundesgericht, präzisiert durch eine weitere Eingabe vom 24. November 2011, stellt A.X._ den Antrag, den Beschwerdeentscheid der Anklagekammer aufzuheben und diese bzw. das Untersuchungsamt St. Gallen, Erster Staatsanwalt, anzuweisen, das fragliche Verfahren wieder aufzunehmen, den genannten Privatdetektiv vorzuladen und diesen unter Zusicherung der Anonymität in Anwesenheit des Anwalts von A.X._ zu befragen.
1.5 Das Untersuchungsamt schliesst auf Abweisung der Beschwerde. Die Anklagekammer hat auf eine Vernehmlassung verzichtet. A.X._ hat sich am 10. Januar 2012 nochmals zur Sache geäussert.
2. 2.1 Für den angefochtenen Rechtsmittelentscheid vom 23. November 2011 gelten die Sachurteilsvoraussetzungen von Art. 81 BGG in der Fassung gemäss Anhang Ziff. II/5 des Strafbehördenorganisationsgesetzes vom 19. März 2010, in Kraft seit dem 1. Januar 2011 (Art. 132 Abs. 1 BGG). Nach Art. 81 Abs. 1 lit. b Ziff. 5 BGG setzt eine Beschwerdeberechtigung der Privatklägerschaft bzw. des Opfers voraus, dass der angefochtene Entscheid sich auf die Beurteilung der Zivilansprüche auswirken kann (BGE 137 IV 219 E. 2.2 S. 222, 246 E. 1.3.1 S. 247 f.). Der Beschwerdeführer legt in genügender Weise dar, soweit ihm dies im bisherigen Verfahren überhaupt möglich ist, dass er vorhat, Zivilansprüche geltend zu machen, falls das Verfahren mit neuer Ausrichtung wieder aufgenommen wird.
2.2 Da auch die übrigen formellen Anforderungen erfüllt sind, erweist sich die Beschwerde grundsätzlich als zulässig. Fraglich erscheint einzig, ob das auch für die Eingabe vom 24. November 2011 gilt. Diese ist an sich verspätet, enthält aber keinen neuen Antrag, sondern präzisiert lediglich, dass sich die Kosten- und Entschädigungsforderungen des Beschwerdeführers auch auf die unteren Instanzen beziehen. Angesichts des ohnehin offensichtlichen Verfahrensausganges kann jedoch offen bleiben, ob insofern, insbesondere mit Blick auf das erstinstanzliche Verfahren, eine rechtsgenügliche Begründung vorliegt.
3. 3.1 Nach Art. 323 Abs. 1 StPO verfügt die Staatsanwaltschaft die Wiederaufnahme eines durch Einstellungsverfügung rechtskräftig beendeten Verfahrens, wenn ihr neue Beweismittel oder Tatsachen bekannt werden, welche für eine strafrechtliche Verantwortlichkeit der beschuldigten Person sprechen und die sich nicht aus den früheren Akten ergeben. Die Wiederaufnahme eines eingestellten Verfahrens ist grundsätzlich an geringere Voraussetzungen geknüpft als die Revision eines rechtskräftigen Urteils gemäss Art. 410 ff. StPO (vgl. ROLF GRÄDEL/MATTHIAS HEINIGER, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 1 und 3 zu Art. 323 StPO). Unter diesen Voraussetzungen ist fraglich, ob der Grundsatz "in dubio pro duriore", der bei der Einstellung zu beachten ist und eine solche nur bei klarer Straflosigkeit bzw. offensichtlich fehlenden Prozessvoraussetzungen erlaubt (vgl. BGE 137 IV 219 E. 7 S. 226 f.), analog mit umgekehrter Stossrichtung auch bei der Wiederaufnahme gilt. Selbst wenn keine allzu hohen Anforderungen für eine Wiederaufnahme gelten sollten, müssen die neuen Hinweise auf eine strafrechtliche Verantwortlichkeit jedoch von gewisser konkreter Wesentlichkeit sein, damit neue Untersuchungshandlungen gerechtfertigt erscheinen.
3.2 Bereits 1998 vertrat die Familie des Verstorbenen die These der Fremdeinwirkung. Schon damals wurden daher die Ermittlungen auf ein mögliches Tötungsdelikt hin ausgeweitet. Hinweise auf eine Dritteinwirkung ergaben sich aber nicht. Im Gegenteil sprachen nicht nur die gerichtsmedizinische Untersuchung, sondern auch die weiteren Umstände für eine Selbsttötung. In dem von den Eltern angestrebten Revisionsverfahren im Jahre 2007 ergab sich nichts entscheidend anderes. Insbesondere kam auch das von den Eltern eingereichte Gutachten des Instituts für Rechtsmedizin der Universität München vom 7. Juni 2004 zum Schluss, angesichts fehlender objektiver Hinweise für eine Dritteinwirkung müssten vernünftige Zweifel an einer Suizidhandlung praktisch ausscheiden.
3.3 Der nunmehr vom Beschwerdeführer neu angerufene Privatdetektiv ist nur bereit, als anonymer Zeuge die Namen von zwei weiteren Zeugen zu nennen, die ebenfalls unter Wahrung der Anonymität angeblich aussagen wollen, unabhängig voneinander erfahren zu haben, dass Dritte angeworben worden seien, um den Sohn des Beschwerdeführers umzubringen. Wer dazu den Auftrag erteilt haben sollte, scheint aber auch den fraglichen Zeugen nicht bekannt zu sein. Diese Anhaltspunkte für ein mögliches Delikt sind sehr vage und unbestimmt und tragen nichts Wesentliches zur Feststellung einer konkreten Täterschaft bei. Insbesondere fehlen im Bericht der Privatdetektei genaue Angaben zum Inhalt der angeblichen Zeugenaussagen, die einer kritischen Würdigung standhalten und auch nur mutmasslich zu strafrechtlichen Folgen führen könnten. Eine strafrechtliche Verantwortlichkeit von Dritten am tragischen Tod des Sohnes des Beschwerdeführers bleibt damit sehr unwahrscheinlich. Damit schaffen die neuen Vorbringen keine konkreten Verdachtsmomente, die angesichts der unverändert stimmigen Anhaltspunkte für einen Suizid in den Akten die Wiederaufnahme des Strafverfahrens rechtfertigen würden.
4. Die Beschwerde erweist sich als offensichtlich unbegründet und ist im vereinfachten Verfahren nach Art. 109 BGG abzuweisen. Bei diesem Ausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons St. Gallen, Untersuchungsamt St. Gallen, und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 26. Januar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Uebersax