Sachverhalt:
A. Das Obergericht des Kantons Schaffhausen erklärte X._ am 1. Dezember 2006 in zweiter Instanz der vorsätzlichen Tötung sowie anderer Delikte schuldig und verurteilte ihn zu 12 Jahren Zuchthaus, unter Anrechnung der ausgestandenen Untersuchungshaft und des vorzeitigen Strafvollzuges. Ferner ordnete es eine vollzugsbegleitende ambulante Massnahme im Sinne von aArt. 43 Ziff. 1 Abs. 1 StGB an. Mit Verfügung vom 24. Februar 2010 hob das Amt für Justiz und Gemeinden (Justizvollzug) des Kantons Schaffhausen die ambulante Massnahme auf und beantragte dem Obergericht, es sei die Anordnung einer stationären psychotherapeutischen Massnahme gemäss Art. 59 StGB anstelle des Strafvollzuges zu prüfen. Einen gegen diesen Entscheid von X._ erhobenen Rekurs wies der Regierungsrat des Kantons Schaffhausen mit Beschluss vom 2. November 2010 ab.
Das Obergericht des Kantons Schaffhausen holte mit Verfügung vom 12. August 2011 ein psychiatrisches Gutachten über die allfällige Änderung der Massnahme ein. Nach Eingang des Gutachtens am 29. Februar 2012 verzichtete es mit Beschluss vom 15. Juni 2012, eine stationäre therapeutische oder eine andere Massnahme anzuordnen. Die Kosten des Verfahrens, bestehend aus einer reduzierten Staatsgebühr von Fr. 700.-- sowie den Barauslagen im reduzierten Umfang von Fr. 24'700.-- für das Gutachten (Fr. 21'210.-- von Fr. 28'288.--) und die amtliche Verteidigung (Fr. 3'490.-- von Fr. 4'663.60) auferlegte es X._.
B. X._ führt Beschwerde in Strafsachen beim Bundesgericht, mit der er beantragt, der angefochtene Beschluss sei aufzuheben, und die Sache sei an die Vorinstanz zurückzuweisen. Ferner ersucht er um Gewährung der unentgeltlichen Rechtspflege.
C. Die Staatsanwaltschaft des Kantons Schaffhausen beantragt unter Hinweis auf den Beschluss des Obergerichts, die Beschwerde sei abzuweisen. Das Obergericht hat auf Stellungnahme verzichtet.
Erwägungen:
1. 1.1 Am 1. Januar 2011 ist die Schweizerische Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 312.0) in Kraft getreten. Gemäss Art. 448 StPO werden Verfahren, die bei Inkrafttreten der StPO hängig sind, grundsätzlich nach neuem Recht fortgeführt (Abs. 1). Verfahrenshandlungen, die vorher angeordnet oder durchgeführt worden sind, behalten ihre Gültigkeit (Abs. 2). Ist bei Inkrafttreten der StPO die Hauptverhandlung bereits eröffnet, wird sie gemäss Art. 450 StPO nach bisherigem Recht, vom bisher zuständigen Gericht, fortgeführt. Selbstständige nachträgliche Entscheide des Gerichts, worunter die nachträgliche Anordnung einer stationären therapeutischen Massnahme gemäss Art. 65 Abs 1 StGB fällt (vgl. Botschaft zur Vereinheitlichung des Strafprozessrechts vom 21.12.2005, BBl 2006 S. 1298) werden gemäss Art. 451 StPO nach Inkrafttreten der StPO von derjenigen Strafbehörde gefällt, die nach neuem Recht für das erstinstanzliche Urteil zuständig gewesen wäre (vgl. auch Art. 363 Abs. 1 und 364 Abs. 1 StPO; NIKLAUS SCHMID, Übergangsrecht der Schweizerischen Strafprozessordnung, 2010 [zit. Übergangsrecht], N 248 f). Dies gilt auch für Verfahren, die am 1. Januar 2011 bei einer alt-, aber nicht mehr neurechtlich zuständigen Behörde hängig sind. Diese hat das Verfahren der neu zuständigen Behörde zu überweisen (SCHMID, Übergangsrecht, N 250; anders noch ders., Handbuch des schweizerischen Strafprozessrechts, 2009 [zit. Handbuch], N 1865 Fn. 53, und Praxiskommentar StPO, 2009 [zit. Praxiskommentar], Art. 451 N 3 [Weiterführung nach altem Recht in sinngemässer Anwendung von Art. 450 StPO]; ebenso VIKTOR LIEBER, in: Donatsch/Hansjakob/Lieber Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2010, N 451 N 2).
1.2 Die Vorinstanz nimmt an, ein zum Zeitpunkt des Inkrafttretens der Schweizerischen Strafprozessordnung hängiges Verfahren betreffend eines nachträglichen Entscheids sei nach bisherigem Strafprozessrecht durchzuführen. Das vorliegende Verfahren richte sich demnach nach der Strafprozessordnung des Kantons Schaffhausen (angefochtener Beschluss S. 4).
1.3 Der Beschwerdeführer stellt sich auf den Standpunkt, das neue Recht sei anwendbar. Die Mitteilung der Vorinstanz, wonach sie die Anordnung einer stationären psychotherapeutischen Massnahme zu prüfen habe, sei nach Inkrafttreten der Schweizerischen Strafprozessordnung erfolgt. Nachträgliche Entscheide seien sinnvollerweise nach neuem Prozessrecht zu führen. Der angefochtene Beschluss verletze Bundesrecht, soweit er die Kostenauflage nach früherem kantonalen Verfahrensrecht beurteile (Beschwerde S. 4 f.)
1.4 Mit Verfügung vom 24. Februar 2010 hob der Justizvollzug die vollzugsbegleitende Massnahme nach aArt. 43 Ziff. 1 StGB auf und beantragte, es sei die Anordnung einer stationären psychotherapeutischen Massnahme gemäss Art. 59 StGB zu prüfen (Akten des Obergerichts act. 2060 ff.). Am 2. November 2010 wies der Regierungsrat des Kantons Schaffhausen den vom Beschwerdeführer gegen diese Verfügung geführten Rekurs ab (Akten des Obergerichts act. 2103 ff.). Am 7. Januar 2011 teilte die Vorinstanz dem Beschwerdeführer mit, dass sie die Anordnung einer psychotherapeutischen Massnahme zu prüfen habe und sie die Bestellung eines amtlichen Verteidigers als erforderlich erachte (Akten des Obergerichts act. 2113). Mit Verfügung vom 10. März 2011 gewährte die Vorinstanz dem Beschwerdeführer für das weitere Verfahren die amtliche Verteidigung (Akten des Obergerichts act. 2118 ff.). Am 30. Mai 2011 teilte sie den Parteien ihre Absicht mit, zur Frage, ob eine stationäre Massnahme im Sinne von Art. 59 StGB anzuordnen sei, ein Gutachten einzuholen (Akten des Obergerichts act. 2125). Nach Eingang der Stellungnahme und der Anträge der Staatsanwaltschaft und des Beschwerdeführers (Akten des Obergerichts act. 2128 und 2129 ff.) verfügte die Vorinstanz am 12. August 2011 die Einholung des Gutachtens und und setzte den Chefarzt des Forensisch-Psychiatrischen Dienstes der Psychiatrischen Universitätsklinik Zürich als Gutachter ein (Akten des Obergerichts act. 2137 ff.). Mit dem angefochtenen Beschluss vom 15. Juni 2012 verzichtete die Vorinstanz auf die Anordnung einer stationären Massnahme.
Aus diesem Ablauf der einzelnen Verfahrensschritte ergibt sich, dass mit Rekursentscheid des Regierungsrates des Kantons Schaffhausen das Aufhebungsverfahren abgeschlossen und mit der Mitteilung der Vorinstanz vom 7. Januar 2011, spätestens aber mit Verfügung vom 10. März 2011, das nachträgliche Verfahren zur Prüfung der Anordnung einer sichernden Massnahme eingeleitet wurde. Damit war das Verfahren bei Inkrafttreten des neuen Rechts noch nicht hängig. Entgegen der Auffassung der Vorinstanz kommt daher die neue StPO zur Anwendung. Ob sachlich die Vorinstanz oder das erstinstanzliche Kantonsgericht, welches die ambulante Massnahme ursprünglich angeordnet hatte, zuständig ist, muss hier mangels entsprechender Rüge nicht geprüft werden.
2. 2.1 Der Beschwerdeführer wendet sich gegen die Auferlegung der Verfahrenskosten für das nachträgliche Verfahren. Der Verzicht auf eine stationäre Massnahme sei in Bezug auf die Kostenverlegung gleich zu behandeln wie ein Freispruch oder eine Einstellung des Verfahrens. In diesem Fall seien die Kosten grundsätzlich auf die Staatskasse zu nehmen. Der Betroffene werde nur kostenpflichtig, wenn er rechtswidrig und schuldhaft die Einleitung des Verfahrens bewirkt oder dessen Durchführung erschwert habe. Dies treffe auf ihn nicht zu. Er habe sich im Strafvollzug wohl verhalten und sich in der ambulant durchgeführten Therapie im Rahmen seiner Möglichkeiten willig und engagiert gezeigt und dementsprechend Fortschritte erzielt. Er habe sich lediglich geweigert, an gruppentherapeutischen Settings des Psychiatrisch-Psychologischen Dienstes (PPD) teilzunehmen. Er habe jedoch mehrfach bekräftigt, die Einzeltherapie weiterführen zu wollen. Dennoch habe das Amt für Justiz und Gemeinden die vollzugsbegleitende Massnahme in der Folge eingestellt. Die Voraussetzungen für die Prüfung einer nachträglichen Anordnung einer stationären Massnahme seien nicht erfüllt gewesen. Es hätten keine gewichtigen Hinweise für eine schwere psychische Störung bestanden, welche ohne Behandlung die öffentliche Sicherheit gefährdet hätte. Dementsprechend sei auch nicht notwendig gewesen, nur deswegen die Prüfung einer stationären Massnahme zu beantragen, weil er sich nicht in ein gruppentherapeutisches Konzept einbinden liess. Im Übrigen habe bereits das Erstgutachten vom 8. September 2004 eine stationäre Massnahme als unzweckmässig beurteilt. Die Anhebung eines Nachverfahrens sei mithin weder gesetzlich notwendig noch sachlich gerechtfertigt gewesen. Es bestehe kein adäquat kausaler Zusammenhang zwischen seinem Verhalten und der Durchführung des Nachverfahrens. In jedem Fall fehle es an einem schuldhaften Verhalten. Wie sich aus dem neuen Gutachten vom 29. Februar 2012 ergebe, sei ihm bedingt durch seine Persönlichkeitsstruktur zumindest erschwert gewesen, sich unvorbereitet einer Gruppentherapie zu unterziehen. Für seine Weigerung seien mithin erhebliche psychische Defizite ursächlich, welche von den Verantwortlichen des PPD nicht erkannt worden seien. Schliesslich habe die Vorinstanz auch seine finanzielle Situation nicht berücksichtigt. Er verfüge abgesehen von seinem Pekulium weder über Einkünfte noch Vermögen. Kosten in der Höhe von CHF 28'890.-- seien in hohem Masse geeignet, ihn kurz vor seiner bedingten Entlassung erheblich zu belasten und seine Resozialisierung und Integration im Alltag zu erschweren (Beschwerde S. 5 ff.).
2.2 Die Vorinstanz nimmt an, der Beschwerdeführer habe mit der Tatbegehung und grundsätzlich auch mit seinem Verhalten im Massnahmenvollzug das Verfahren verursacht und insbesondere eine aufwändige Begutachtung notwendig gemacht. Er werde deshalb praxisgemäss kostenpflichtig. Es sei allerdings zu berücksichtigen, dass es ihm seine rigid-zwanghaften, schizoiden und narzisstischen Persönlichkeitszüge schwer gemacht hätten, sich auf den Versuch einer Gruppentherapie einzulassen. Ausserdem wäre es möglicherweise hilfreich gewesen, ihn an die neue Therapeutin anzugewöhnen und ihn schrittweise, mit klaren inhaltlichen Vorgaben in die Gruppentherapie zu integrieren. Dem Beschwerdeführer könne unter diesen Umständen das Scheitern der vollzugsbegleitenden Massnahme nicht vollständig angelastet werden. Es rechtfertige sich, die Kosten für das dadurch ausgelöste vorliegende Verfahren leicht zu reduzieren und ihm lediglich im Umfang von drei Vierteln aufzuerlegen. Dafür spreche auch, dass dem Beschwerdeführer die Resozialisierung nicht unnötig erschwert werden solle (angefochtener Beschluss S. 31 f.).
3. 3.1 Die Verlegung der Kosten (Art. 422 StPO) richtet sich nach dem Grundsatz, wonach Kosten zu tragen hat, wer sie verursacht (Urteil des Bundesgerichts 6B_93/2012 vom 26.9.2012, E. 4.4.1, zur Publikation vorgesehen). So gründet die Kostentragungspflicht des Beschuldigten im Falle eines Schuldspruchs (Art. 426 Abs. 1 StPO) auf der Annahme, dass er Einleitung und Durchführung des Strafverfahrens als Folge seiner Tat veranlasst und daher zur Tragung der Verfahrenskosten verpflichtet sein soll (Urteil des Bundesgerichts 6B_93/2012 vom 26.9.2012 E. 4.4.1 mit Hinweisen, zur Publikation vorgesehen; SCHMID, Praxiskommentar, Art. 426 N 1; ders., Handbuch, N 1782). Erforderlich ist ein adäquater Kausalzusammenhang zwischen dem zur Verurteilung führenden strafbaren Verhalten und den durch die Abklärung entstandenen Kosten (YVONA GRIESSER, in: Donatsch/Hansjakob/Lieber Kommentar zur Schweizerischen Strafprozessordnung [StPO], 2010, N 426 N 3/18; THOMAS DOMEISEN, in: Basler Kommentar, Strafprozessordnung, 2011, Art. 426 StPO N 3).
Wird das Verfahren eingestellt oder die beschuldigte Person freigesprochen, können ihr nach Art. 426 Abs. 2 StPO die Verfahrenskosten ganz oder teilweise auferlegt werden, wenn sie rechtswidrig und schuldhaft die Einleitung des Verfahrens bewirkt oder dessen Durchführung erschwert hat. Gemäss Art. 416 StPO sind die Bestimmungen über die Verfahrenskosten für alle nach Massgabe der StPO geführten Strafverfahren anwendbar, mithin auch für Verfahren bei selbstständigen nachträglichen Entscheiden des Gerichts nach Art. 363 ff. StPO.
3.2 Der Justizvollzug stellte in seiner Verfügung vom 24. Februar 2010 den Antrag, es sei eine stationäre psychotherapeutische Massnahme anstelle des Strafvollzugs zu prüfen. Das Amt gelangte zum Schluss, dem Beschwerdeführer sei es nicht gelungen, sich dem auf seine Persönlichkeitsstörung zugeschnittene Behandlungssetting zu unterziehen. Die Fortführung der ambulanten Massnahme sei daher aussichtslos. Der PPD führte in seinem Abschlussbericht vom 26. November 2009 aus, die Verweigerungshaltung des Beschwerdeführers verdeutliche das Ausmass der Persönlichkeitsstörung und die Dringlichkeit einer umfassenden delikts- und persönlichkeitsorientierten Behandlung (Vollzugsakten act. 318 ff.; angefochtener Beschluss S. 14 a.E.). Sowohl der Justizvollzug als auch der PPD stützen sich für ihre Auffassung auf das Gutachten der Psychiatrischen Klinik Rheinau vom 8. September 2004, welches dem Beschwerdeführer eine narzisstische Persönlichkeitsstörung sowie eine Anpassungsstörung attestiert (Vollzugsakten act. 107). Demgegenüber diagnostiziert das Gutachten der Psychiatrischen Universitätsklinik Zürich vom 29. Februar 2012 (Akten des Obergerichts act. 2151 ff.) dem Beschwerdeführer eine Persönlichkeit mit rigid-zwanghaften, schizoiden und narzisstischen Zügen sowie einen Zustand nach mittelgradiger depressiver Episode in 2003/2004 (Gutachten, act. 2211). Diese Diagnose grenzt sich von derjenigen des Erstgutachtens der Psychiatrischen Klinik Rheinau ab. Nach dem neuen Gutachten waren die bisherigen Therapiebemühungen auf die narzisstischen Persönlichkeitsanteile fokussiert, wobei die rigiden und um Kontrolle bemühten Persönlichkeitsanteile als Ausdruck eines narzisstisch-dissozialen Dominanzstrebens missdeutet worden seien. Beim Beschwerdeführer gehe es aber nicht um für narzisstisch-dissoziale Gewaltstraftäter charakteristische Dominanzbestrebungen, sondern um rigid-zwanghafte und schizoide Persönlichkeitsanteile und Unsicherheiten in der sozialen Interaktion. Diese hätten es dem Beschwerdeführer schwer gemacht, sich auf den Versuch einer Gruppentherapie einzulassen. Eine schwere psychische Störung verneint das Gutachten. Die Rückfallgefahr schätzt es auch ohne psychotherapeutische Behandlung als gering ein (Gutachten, act. 2214 ff., 2222 f.; vgl. auch angefochtener Beschluss S. 15 ff.).
3.3 Die Vorinstanz begründet ihren Kostenentscheid einerseits damit, dass der Beschwerdeführer mit der Tatbegehung Anlass für das nachträgliche Verfahren gegeben habe. Diese Auffassung hält vor Bundesrecht nicht stand. Die Auferlegung der Kosten erfordert einen adäquaten Kausalzusammenhang zwischen der Straftat und den entstandenen Kosten. Ein solcher ist hier nicht ersichtlich. Es mag zutreffen, dass das Tötungsdelikt, dessen der Beschwerdeführer schuldig gesprochen worden ist, als natürliche Ursache für das nachträgliche Verfahren angesehen werden kann. Es lässt sich indes nicht sagen, dass das ursprüngliche Delikt nach dem gewöhnlichen Lauf der Dinge und den Erfahrungen des Lebens Ursache für das nachträgliche Verfahren war.
Zum andern nimmt die Vorinstanz an, der Beschwerdeführer habe das Verfahren und insbesondere die aufwändige Begutachtung durch sein Verhalten im Massnahmenvollzug verursacht. Auch diese Begründung überzeugt nicht. Aufgrund des neuen psychiatrischen Gutachtens ist davon auszugehen, dass die Weigerung des Beschwerdeführers, sich auf die Gruppentherapie einzulassen, im Zusammenhang mit seiner rigid-zwanghaften und schizoiden Persönlichkeit und seinen Unsicherheiten in der sozialen Interaktion steht, welche jedoch nicht als schwere psychische Störung einzuordnen sind. Anlass für die Annahme, es könnte beim Beschwerdeführer eine schwere psychische Störung vorliegen, die eine stationäre therapeutische Massnahme erforderlich machte, bestand offensichtlich nicht. Die Aufhebung der ambulanten Therapie und der Antrag auf Einleitung eines nachträglichen Verfahrens beruht auf einer Fehleinschätzung des PPD.
Im Übrigen könnten dem Beschwerdeführer die Kosten des Verfahrens in analoger Anwendung von Art. 426 Abs. 2 StPO nur auferlegt werden, wenn er rechtswidrig und schuldhaft die Einleitung des Verfahrens bewirkt oder dessen Durchführung erschwert hat. Dies ist nicht der Fall. Die Vorinstanz leitete das nachträgliche Verfahren auf Antrag des Justizvollzugs ein. Aus ihrer Mitteilung an den Beschwerdeführer vom 30. Mai 2011 (Akten des Obergerichts act. 2125) geht hervor, dass die Initiative für die Einholung eines neuen psychiatrischen Gutachtens von ihr ausging. Zwar stellte der Beschwerdeführer in seiner Eingabe vom 10. Juni 2011 (Akten des Obergerichts act. 2129) selbst den Antrag, es sei ein unabhängiges forensisch-psychiatrisches Gutachten einzuholen, doch erfolgte dies allein aufgrund der Einladung der Vorinstanz, sich zur Bestellung des Gutachters sowie zu den vorgesehenen Fragen zu äussern und gegebenenfalls Anträge zu stellen. In seiner Eingabe vom 27. März 2012 stellte der Beschwerdeführer den Antrag, es sei auf die nachträgliche Anordnung einer stationären Massnahme im Sinne von Art. 59 StGB zu verzichten (Akten des Obergerichts act. 2257). Mit diesem Antrag ist er durchgedrungen. Nach dem Gutachten haben es die rigid-zwanghaften und schizoiden Persönlichkeitsanteile dem Beschwerdeführer schwer gemacht, sich auf den Versuch einer Gruppentherapie einzulassen. Damit hat er das nachträgliche Verfahren zur Prüfung einer stationären Massnahme jedenfalls nicht in zivilrechtlich vorwerfbarer Weise verursacht (vgl. BGE 119 Ia 332 E. 1b).
Bei diesem Ergebnis kann offenbleiben, ob im Lichte von Art. 426 Abs. 3 lit. a StPO, nach welchem die beschuldigte Person diejenigen Verfahrenskosten nicht trägt, welche die Strafbehörden von Bund oder Kantonen durch unnötige oder fehlerhafte Verfahrenshandlungen verursacht haben, auf die Kostenauflage zu verzichten ist. Zwar fand die in den Entwürfen vorgesehene Möglichkeit der Übernahme unverhältnismässiger hoher Kosten auf die Staatskasse, etwa bei Gutachterkosten in einem Bagatellfall, keinen Eingang ins Gesetz. Doch könnten diese Konstellationen als Anwendungsfall nicht kausal verursachter Kosten im Sinne von Art. 426 Abs. 3 lit. a bezeichnet werden (SCHMID, Handbuch, N 1784 Fn. 52; ders., Praxiskommentar, Art. 426 N 10; DOMEISEN, a.a.O., Art. 426 StPO N 15).
Die Beschwerde erweist sich als begründet.
4. Die Beschwerde ist gutzuheissen. Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Schaffhausen hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege wird gegenstandslos; die Entschädigung ist praxisgemäss dem Vertreter des Beschwerdeführers auszurichten.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der Beschluss des Obergerichts des Kantons Schaffhausen vom 15. Juni 2012 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Schaffhausen hat dem Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 3'000.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 19. November 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Boog