Sachverhalt:
A. Mit Urteil des Geschworenengerichts des Kantons Zürich vom 12. Dezember 2001 wurde X._ der vorsätzlichen Tötung sowie der fahrlässigen Körperverletzung schuldig gesprochen und mit zehn Jahren Zuchthaus und einer Landesverweisung von 15 Jahren bestraft. Vollzugsbegleitend wurde eine ambulante Massnahme angeordnet. Gleichzeitig wurden die mit Urteil des Bezirksgerichts Zürich vom 17. April 1997 bedingt ausgefällte Freiheitsstrafe von acht Monaten Gefängnis (abzüglich 34 Tage erstandener Haft) und die mit Strafbefehl der Bezirksanwaltschaft Zürich vom 1. Juli 1998 bedingt ausgesprochene Freiheitsstrafe von drei Monaten Gefängnis als vollziehbar erklärt. X._ trat die Strafe am 12. Dezember 2001 an. Das Strafende fiel auf den 9. Januar 2010.
Am 3. November 2009 reichte X._ ein (letztes) Gesuch um bedingte Entlassung ein. Mit Verfügung vom 26. November 2009 wies das Amt für Justizvollzug des Kantons Zürich, Sonderdienst, das Gesuch ab und widerrief gleichzeitig die mit Verfügung vom 25. Mai 2009 erteilte Bewilligung für die Versetzung vom geschlossenen Vollzug ins Arbeitsexternat. Gegen diese Verfügung erhob X._ Rekurs bei der Direktion der Justiz und des Innern des Kantons Zürich. Das Verfahren wurde infolge Gegenstandslosigkeit am 14. Januar 2010 als erledigt abgeschrieben.
B. Am 16. Dezember 2009 stellte das Amt für Justizvollzug des Kantons Zürich, Sonderdienst, beim Obergericht des Kantons Zürich den Antrag, bei X._ nachträglich eine stationäre therapeutische Massnahme gemäss <ref-law> anzuordnen und den Vollzug der Reststrafe aufzuschieben. Zugleich beantragte es, superprovisorisch Sicherheitshaft zu verfügen. Mit Präsidialverfügung des Obergerichts des Kantons Zürich vom 23. Dezember 2009 wurde X._ in Sicherheitshaft versetzt.
Mit Eingabe vom 7. Januar 2010 beantragte X._ die Entlassung aus der Haft per 9. Januar 2010, eventualiter unter Auferlegung verschiedener Weisungen. Am 18. Januar 2010 verfügte der Präsident des Obergerichts des Kantons Zürich die Fortführung der Sicherheitshaft und wies den Eventualantrag auf Erlass von Ersatzmassnahmen ab.
C. X._ führt mit Eingabe vom 8. Februar 2010 Beschwerde in Strafsachen ans Bundesgericht, mit den Anträgen, die Präsidialverfügung des Obergerichts des Kantons Zürich vom 18. Januar 2010 sei aufzuheben, und er sei umgehend aus der Haft zu entlassen. Eventualiter sei er unter Auferlegung geeigneter Weisungen aus der Haft zu entlassen. Des Weiteren beantragt er die Gewährung der unentgeltlichen Rechtspflege.
Das Amt für Justizvollzug und das Obergericht des Kantons Zürich verzichten auf Stellungnahmen zur Beschwerde.
D. Mit Schreiben vom 5. Februar 2010 stellte X._ ferner beim Obergericht des Kantons Zürich Antrag um Gewährung des vorzeitigen Massnahmeantritts. Diesem Antrag wurde mit Präsidialverfügung vom 12. Februar 2010 stattgegeben. Mit Verfügung des Amtes für Justizvollzug des Kantons Zürich, Sonderdienst, vom 31. März 2010 wurde X._ im Rahmen des vorzeitigen Massnahmevollzugs per 3. Mai 2010 in ein Arbeitsexternat eingewiesen.

Erwägungen:
1. Verfahrensgegenstand bildet die Frage der Zulässigkeit der Sicherheitshaft.
1.1 Für die Anordnung bzw. Fortsetzung von Sicherheitshaft ist nach zürcherischem Strafprozessrecht grundsätzlich erforderlich, dass der Angeschuldigte eines Verbrechens oder Vergehens dringend verdächtigt wird und ausserdem ein besonderer Haftgrund vorliegt (§ 67 Abs. 2 Satz 1 i.V.m. § 58 Abs. 1 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919; StPO/ZH; LS 321). Die Haft ist durch mildere Massnahmen zu ersetzen, sofern sich der Haftzweck auch auf diese Weise erreichen lässt (§ 58 Abs. 4 i.V.m. § 72 f. StPO/ZH). Wird die Sicherheitshaft im sogenannten Nachverfahren angeordnet, so entfällt die Prüfung des dringenden Tatverdachts, da eine rechtskräftige Verurteilung bereits vorliegt. Im Nachverfahren bedarf es für die Anordnung von Sicherheitshaft einer hinreichenden Wahrscheinlichkeit, dass das Verfahren zu einer Massnahme führt, welche die Sicherstellung des Betroffenen erfordert. Ausserdem muss einer der in <ref-law>/ZH genannten Haftgründe hinzukommen. Nach der bundesgerichtlichen Rechtsprechung bildet § 67 in Verbindung mit <ref-law>/ZH eine im Hinblick auf das Grundrecht der persönlichen Freiheit genügende gesetzliche Grundlage für die Anordnung von Sicherheitshaft im Nachverfahren (<ref-ruling> E. 2.3.2; Urteil des Bundesgerichts 1B_4/2010 vom 21. Januar 2010 E. 3.1 mit Hinweisen). Diese Praxis ist grundsätzlich mit der Rechtsprechung des EGMR zu Art. 5 Ziff. 1 EMRK vereinbar (Urteil des EGMR Weber gegen Schweiz vom 26. Juli 2007 § 37 ff.).
1.2 Der Beschwerdeführer rügt, es liege kein Nachverfahren vor, da die Strafverbüssung beendet sei und keine Reststrafe im Raum stehe. Dieser Auffassung kann nicht gefolgt werden.
Als Nachverfahren gelten Verfahren, in denen sich das Gericht im Nachgang zu einem Urteil im Hinblick auf eine Massnahme oder auf den Vollzug einer aufgeschobenen Strafe nochmals mit der Sache zu befassen hat. Das Nachverfahren wird beim Gericht durch eine entsprechende Eingabe der Vollzugsbehörde anhängig gemacht (Andreas Donatsch/Niklaus Schmid, Kommentar zur Strafprozessordnung des Kantons Zürich, 1996, <ref-law>/ZH N. 7 f.).
Vorliegend beantragte die Beschwerdegegnerin mit Schreiben vom 16. Dezember 2009, beim Beschwerdeführer sei gestützt auf <ref-law> nachträglich eine stationäre therapeutische Massnahme gemäss <ref-law> anzuordnen, und der Vollzug der Reststrafe sei aufzuschieben. Sollte über dieses Begehren nicht bis zum Ablauf der Strafdauer am 9. Januar 2010 entschieden werden können, sei zur Sicherstellung der beantragten stationären Massnahme superprovisorisch Sicherheitshaft zu verfügen. Die Vorinstanz bejahte die Notwendigkeit der Sicherheitshaft und ordnete diese am 23. Dezember 2009 an. Am 18. Januar 2010 verfügte sie deren Fortführung (vgl. Sachverhalt lit. B).
Die Vorinstanz bejaht das Vorliegen eines Nachverfahrens im Sinne von <ref-law> zu Recht. Diese Bestimmung regelt die Änderung einer Sanktion vor oder während des Vollzugs einer Freiheitsstrafe oder Verwahrung. Die am 1. Januar 2007 in Kraft getretene Vorschrift ist auch auf Täter anwendbar, die vor dem Inkrafttreten des neuen Rechts eine Tat begangen haben oder beurteilt worden sind (Art. 2 Abs. 1 der Schlussbestimmungen der Änderung des StGB vom 13. Dezember 2002). Der Beschwerdeführer hatte seine Strafe am 16. Dezember 2009, als das Gesuch um Anordnung einer stationären therapeutischen Behandlung im Sinne von <ref-law> gestellt wurde, noch nicht vollständig verbüsst. Nach Lehre und Rechtsprechung kann bei Aufhebung einer vollzugsbegleitenden Behandlung grundsätzlich eine (nachträgliche) stationäre Massnahme im Sinne von <ref-law> in Frage kommen. Keine Anwendung findet hingegen <ref-law>, da die ambulante Massnahme nicht in Freiheit durchgeführt, der Vollzug der Freiheitsstrafe mithin nicht aufgeschoben wurde (vgl. Urteil des Bundesgerichts 6B_375/2008 vom 21. Oktober 2008; siehe auch Marianne Heer, Basler Kommentar Strafrecht I, 2. Aufl. 2007, <ref-law> N. 1; Günter Stratenwerth, Schweizerisches Strafrecht, AT II, 2. Aufl. 2006, § 9 Rz. 94 S. 313 f.).
Entgegen dem Vorbringen des Beschwerdeführers bedarf es dabei im Verfahren um Änderung der Sanktion gemäss <ref-law> keiner vorgängigen förmlichen Aufhebung der vollzugsbegleitenden ambulanten Massnahme. In solchen Fällen erscheint es sachgerecht, während der Phase der Sicherheitshaft bis zum vorzeitigen Massnahmeantritt respektive bis zum Entscheid über die stationäre therapeutische Massnahme die ambulante Massnahme fortdauern zu lassen. Wird alsdann gestützt auf <ref-law> eine stationäre therapeutische Massnahme angeordnet, ersetzt diese die (vorliegend bis zum 7. April 2011 befristete) ambulante Massnahme. Wird die stationäre therapeutische Massnahme hingegen verweigert und dementsprechend auch die (diesfalls ungerechtfertigte) Sicherheitshaft aufgehoben bzw. der Beschwerdeführer aus dem vorzeitigen Massnahmevollzug entlassen, kann die ambulante Massnahme ohne neuerliche Anordnung weitergeführt werden. Im Übrigen ist nicht ersichtlich, inwiefern der Beschwerdeführer durch die mangelnde förmliche Aufhebung der vollzugsbegleitenden ambulanten Massnahme beschwert sein sollte, da ihm sowohl der Rechtsweg gegen die verfügte Sicherheitshaft als auch gegen eine allfällige nachträgliche Anordnung einer stationären therapeutischen Massnahme offen steht.
1.3 Soweit der Beschwerdeführer geltend macht, mit der Sicherheitshaft nach verbüsster Strafe werde faktisch eine erneute Bestrafung vorgenommen, was gegen den Grundsatz "ne bis in idem" verstosse, ist seine Argumentation ebenfalls nicht stichhaltig. Die Sicherheitshaft zur Gewährleistung der Prüfung, ob eine stationäre Behandlung anzuordnen ist, verstösst nicht gegen das Verbot zweifacher Bestrafung. Die Sicherheitshaft wurde nicht nach vollständiger Verbüssung der Strafe angeordnet, sondern noch während des Strafvollzugs im Hinblick auf die Änderung der im Strafurteil angeordneten vollzugsbegleitenden ambulanten Behandlung (<ref-law>). Das Sachgericht wird im Rahmen der Beurteilung der Notwendigkeit einer stationären Behandlung und bei deren Ausgestaltung zu gewährleisten haben, dass den Anforderungen von Art. 5 Ziff. 1 lit. a EMRK entsprochen wird (vgl. Urteil des Bundesgerichts 1B_4/2010 vom 21. Januar 2010 E. 3.3).
1.4 Auch soweit der Beschwerdeführer schliesslich das Vorliegen des Haftgrunds der Wiederholungsgefahr (im Sinne von § 58 Abs. 1 Ziff. 3 und 4 StPO/ZH) bestreitet, ist seiner Beschwerde kein Erfolg beschieden.
Im Therapiebericht des PPD vom 15. Dezember 2009 wird die Anordnung einer stationären therapeutischen Massnahme gemäss <ref-law> mit der Begründung empfohlen, beim Beschwerdeführer bestehe (bei gegebenem deutlichem bis sehr hohem strukturellen Rückfallrisiko sowie aktuell moderater Beeinflussbarkeit und geringer aktueller dynamischer Risikoverminderung) unter den zu erwartenden Entlassungsbedingungen ohne sozial stimmigen Empfangsraum ein hohes Rückfallrisiko für schwere Gewaltstraftaten, welchem mit einer ambulanten Massnahme eindeutig nicht ausreichend begegnet werden könne. Gestützt darauf folgert die Vorinstanz zu Recht, die Anordnung einer stationären Behandlung falle aus legalprognostischen Gründen in Betracht, weshalb die Sicherheitshaft fortzuführen sei.
Nicht zu überzeugen vermag demgegenüber das Vorbringen des Beschwerdeführers, die Wiederholungsgefahr sei zu verneinen, da Tatort, Tatzeit oder die konkreten Opfer nicht bekannt und folglich die drohenden Tatbegehungen nicht hinreichend substanziiert bzw. spezifiziert seien. Der Argumentation des Beschwerdeführers zu folgen, hiesse, dass namentlich bei Gewohnheitstätern oder bei gemeingefährlichen Tätern trotz Gefährdung der Öffentlichkeit eine Wiederholungsgefahr (in der Regel) zu verneinen wäre, was offensichtlich dem Sinn und Zweck der Sicherheitshaft zuwiderliefe (vgl. zum Ganzen auch Donatsch/Schmid, a.a.O., <ref-law>/ZH N. 45 ff.; Niklaus Schmid, Handbuch des schweizerischen Strafprozessrechts, 2009, S. 444 ff.).
Zusammenfassend liegt die Aufrechterhaltung der Sicherheitshaft damit im öffentlichen Interesse (<ref-law>). Der Beschwerdeführer verkennt, das auch Art. 5 Ziff. 1 lit. c EMRK einer Inhaftierung grundsätzlich nicht entgegensteht, wenn diese geeignet erscheint, die erneute Begehung von Straftaten zu verhindern (<ref-ruling> E. 2.1).
1.5 Indem die Beschwerdegegnerin mit Verfügung vom 31. März 2010 den Beschwerdeführer per 3. Mai 2010 in ein Arbeitsexternat eingewiesen hat (vgl. Sachverhalt lit. D.), ist sein Eventualantrag, ihn unter Auferlegung geeigneter Weisungen aus der Haft zu entlassen, gegenstandslos geworden (vgl. Beschwerde S. 2 und S. 13 f.).
2. Die Beschwerde ist abzuweisen, soweit sie nicht gegenstandslos geworden ist. Da das Rechtsmittel von vornherein aussichtslos war, kann dem Gesuch um unentgeltliche Rechtspflege nicht entsprochen werden (<ref-law>).
Die Kosten des Verfahrens vor Bundesgericht sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Dabei ist seinen finanziellen Verhältnissen Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit sie nicht gegenstandslos geworden ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 1. Juni 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Stohner