Sachverhalt:
A. X._ wurde am 1. Februar 2005 von einem luxemburgischen Gericht zu 15 Monaten Gefängnis und einer Busse von Euro 1'500.-- verurteilt. Zu dieser Strafe sprach das Bezirksgericht Zürich mit Urteil vom 23. Juni 2006 wegen Urkundenfälschung und weiterer Delikte eine Zusatzstrafe von drei Monaten Gefängnis aus. Gleichzeitig ordnete es eine ambulante Massnahme an und schob die Gefängnisstrafe zu Gunsten der Massnahme auf.
Mit Verfügung vom 22. Oktober 2010 hob das Amt für Justizvollzug des Kantons Zürich die ambulante Massnahme wegen Aussichtslosigkeit im Sinne von Art. 63a Abs. 2 lit. b StGB auf. Es ersuchte das Bezirksgericht Zürich, eine stationäre Massnahme nach Art. 59 StGB anzuordnen. Zudem beantragte es, X._ sei bis zum Vorliegen eines vollstreckbaren Entscheids in Sicherheitshaft zu setzen. Mit Verfügung vom 29. Oktober 2010 gab der Haftrichter des Bezirksgerichts Zürich dem Antrag statt und ordnete die Sicherheitshaft an. Dagegen reichte X._ Beschwerde beim Bundesgericht ein. Dieses hob die Verfügung auf und wies die Sache zurück, damit der Haftrichter einen den Anforderungen von Art. 112 Abs. 1 BGG genügenden Entscheid fälle. Den Antrag auf Aufhebung der Sicherheitshaft wies es ab.
Mit Verfügung vom 3. Dezember 2010 ordnete der Haftrichter erneut die Sicherheitshaft an.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 9. Dezember 2010 beantragt X._, die Sicherheitshaft sei aufzuheben. Eventualiter sei die Sache an die Vorinstanz zur neuen Beurteilung zurückzuweisen.
Der Haftrichter und das Amt für Justizvollzug verzichten auf eine Vernehmlassung.

Erwägungen:
1. Gemäss Art. 78 Abs. 1 BGG beurteilt das Bundesgericht Beschwerden gegen Entscheide in Strafsachen. Ein kantonales Rechtsmittel gegen den angefochtenen Entscheid steht nicht zur Verfügung. Die Beschwerde ist nach Art. 80 i.V.m. Art. 130 Abs. 1 BGG zulässig. Der Beschwerdeführer erhielt unbestrittenermassen keine Möglichkeit, vor der Vorinstanz am Verfahren teilzunehmen. Zudem hat er ein rechtlich geschütztes Interesse an der Aufhebung des angefochtenen Entscheids. Er ist nach Art. 81 Abs. 1 BGG zur Beschwerde berechtigt. Das Bundesgericht kann nach Art. 107 Abs. 2 BGG bei Gutheissung der Beschwerde in der Sache selbst entscheiden. Deshalb ist der Antrag auf Haftentlassung zulässig. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2. 2.1 Der Beschwerdeführer rügt, dass der Haftrichter des Bezirksgerichts Zürich nach Art. 63a Abs. 3 StGB nicht zuständig sei, da die vorgeworfenen Delikte den Kanton Graubünden betreffen würden.
2.2 Gemäss der vom Beschwerdeführer genannten Bestimmung wird die erfolglose ambulante Behandlung durch das für die Beurteilung der neuen Tat zuständige Gericht aufgehoben, wenn der Täter während der ambulanten Behandlung eine Straftat begeht und damit zeigt, dass mit dieser Behandlung die Gefahr weiterer mit dem Zustand des Täters in Zusammenhang stehender Taten voraussichtlich nicht abgewendet werden kann. Mit dieser Zuständigkeitsregelung sollen Doppelspurigkeiten und Widersprüchlichkeiten vermieden werden (Botschaft vom 21. September 1998 zur Änderung des Schweizerischen Strafgesetzbuches [Allgemeine Bestimmungen, Einführung und Anwendung des Gesetzes] und des Militärstrafgesetzes sowie zu einem Bundesgesetz über das Jugendstrafrecht, BBl 1999 2092 Ziff. 213.442). Diesbezüglich weist der Haftrichter darauf hin, es sei nicht ersichtlich, dass bereits eine Strafuntersuchung eingeleitet worden sei. Diese Feststellung wird vom Beschwerdeführer nicht als falsch gerügt und bindet das Bundesgericht (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG). Zu Recht nimmt der Haftrichter deshalb an, dass insofern von der Regelzuständigkeit nach Art. 63a Abs. 2 StGB auszugehen ist und nicht von jener nach Art. 63a Abs. 3 StGB. Die Rüge der Verletzung dieser Bestimmung erweist sich als unbegründet.
3. 3.1 Der Beschwerdeführer macht eine Verletzung von Art. 30 Abs. 1 BV und von Art. 6 Ziff. 1 EMRK geltend. Er ist der Ansicht, die Vorinstanz hätte nicht auf den Schlussbericht des behandelnden Therapeuten abstellen dürfen. Dieser sei zufolge seiner Beziehungsnähe zum Betroffenen befangen und falle als Sachverständiger ausser Betracht.
3.2 Für Sachverständige gelten grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind (<ref-ruling> E. 3c S. 253 mit Hinweis). Da sie nicht Mitglied des Gerichts sind, richten sich die Anforderungen jedoch nicht nach Art. 30 Abs. 1 BV, sondern nach Art. 29 Abs. 1 BV (Urteil 6B_373/2010 vom 13. Juli 2010 E. 6.2 mit Hinweisen). Die Rüge der Verletzung dieser Anforderungen erweist sich vorliegend als unbegründet, denn der behandelnde Therapeut fungierte nicht als Sachverständiger. Die Vorinstanz verletzte somit Art. 29 Abs. 1 BV und Art. 6 Ziff. 1 EMRK nicht, indem sie auf den Schlussbericht des den Beschwerdeführer behandelnden Therapeuten abstellte.
4. 4.1 Der Beschwerdeführer bringt weiter vor, dass er vor dem Haftentscheid nicht angehört worden sei. Er macht eine willkürliche Anwendung von § 67 Abs. 2 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO/ZH; LS 321) sowie eine Verletzung von Art. 31 Abs. 3 BV und Art. 5 Ziff. 3 EMRK geltend.
4.2 Gemäss § 67 Abs. 2 StPO/ZH wird der Angeklagte nicht einvernommen und es werden keine Beweise abgenommen, wenn er sich bis zur Anklageerhebung in Untersuchungshaft befand. Der Beschwerdeführer legt dar, er sei am 30. Oktober 2010 freiwillig in die Klinik A._ eingetreten und befinde sich seither dort. Den Akten ist zu entnehmen, dass die Verfügung des Haftrichters vom 29. Oktober 2010 dem Polizeikommando des Kantons Zürich zugestellt und der entsprechende Empfangsschein anschliessend mit folgender Notiz versehen wurde: "ist und war in den letzten Jahren nie bei uns!". Weshalb der Haftrichter von einer Einvernahme des Beschwerdeführers, wie sie in § 61 StPO/ZH vorgesehen ist, absah und weshalb er davon ausging, dieser befinde sich bereits in Haft, ist nicht nachvollziehbar. Die Rüge der willkürlichen Anwendung von § 67 Abs. 2 StPO/ZH erweist sich somit als begründet und der angefochtene Entscheid ist schon aus diesem Grund aufzuheben.
5. 5.1 Der Beschwerdeführer wirft dem Haftrichter vor, er benenne weder die angeblich drohenden oder ausgeführten Delikte noch mache er Ausführungen zu deren Schwere. Zudem setze er sich nicht mit den im Beschwerdeverfahren vorgebrachten Einwänden auseinander und nehme keine Stellung zur Zweckmässigkeit und Verhältnismässigkeit der Sicherheitshaft. Schliesslich bleibe unberücksichtigt, dass der Beschwerdeführer nach Unterbruch der ambulanten Massnahme seine Krise selbst habe auffangen können und freiwillig in eine Klinik eingetreten sei.
5. 5.1 Der Beschwerdeführer wirft dem Haftrichter vor, er benenne weder die angeblich drohenden oder ausgeführten Delikte noch mache er Ausführungen zu deren Schwere. Zudem setze er sich nicht mit den im Beschwerdeverfahren vorgebrachten Einwänden auseinander und nehme keine Stellung zur Zweckmässigkeit und Verhältnismässigkeit der Sicherheitshaft. Schliesslich bleibe unberücksichtigt, dass der Beschwerdeführer nach Unterbruch der ambulanten Massnahme seine Krise selbst habe auffangen können und freiwillig in eine Klinik eingetreten sei.
5.2 5.2.1 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 5.2 S. 236 mit Hinweisen).
5.2.2 Diese Anforderungen an die Begründung des Entscheids sind vor dem Hintergrund der rechtlichen Voraussetzungen der Haft zu betrachten. Nach der Praxis des Bundesgerichts kann die Anordnung von Haft wegen Fortsetzungsgefahr dem strafprozessualen Ziel der Beschleunigung dienen, indem verhindert wird, dass sich das Verfahren durch immer neue Delikte kompliziert und in die Länge zieht. Auch die Wahrung des Interesses an der Verhütung weiterer Delikte ist nicht verfassungs- oder konventionswidrig. Vielmehr anerkennt Art. 5 Ziff. 1 lit. c EMRK ausdrücklich die Notwendigkeit, Angeschuldigte an der Begehung strafbarer Handlungen zu hindern, somit Spezialprävention, als Haftgrund (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
Bei der Annahme, dass der Angeschuldigte weitere Verbrechen oder erhebliche Vergehen begehen könnte, ist allerdings Zurückhaltung geboten. Die Aufrechterhaltung von strafprozessualer Haft wegen Fortsetzungsgefahr ist nur dann verhältnismässig, wenn einerseits die Rückfallprognose sehr ungünstig und anderseits die zu befürchtenden Delikte von schwerer Natur sind. Schliesslich gilt auch bei der Präventivhaft - wie bei den übrigen Haftarten -, dass sie nur als ultima ratio angeordnet oder aufrechterhalten werden darf. Wo sie durch mildere Massnahmen ersetzt werden kann, muss von der Anordnung oder Fortdauer der Haft abgesehen und an ihrer Stelle eine dieser Ersatzmassnahmen verfügt werden (<ref-ruling> E. 2.3 S. 73 mit Hinweisen).
5.2.3 Im angefochtenen Entscheid wird erwogen, das Amt für Justizvollzug habe die Aussichtslosigkeit der Fortführung der ambulanten Massnahme mit der Vornahme weiterer deliktischer Handlungen, vorwiegend aus dem Bereich der Betrugshandlungen, der Urkundenfälschungen, der Hochstapelei etc. begründet. Es sei von einer hohen Rückfallgefahr auszugehen, zumal der Beschwerdeführer sogar während der ambulanten Behandlung erhebliche, einschlägige Delikte begangen haben solle. Diese Strafhandlungen seien durch Drittauskünfte sowie durch die Aussagen des Beschwerdeführers selbst dokumentiert und es spiele keine Rolle, dass die Strafuntersuchungen teils eingestellt worden seien.
5.2.4 Mit diesen Ausführungen genügt die Vorinstanz den Anforderungen von Art. 29 Abs. 2 BV nicht. Hieran ändert auch der Verweis auf die Verfügung des Amts für Justizvollzug nichts. Eine neuerliche deliktische Tätigkeit des Beschwerdeführers wird dort mit den Auskünften eines Psychiaters begründet, welcher sich seinerseits im Wesentlichen auf Angaben der Mutter des Beschwerdeführers stützt. Diesbezüglich ist darauf hinzuweisen, dass die Anforderungen bezüglich der Schwere der Delikte bei der Aufhebung einer ambulanten Behandlung nach Art. 63a Abs. 3 StGB wesentlich geringer sind als jene für die Anordnung von Präventivhaft. Der Beschwerdeführer, der die ihm vorgeworfenen Delikte bestreitet, macht zu Recht geltend, dass es die Vorinstanz unterlassen hat, die entsprechenden Vorwürfe zu konkretisieren. Auch kritisiert er zu Recht, es spiele sehr wohl eine Rolle, ob die Strafuntersuchungen teilweise eingestellt worden seien. Die Rüge der Verletzung von Art. 29 Abs. 2 BV erweist sich damit ebenfalls als begründet.
6. Die Beschwerde ist teilweise gutzuheissen und der angefochtene Entscheid aufzuheben. Es erübrigt sich damit, auf die weiteren in der Beschwerdeschrift vorgetragenen Rügen einzugehen. Da sich der Beschwerdeführer nach eigenen Angaben derzeit nicht in Haft befindet und da zudem Haftgründe nicht offensichtlich fehlen, kommt die Anordnung der Haftentlassung nicht in Betracht. Der betreffende Antrag ist abzuweisen.
Nachdem bereits die Verfügung vom 29. Oktober 2010 des Haftrichters wegen unzulänglicher Begründung aufgehoben werden musste, hat der Haftrichter nun unter Wahrung des Anspruchs auf rechtliches Gehör unverzüglich einen neuen Entscheid zu fällen (Art. 31 Abs. 4 BV). Er wird sich dabei auch mit den Vorbringen des Beschwerdeführers zur Frage der Wiederholungsgefahr und der Verhältnismässigkeit der Haft auseinandersetzen müssen.
Gerichtskosten sind bei diesem Verfahrensausgang nicht zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Zürich hat dem anwaltlich vertretenen Beschwerdeführer eine angemessene Parteientschädigung zu entrichten (Art. 68 Abs. 2 BGG). Damit erweist sich dessen Gesuch um unentgeltliche Rechtspflege als gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der angefochtene Entscheid wird aufgehoben und die Angelegenheit wird zur neuen Beurteilung im Sinne der Erwägungen an den Haftrichter des Bezirksgerichts Zürich zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'226.50 zu entschädigen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Justizvollzug des Kantons Zürich, Abteilung Bewährungs- und Vollzugsdienste, und dem Bezirksgericht Zürich, Haftrichter, schriftlich mitgeteilt.
Lausanne, 20. Dezember 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold