Sachverhalt:
A.
Mit Urteil vom 23. Januar 2015 verurteilte das Kantonsgericht Luzern A._ wegen gewerbsmässigen Diebstahls, qualifizierter Sachbeschädigung, mehrfacher Sachbeschädigung, mehrfachen Hausfriedensbruchs, Raufhandel, mehrfacher grober Verletzung der Verkehrsregeln durch Nichtanpassen der Geschwindigkeit an die gegebenen Strassen-, Verkehrs- und Witterungsverhältnisse, mehrfachen Führens eines Motorfahrzeugs unter Betäubungsmitteleinfluss, mehrfacher Vereitelung einer Massnahme zur Feststellung der Fahrunfähigkeit, mehrfacher Entwendung eines Motorfahrzeugs zum Gebrauch, mehrfachen Führens eines Motorfahrzeugs ohne erforderlichen Führerausweis, mehrfachen Überschreitens der signalisierten und allgemeinen Höchstgeschwindigkeit, Nichtbeachten einer polizeilichen Weisung, mehrfachen pflichtwidrigen Verhaltens nach einem Verkehrsunfall, Führen eines nicht betriebssicheren Fahrzeugs, Benützen eines öffentlichen Verkehrsmittels ohne gültigen Fahrausweis und wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz. Es erkannte in Berücksichtigung einer leicht verminderten Schuldfähigkeit auf eine Freiheitsstrafe von drei Jahren und eine Busse, unter Anrechnung der ausgestandenen Untersuchungs- und Sicherheitshaft von 696 Tagen. Weiter ordnete es unter Aufschub des Vollzugs der Freiheitsstrafe eine Massnahme für junge Erwachsene nach <ref-law> an und verlängerte die bestehende Sicherheitshaft bis zum Antritt der Massnahme.
Mit Entscheid vom 8. Februar 2016 hoben die Vollzugs- und Bewährungsdienste des Kantons Luzern die angeordnete stationäre Massnahme nach <ref-law> mangels einer geeigneten Einrichtung auf. Zur Begründung führten sie aus, alle drei in Frage kommenden Massnahmeninstitutionen hätten eine Aufnahme abgelehnt. A._ sei nicht kooperativ, habe während einer Vorstellung angedeutet, es könne zu Tätlichkeiten gegenüber Mitarbeitern und Fluchtversuchen kommen, und zudem sei er bereits im Jahre 2011 aus einer der drei Einrichtungen ausgebrochen und habe einen Sozialpädagogen mit einem Japanmesser bedroht. Am 19. Februar 2016 empfahlen die Vollzugs- und Bewährungsdienste der Staatsanwaltschaft des Kantons Luzern, beim zuständigen Gericht die Anordnung einer stationären Massnahme nach <ref-law> zu beantragen.
Am 1. März 2016 beantragte die Staatsanwaltschaft dem Kantonsgericht, eine stationäre Massnahme nach <ref-law> anzuordnen und die Sicherheitshaft zu verlängern. Mit Präsidialverfügung vom 3. März 2016 verlängerte das Kantonsgericht die Sicherheitshaft provisorisch. Mit Beschluss vom 9. Mai 2016 verfügte es die Haftentlassung unter gleichzeitiger Anordnung einer Bewährungshilfe. Es erwog, A._ habe zwar gemäss dem Gutachten von Dr. med. Andreas Frei einen Hang zur Manipulation und sein Verhalten im eng strukturierten und überwachten Gefängnisalltag lasse nicht unbesehen Rückschlüsse auf eine Bewährung in Freiheit zu. Ob die erkennbare positive Entwicklung nachhaltig sei, habe die neu beauftragte Gutachterin Prof. em. Anneliese Ermer zu untersuchen. Ihrem Gutachten sei nicht vorzugreifen. Der anstehende Entscheid über eine stationäre Massnahme werde zudem voraussichtlich eine disziplinierende Wirkung haben.
Die Vollzugs- und Bewährungsdienste teilten dem Kantonsgericht in der Folge mit, dass die Zusammenarbeit mit A._ mangelhaft sei, worauf das Kantonsgericht eine Verwarnung aussprach. Am 28. Juli 2016 informierten sie das Kantonsgericht, dass A._ positiv auf Kokain getestet worden sei, und am 11. Oktober 2016 machten sie auf zwei nicht wahrgenommene Termine mit der Bewährungshilfe aufmerksam. Am 30. Oktober 2016 erstatteten sie schliesslich einen umfassenden Bericht.
Mit Urteil vom 31. Oktober 2016 ordnete das Kantonsgericht eine stationäre Massnahme nach <ref-law> an, wobei es sich unter anderem auf das nun vorliegende psychiatrische Gutachten von Prof. em. Ermer vom 25. August 2016 stützte. Mit ebenfalls vom 31. Oktober 2016 datierendem Beschluss versetzte es A._ bis zum Antritt der Massnahme in Sicherheitshaft.
B.
Mit Beschwerde in Strafsachen vom 24. November 2016 beantragt A._, der Beschluss des Kantonsgerichts vom 31. Oktober 2016 sei aufzuheben und er selbst sei unverzüglich aus der Haft zu entlassen.
Das Kantonsgericht und die Oberstaatsanwaltschaft Luzern beantragen die Abweisung der Beschwerde. Der Beschwerdeführer hält in seiner Stellungnahme dazu an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1.
Mit Urteil vom 31. Oktober 2016 hat das Kantonsgericht in einem selbständigen nachträglichen Verfahren gemäss <ref-law> eine stationäre Massnahme nach <ref-law> angeordnet (<ref-law>). Eine Begründung dieses Urteils steht noch aus. Gleichentags ordnete es die Sicherheitshaft an (<ref-law>). Gegen diesen Beschluss richtet sich die vorliegende Beschwerde in Strafsachen (<ref-law>). Der Beschwerdeführer ist durch die Anordnung der Sicherheitshaft in seinen rechtlich geschützten Interessen betroffen und damit zur Beschwerde befugt (<ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
Die Anordnung bzw. Fortführung von Sicherheitshaft zur Sicherung des Straf- oder Massnahmenvollzugs ist zulässig, wenn ein dringender Tatverdacht in Bezug auf ein Verbrechen oder Vergehen sowie Flucht-, Kollusions- oder Wiederholungsgefahr besteht (Art. 221 Abs. 1 i.V.m. <ref-law>). Wird Sicherheitshaft in einem selbständigen nachträglichen Verfahren im Hinblick auf eine therapeutische Massnahme angeordnet, entfällt die Prüfung des dringenden Tatverdachts, da eine rechtskräftige Verurteilung bereits vorliegt. Hingegen bedarf es einer hinreichenden Wahrscheinlichkeit, dass das Verfahren zu einer Massnahme führt, welche die Sicherstellung des Betroffenen erfordert (vgl. <ref-ruling> E. 2.3.1 S. 337; Urteil 1B_319/2016 vom 13. September 2016 E. 3 mit Hinweisen; zur Sicherheitshaft im Nachverfahren ausführlich: Urteil 1B_371/2016 vom 11. November 2016 E. 4 ff. mit Hinweisen).
Das Kantonsgericht hält unter Verweis auf sein Urteil vom gleichen Tag fest, die Anordnung einer stationären Massnahme nach <ref-law> sei hinreichend wahrscheinlich. Es bestehe sowohl Fluchtgefahr als auch Wiederholungsgefahr. Ersatzmassnahmen seien nicht ersichtlich und auch in zeitlicher Hinsicht sei die Sicherheitshaft bis zum Antritt der Massnahme verhältnismässig.
Der Beschwerdeführer ist der Auffassung, die Voraussetzungen von <ref-law> seien nicht erfüllt. Zudem bestreitet er, dass ein besonderer Haftgrund gegeben sei.
3.
3.1. Wiederholungsgefahr im Sinne von <ref-law> liegt vor, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat. Die Verhütung weiterer schwerwiegender Delikte ist ein verfassungs- und grundrechtskonformer Massnahmenzweck: Art. 5 Ziff. 1 lit. c EMRK anerkennt ausdrücklich die Notwendigkeit, Beschuldigte im Sinne einer Spezialprävention an der Begehung schwerer strafbarer Handlungen zu hindern. Nach der Rechtsprechung kann die Untersuchungshaft wegen Wiederholungsgefahr auch dem Verfahrensziel der Beschleunigung dienen, indem verhindert wird, dass sich der Strafprozess durch immer neue Delikte kompliziert und in die Länge zieht (<ref-ruling> E. 3.2 S. 85 mit Hinweis).
Der Haftgrund der Wiederholungsgefahr ist indessen restriktiv zu handhaben (<ref-ruling> E. 3.2 S. 85 f. mit Hinweis). Die Rückfallprognose muss ungünstig ausfallen und zwar in Bezug auf Delikte, die die Sicherheit anderer erheblich gefährden. Darunter fallen in erster Linie Gewalt-, aber etwa auch schwere Betäubungsmitteldelikte oder schwere Strassenverkehrsdelikte, Vermögensdelikte hingegen nur, sofern sie besonders schwer sind (zur Publ. vorgesehenes Urteil 1B_373/2016 vom 23. November 2016 E. 2, insbesondere E. 2.7 mit Hinweisen).
3.2. Der Beschwerdeführer bringt vor, er habe sich seit seiner Haftentlassung keiner Verbrechen oder Vergehen mehr strafbar gemacht. Das Gutachten von Prof. em. Ermer sei mangelhaft und durchdrungen von persönlichen Moralvorstellungen. Es stütze sich auf lange zurückliegende Ereignisse. Die einzige Gewalthandlung (Drohung mit einem Messer), welche für die Wiederholungsgefahr von Bedeutung sei, habe er im Jahr 2011 begangen. Damals sei er noch minderjährig gewesen. Ob darauf abgestellt werden dürfe, sei zudem im Lichte der Unschuldsvermutung fraglich. Gemäss dem Führungsbericht des Haft- und Untersuchungsgefängnisses Grosshof vom 9. Mai 2016 sei er während dem dreijährigen Freiheitsentzug sichtlich reifer geworden. Entgegen den Ausführungen im Gutachten sei keine Steigerung der Gewalttätigkeit zu verzeichnen. Nach seiner Haftentlassung habe er zwar einen holprigen Start gehabt, doch sei er auch stets ehrlich gewesen und habe erkannt, wo noch Bemühungen seinerseits vonnöten seien. Er habe eine Lehrstelle in Aussicht gehabt und seit September mit seiner Freundin zusammen gewohnt. Vor diesem Hintergrund sei die Wiederholungsgefahr zu verneinen. Auch seien die strengen Voraussetzungen für die nachträgliche Anordnung einer Massnahme nach <ref-law> nicht erfüllt, denn die ihm vorzuwerfenden Delikte seien nicht hinreichend schwer und lägen auch schon länger zurück.
3.3. Die Vorinstanz hält fest, im Gutachten werde dem Beschwerdeführer eine sehr ungünstige Legalprognose in Bezug auf Eigentums-, Strassenverkehrs- und Drogendelikte gestellt und insbesondere das Szenario gefährlicher Fahrten unter Drogeneinfluss genannt. Leichtere Gewaltdelikte wie Drohungen, Nötigungen und leichtere Tätlichkeiten würden als in höherem Masse wahrscheinlich eingestuft. Ein vorstellbares Risikoszenario liege gemäss Gutachten mit hoher Wahrscheinlichkeit darin, dass der Beschwerdeführer seinen selbst gesetzten Erwartungen nicht gerecht werden könnte und dass das damit verbundene Stress- und Frustrationserleben zum Rückfall in eingeschliffene deliktische Verhaltensweisen führe. Vor dem Hintergrund dieser Ausführungen falle das Verhalten des Beschwerdeführers seit der Haftentlassung äusserst negativ ins Gewicht. Die Verwarnung vom 8. Juli 2016 habe ihn unbeeindruckt gelassen und er habe mehrfach Kokain konsumiert.
3.4. Das Gutachten ist sorgfältig und schlüssig begründet. Es setzt sich mit der Persönlichkeit des Beschwerdeführers und mit seiner problematischen Vergangenheit, insbesondere auch der früheren Delinquenz, ausführlich auseinander. Die Vorinstanz durfte sich für die Beurteilung der Legalprognose darauf stützen, ohne in Willkür zu verfallen (<ref-law>). Der formelle Einwand des Beschwerdeführers, die Drohung mit dem Messer zur Flucht aus dem Massnahmezentrum Kalchrain dürfe ihm wegen der Unschuldsvermutung nicht entgegengehalten werden, ist unbehelflich, zumal er den Vorfall gar nicht bestreitet. Gestützt auf das Gutachten durfte die Vorinstanz ohne Verletzung von Bundesrecht auf eine ungünstige Rückfallprognose schliessen. Entgegen der vom Beschwerdeführer geäusserten Auffassung sind schwere Strassenverkehrsdelikte - etwa Fahrten mit übersetzter Geschwindigkeit unter Drogeneinfluss - durchaus geeignet, die Sicherheit anderer erheblich zu gefährden. Der Vorinstanz ist auch insofern beizupflichten, als es für die Annahme einer erheblichen Rückfallgefahr spricht, dass der Beschwerdeführer nach seiner Haftentlassung wiederholt Kokain konsumierte. Im Ergebnis hat sie den besonderen Haftgrund der Wiederholungsgefahr im Sinne von <ref-law> zu Recht bejaht. Ob darüber hinaus auch Fluchtgefahr anzunehmen ist, kann offen bleiben.
3.5. Die Gutachterin spricht sich für die Rückversetzung des Beschwerdeführers in den stationären Massnahmenvollzug nach <ref-law> aus. Aufgrund dieser gutachterlichen Einschätzung und dem bereits im Dispositiv vorliegenden, noch unbegründeten Urteil vom 31. Oktober 2016 ist eine hinreichende Wahrscheinlichkeit einer Massnahme nach <ref-law> zu bejahen.
3.6. Der Beschwerdeführer kritisiert, die Haft sei nicht verhältnismässig, weil er die letzten Jahre "widerrechtlich verwahrt" worden sei. Diese Kritik geht fehl. Aus dem Umstand, dass die im Urteil vom 23. Januar 2015 angeordnete Massnahme für junge Erwachsene nach <ref-law> mangels einer geeigneten Einrichtung aufgehoben wurde, kann nicht geschlossen werden, dass die Sicherheitshaft im Hinblick auf die Durchführung einer Massnahme nach <ref-law> unverhältnismässig ist.
4.
Die Beschwerde ist aus den genannten Erwägungen abzuweisen.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Heinz Ottiger wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Luzern, Abteilung 4 Spezialdelikte, der Oberstaatsanwaltschaft des Kantons Luzern und dem Kantonsgericht Luzern, 2. Abteilung, schriftlich mitgeteilt.
Lausanne, 23. Dezember 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold