Sachverhalt:
A.
A._ (geb. 1981) ist Staatsangehöriger von Äthiopien. Er reiste gemäss eigenen Angaben am 19. Januar 2012 in die Schweiz ein und ersuchte gleichentags um Asyl. Das damalige Bundesamt für Migration wies das Gesuch am 14. Februar 2014 ab und verfügte die Wegweisung; dieser Entscheid wurde im Beschwerdeverfahren bestätigt. In der Folge liess A._ die ihm angesetzte Ausreisefrist bis 5. Mai 2014 ungenutzt verstreichen. Zwischen 2014 und 2019 teilte er den Behörden durchgehend mit, dass er nicht in sein Heimatland zurückkehren werde bzw. auch nicht bereit sei, mit seiner heimatlichen Vertretung in Kontakt zu treten.
B.
Nachdem das Staatssekretariat für Migration (SEM) den kantonalen Behörden mitgeteilt hatte, dass eine zwangsweise Rückkehr die Identifikation von A._ durch sein Heimatland voraussetze, organisierten die Behörden einen entsprechenden Termin. Das Amt für Migration und Zivilrecht des Kantons Graubünden verfügte am 7. Oktober 2019 die polizeiliche Zuführung nach Bern. A._ wurde am 14. Oktober 2019 nach dessen Erscheinen bei den Migrationsbehörden um 10 Uhr festgenommen und nach der Hafteinvernahme in die JVA Sennhof versetzt. Am 16. Oktober 2019 wurde er per Jail-Transport-System nach Bern zugeführt und im Anschluss an die zentrale Befragung um 15 Uhr aus der Haft entlassen. Am 13. November 2019 hiess das SEM ein Wiedererwägungsgesuch von A._ gut und gewährte ihm die vorläufige Aufnahme, nachdem er im September 2019 Vater einer Tochter geworden war.
C.
Am 14. bzw. 28. November 2019 stellte A._ ein Gesuch um gerichtliche Überprüfung der Festhaltung. Am 31. Januar 2020 stellte das Zwangsmassnahmengericht des Kantons Graubünden die Rechtmässigkeit der Festhaltung fest. Die dagegen erhobene Beschwerde wies das Kantonsgericht von Graubünden mit Beschluss vom 5. August 2020 ab. Das Gesuch um unentgeltliche Prozessführung wurde gutgeheissen, dasjenige um unentgeltlichen Rechtsbeistand abgelehnt.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. September 2020 beantragt A._ dem Bundesgericht, in Aufhebung des angefochtenen Beschlusses sei festzustellen, dass die kurzfristige Festhaltung - eventualiter deren Dauer - unrechtmässig gewesen sei. Die Sache sei zur Neuverlegung der Kostenfolgen bzw. zur Gewährung der unentgeltlichen Verbeiständung zurückzuweisen. Zudem sei die unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren zu bewilligen.
Das Kantonsgericht und das Amt für Migration und Zivilrecht schliessen auf Abweisung der Beschwerde. Das SEM äussert sich zur Sache, ohne einen Antrag zu stellen.

Erwägungen:
1.
1.1. Angefochten ist ein Endentscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Die Beschwerde wurde form- und fristgerecht eingereicht (Art. 42 und Art. 100 Abs. 1 BGG).
1.2. Die kurzfristige Festhaltung ist im Rahmen eines Wegweisungsverfahrens angeordnet worden. Angesichts des schweren Grundrechtseingriffs, der auch von einem nur kurzen Freiheitsentzug ausgeht (vgl. <ref-ruling> E. 3.3), ist die kurzfristige Festhaltung analog zur ausländerrechtlichen Haft als eigenständige Massnahme zu qualifizieren und nicht als bloss untergeordnete Vollzugsmassnahme zur Wegweisung (<ref-ruling> E. 1.1; <ref-ruling> E. 1.1; <ref-ruling> E. 5.5). Damit ist <ref-law> nicht einschlägig und erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten auch insoweit als zulässig.
1.3.
1.3.1. Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer u.a. ein schutzwürdiges Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (<ref-law>). Das schutzwürdige Interesse kann rechtlicher oder tatsächlicher Natur sein (<ref-ruling> E. 2.1; <ref-ruling> E. 1.2); es besteht im praktischen Nutzen, der sich ergibt, wenn der Beschwerdeführer mit seinem Anliegen obsiegt und dadurch seine tatsächliche oder rechtliche Situation unmittelbar beeinflusst werden kann (<ref-ruling> E. 4.4). Das Rechtsschutzinteresse muss deshalb grundsätzlich aktuell sein (<ref-ruling> E. 1.1).
1.3.2. Die Festhaltung des Beschwerdeführers ist am 16. Oktober 2019 beendet worden. Das Rechtsschutzinteresse war daher bereits im Zeitpunkt des Gesuchs vom 14. bzw. 28. November 2019 um gerichtliche Überprüfung der Festhaltung nicht mehr aktuell. Allerdings liegt es in der Natur der auf höchstens drei Tage beschränkten kurzfristigen Festhaltung (<ref-law> [SR 142.20]), dass sie im Regelfall erst nach ihrer Beendigung überprüft werden kann. Aus diesem Grund hat der Gesetzgeber die nachträgliche Überprüfung durch eine richterliche Behörde (auf Gesuch hin) vorgesehen (<ref-law>). Daraus kann indessen nicht abgeleitet werden, dass deshalb auch zwingend der Weg an das Bundesgericht offenstehen würde. Den verfassungs- und konventionsrechtlichen Vorgaben an einen Freiheitsentzug (<ref-law> bzw. Art. 5 Ziff. 4 EMRK) ist genüge getan, wenn eine gerichtliche Instanz die Rechtmässigkeit des Freiheitsentzugs prüft; mehrere (Rechtsmittel-) Instanzen werden nicht verlangt (<ref-ruling> E. 2d; Urteil des EGMR Ilnseher gegen Deutschland vom 4. Dezember 2018 [Nr. 10211/12 und 27505/14], § 254). Damit ist zu prüfen, ob auf die Beschwerde eingetreten werden kann, obwohl kein aktuelles Rechtsschutzinteresse besteht.
1.3.3. Das Bundesgericht verzichtet ausnahmsweise auf das Erfordernis des aktuellen praktischen Interesses, wenn sich die aufgeworfenen Fragen unter gleichen oder ähnlichen Umständen jederzeit wieder stellen können, eine rechtzeitige Überprüfung im Einzelfall kaum je möglich wäre und die Beantwortung wegen deren grundsätzlicher Bedeutung im öffentlichen Interesse liegt (BGE <ref-ruling> E. 1.3.1; <ref-ruling> E. 1.3.1; <ref-ruling> E. 1.1). Diese Voraussetzung ist im vorliegenden Fall nicht erfüllt. In der Beschwerde wird die Verhältnismässigkeit der kurzfristigen Festhaltung im Einzelfall gerügt; dieser Frage kommt keine grundsätzliche Bedeutung zu.
1.3.4. Bei der ausländerrechtlichen Haft verzichtet das Bundesgericht ferner auf das Erfordernis des aktuellen praktischen Interesses, wenn der Betroffene hinreichend substanziiert und in vertretbarer Weise eine Verletzung der EMRK geltend macht ("grief défendable"; <ref-ruling> E. 1.2.1; <ref-ruling> E. 1.3.1; <ref-ruling> E. 4.3). Zu prüfen ist daher, ob diese Rechtsprechung analog auf die kurzfristige Festhaltung anzuwenden ist.
1.3.4.1. Die kurzfristige Festhaltung ist wie erwähnt auf maximal drei Tage beschränkt (<ref-law>) und dauert damit deutlich weniger lang als die ausländerrechtliche Haft nach <ref-law>, die für maximal achtzehn Monate angeordnet werden kann (<ref-law>). Die kurzfristige Festhaltung ist bereits beendet, bevor die ausländerrechtliche Haft überhaupt gerichtlich geprüft werden muss (96-Stunden-Frist; Art. 78 Abs. 4 und Art. 80 Abs. 2 AIG). Damit wiegt der Grundrechtseingriff der kurzfristigen Festhaltung weniger schwer, was gegen eine analoge Anwendung sprechen würde. Dabei ist allerdings zu berücksichtigen, dass auch ein nur kurz andauernder Freiheitsentzug schwer in die persönliche Freiheit eingreift (vgl. vorne E. 1.2).
1.3.4.2. Im Strafprozessrecht besteht ein mit der kurzfristigen Festhaltung vergleichbares Rechtsinstitut. Die in <ref-law> geregelte vorläufige Festnahme durch die Polizei darf maximal 24 Stunden dauern; danach ist die betroffene Person zwingend zu entlassen oder der Staatsanwaltschaft zuzuführen (<ref-law>). Das Bundesgericht erachtet es als zulässig, auf Beschwerden gegen eine vorläufige Festnahme nach deren Beendigung nicht einzutreten, namentlich weil die Rechtmässigkeit der Festnahme im Rahmen eines Verfahrens auf Schadenersatz nach Art. 5 Ziff. 5 EMRK oder im laufenden Strafverfahren geprüft werden kann (Urteil 1B_351/2012 vom 20. September 2012 E. 2.3.2). Aber auch im Bereich der StPO tritt das Bundesgericht trotz Haftentlassung auf die Beschwerde ein, wenn eine offensichtliche Verletzung der EMRK vorliegt (<ref-ruling> E. 1.3; Urteil 1B_280/2021 vom 28. Juni 2021 E. 1). Hintergrund dieser Praxis ist, dass der Europäische Gerichtshof für Menschenrechte die Aktualität des Rechtsschutzinteresses nicht als Sachurteilsvoraussetzung ansieht und das Bundesgericht eine allfällige Konventionsverletzung durch eine entsprechende Feststellung wiedergutmachen könnte.
1.3.4.3. Angesichts der bei der ausländerrechtlichen Haft etablierten Praxis, der konvergierenden Rechtsprechung beim strafprozessual motivierten Freiheitsentzug und der Schwere des Grundrechtseingriffs rechtfertigt es sich auch bei der kurzfristigen Festhaltung nach <ref-law>, auf das Erfordernis des aktuellen Interesses zu verzichten, wenn der Betroffene hinreichend substanziiert und in vertretbarer Weise eine Verletzung der EMRK geltend macht.
1.3.5. Der Beschwerdeführer rügt hinreichend substanziiert und in vertretbarer Weise, dass seine Festhaltung nicht notwendig gewesen sei bzw. zu lange gedauert habe, und damit (auch) eine Verletzung von Art. 5 EMRK. Auf die Beschwerde ist deshalb einzutreten.
2.
2.1. Die zuständige Behörde des Bundes oder des Kantons kann nach <ref-law> Personen ohne Kurzaufenthalts-, Aufenthalts- oder Niederlassungsbewilligung festhalten zur Eröffnung einer Verfügung im Zusammenhang mit ihrem Aufenthaltsstatus (lit. a) oder zur Feststellung ihrer Identität oder Staatsangehörigkeit, soweit dazu ihre persönliche Mitwirkung erforderlich ist (lit. b).
2.2. Es ist unbestritten, dass der Beschwerdeführer im Asylverfahren rechtskräftig aus der Schweiz weggewiesen wurde und keine Kurzaufenthalts-, Aufenthalts- oder Niederlassungsbewilligung besitzt. Ebenso wird nicht infrage gestellt, dass die kurzfristige Festhaltung im vorliegenden Fall der Feststellung der Identität diente, wozu auch die Vorführung bei diplomatischen Vertretungen gehört (vgl. das Votum Heberlein, AB 2005 S 372; ANDREAS ZÜND, in: Spescha et al. [Hrsg.], Migrationsrecht, 5. A. 2019, Art. 73 N. 2). Zudem war die persönliche Mitwirkung des Beschwerdeführers bei der zentralen Befragung durch Vertreter seines Herkunftsstaates offenkundig erforderlich. Insoweit waren die Voraussetzungen von <ref-law> erfüllt (vgl. auch E. 4.3 f. des angefochtenen Entscheids). Streitig ist, ob die kurzfristige Festhaltung verhältnismässig war.
2.3. Einschränkungen von Grundrechten müssen verhältnismässig sein (<ref-law>). Der Verhältnismässigkeitsgrundsatz verlangt, dass eine Massnahme für das Erreichen des im öffentlichen oder privaten Interesse liegenden Ziels geeignet und erforderlich ist und sich für die Betroffenen in Anbetracht der Schwere der Grundrechtseinschränkung als zumutbar erweist. Es muss eine vernünftige Zweck-Mittel-Relation vorliegen. Eine Massnahme ist unverhältnismässig, wenn das angestrebte Ziel mit einem weniger schweren Grundrechtseingriff erreicht werden kann (<ref-ruling> E. 9.2.2; <ref-ruling> E. 7.5.2; <ref-ruling> E. 3.2; <ref-ruling> E. 4.1).
2.4.
2.4.1. Der Beschwerdeführer bringt vor, eine kurzfristige Festhaltung sei nicht notwendig, wenn der Betroffene bei der Identitätsabklärung freiwillig mitwirke. Es müssten daher begründete Zweifel bestehen, dass der Betroffene die Mitwirkung verweigere. Diese seien im vorliegenden Fall nicht gegeben. Alleine aus dem Umstand, dass er seiner Ausreisepflicht nicht nachgekommen sei, könne nicht geschlossen werden, er nehme behördliche Termine nicht wahr. Zudem sei er am 6. September 2019 Vater geworden und habe ein Wiedererwägungsgesuch eingereicht und die vorläufige Aufnahme beantragt. Der Wegweisungsvollzug sei in der Folge am 19. September 2019 ausgesetzt worden. Er habe einen Aufenthaltsanspruch aus dem Anspruch auf Achtung des Familienlebens (<ref-law> und Art. 8 EMRK) und sei nicht mehr unter Ausreisepflicht gestanden. Auch genüge es für die Notwendigkeit der kurzfristigen Festhaltung nicht, dass er sich nicht um heimatliche Papiere bemüht habe. Daraus, dass er nicht freiwillig mit den heimatlichen Behörden Kontakt aufgenommen habe, könne nicht abgeleitet werden, er würde auch entsprechende Termine nicht wahrnehmen. Er habe sich in der Schweiz stets den Behörden zur Verfügung gehalten und sämtliche Termine wahrgenommen. Er sei nie untergetaucht, nie straffällig geworden und sozial integriert. Er hätte der Vorladung des SEM ohne Weiteres Folge geleistet. Weiter sei die Festhaltung auch nicht angemessen gewesen; es sei klar gewesen, dass er vorläufig aufgenommen werden würde. Insoweit habe kein öffentliches Interesse mehr an der Befragung durch Behörden des Heimatstaates bestanden. Die Festnahme sei vor den Augen seiner Familie erfolgt; diese sei schockiert gewesen. Die Festhaltung habe ihn nachhaltig mitgenommen und seine Familie hart getroffen.
2.4.2. Unbestritten ist, dass der Beschwerdeführer die Schweiz bis 5. Mai 2014 hätte verlassen müssen und seine Ausreisepflicht während über fünf Jahren - bis zur Aussetzung des Vollzugs am 19. September 2019 - missachtet hat. Ebenso wird nicht bestritten, dass er die Mitwirkung bei der Beschaffung gültiger Reisepapiere (Art. 8 Abs. 4 des Asylgesetzes vom 26. Juni 1998 [AsylG; SR 142.31]) verweigert und wiederholt erklärt hat, er wolle die Schweiz nicht verlassen bzw. lehne eine Kontaktaufnahme mit den heimatlichen Behörden ab (vgl. E. 4.4.3 des angefochtenen Entscheids). Wie die Vorinstanz zutreffend erwogen hat, wäre dieses Verhalten grundsätzlich geeignet gewesen, um eine Ausschaffungshaft wegen Untertauchensgefahr anzuordnen, liegt doch eine solche insbesondere vor, wenn der Betroffene der Mitwirkungspflicht bei der Papierbeschaffung nicht nachkommt (Art. 76 Abs. 1 lit. b Ziff. 3 AIG; <ref-ruling> E. 3.2.2) oder klar zu erkennen gibt, dass er nicht in seinen Heimatstaat zurückzukehren bereit ist (<ref-ruling> E. 3.1). Kann aber aus dem Verhalten des Beschwerdeführers geschlossen werden, er entziehe sich dem Wegweisungsvollzug, muss das erst recht für die Teilnahme an einer Anhörung durch die heimatlichen Behörden gelten, namentlich weil der Beschwerdeführer eine solche mehrfach ausdrücklich abgelehnt hat. Weiter kann der Beschwerdeführer nichts aus dem Umstand ableiten, dass der Wegweisungsvollzug am 19. September 2019 ausgesetzt worden war bzw. er davon ausgegangen sei, er habe aus familiären Gründen einen Aufenthaltsanspruch und sei sozial integriert. Zum Zeitpunkt der kurzfristigen Festhaltung hatte seine rechtskräftige Wegweisung nach wie vor Bestand; er wurde lediglich prozessual geduldet und die Behörden waren deshalb berechtigt, den Vollzug weiter vorzubereiten. Zwar stehen sowohl das Wiedererwägungsgesuch wie auch der Umstand, dass sich der Beschwerdeführer den Behörden stets zur Verfügung gehalten hat, der Annahme einer Untertauchensgefahr entgegen. Im vorliegenden Fall steht aber nicht eine Ausschaffungshaft zur Debatte, sondern die kurzfristige Festhaltung für die Vorführung zu einer Anhörung vor den heimatlichen Behörden. Konkrete Anhaltspunkte, dass der Beschwerdeführer einer entsprechenden Vorladung nicht nachgekommen wäre, lassen sich aus seinem bisherigen Verhalten ohne Weiteres ableiten. Namentlich hat die Vorinstanz zu Recht erwogen, dass es um eine spezielle Vorladung beim SEM ging und nicht um eine Vorladung der kantonalen Migrationsbehörden, denen der Beschwerdeführer jeweils nachgekommen war. Vor diesem Hintergrund hat sich die kurzfristige Festhaltung als notwendig erwiesen. Eine mildere Massnahme ist nicht ersichtlich, die die Anwesenheit des Beschwerdeführers bei der Anhörung hätte garantieren können. Namentlich ist die kurzfristige Festhaltung bereits als mildere Massnahme zur Ausschaffungshaft zu sehen, die angesichts der Mitwirkungsverweigerung wie erwähnt ebenfalls zur Debatte gestanden hätte.
2.4.3. Was die Angemessenheit betrifft, so mögen die Begleitumstände der Verhaftung (Anwesenheit der Familie) nicht optimal gewesen sein und den Beschwerdeführer nach wie vor beschäftigen; sie lassen die Festhaltung aber nicht als unangemessen erscheinen. Ebenso sind die privaten Interessen des Beschwerdeführers nicht höher zu gewichten als das öffentliche Interesse an der kurzfristigen Festhaltung, das mit dem öffentlichen Interesse am Wegweisungsvollzug gleichzusetzen ist; wie erwähnt hatte die rechtskräftige Wegweisung zum Zeitpunkt der Festhaltung nach wie vor Bestand und war der Vollzug lediglich prozedural ausgesetzt. Die Anordnung der kurzfristigen Festhaltung war folglich auch angemessen.
2.5. Zu prüfen bleibt die Dauer der kurzfristigen Festhaltung.
2.5.1. Die Person darf nur für die Dauer der erforderlichen Mitwirkung oder Befragung sowie des allenfalls erforderlichen Transports, höchstens aber drei Tage festgehalten werden (<ref-law>). Diese Einschränkung steht im Zusammenhang mit dem Zweck der Festhaltung, die Anwesenheit des Betroffenen lediglich zur Eröffnung einer Verfügung oder zur Feststellung der Identität bzw. Staatsangehörigkeit sicherzustellen (<ref-law>). Die Dauer der Festhaltung ist deshalb auf die Zeitspanne beschränkt, die für die Entscheideröffnung bzw. Identitätsabklärung notwendig ist. Die Maximaldauer von drei Tagen wird damit begründet, dass hierfür allenfalls ein Transport durch die Schweiz oder der Beizug von Fachleuten etwa bei der Prüfung von Sprache und Kenntnissen über die behauptete Herkunft notwendig sein kann (vgl. THOMAS HUGI YAR, in: Uebersax et al. [Hrsg.], Ausländerrecht, 2. A. 2009, Rz. 10.48; ANDREAS ZÜND, a.a.O., Art. 73 N. 3). Dagegen soll die kurzfristige Festhaltung den Betroffenen nicht grundsätzlich zur Verfügung der Behörden halten; hierfür stehen bei der Gefahr des Untertauchens die Eingrenzung nach <ref-law> oder die ausländerrechtliche Haft nach <ref-law> zur Verfügung.
2.5.2. Der Beschwerdeführer bringt vor, die zentrale Befragung in Bern sei am 16. Oktober 2019 um 14:00 Uhr vorgesehen gewesen. Er sei aber bereits am 14. Oktober 2019 um 10:30 Uhr (gemäss Vorinstanz um 10:00 Uhr) verhaftet worden und der Transport nach Bern habe erst am 16. Oktober 2019 um 6:45 Uhr stattgefunden. Es hätte deshalb gereicht, ihn am 16. Oktober 2019 am frühen Morgen für den Transport polizeilich zuzuführen. Zumindest aber hätte man ihn auf den Nachmittag des 15. Oktobers 2019 vorladen können, gerade weil er den Vorladungen der kantonalen Migrationsbehörde stets Folge geleistet habe. Es sei nicht zulässig, die Festnahme möglichst früh vor dem Transport vorzunehmen, um eine grosse zeitliche Reserve zu haben.
2.5.3. Angesichts der gesetzlichen Regelung von <ref-law>, die die kurzfristige Festhaltung grundsätzlich auf die Dauer der Mitwirkung bzw. Befragung sowie des allenfalls notwendigen Transports beschränkt (vgl. vorne E. 2.5.1), geht es nicht an, dass der Beschwerdeführer bereits zwei Tage vorher verhaftet wurde und sich bei Beginn des Transports seit über 44 Stunden in Haft befand. Auch wenn den kantonalen Behörden ein Ermessensspielraum in Bezug auf zeitliche Reserven für einen geordneten Ablauf zuzubilligen ist, lässt sich eine Reserve von fast zwei Tagen nicht rechtfertigen. Zwar erscheint die vorinstanzliche Auffassung als vertretbar, wonach eine Festnahme am 16. Oktober 2019 am frühen Morgen für den Transport um 6:45 Uhr zeitlich zu knapp gewesen wäre, unabhängig von der dadurch einhergehenden Belastung für den Beschwerdeführer und seine Familie. Es ist aber kein Grund ersichtlich, der einer Festnahme am 15. Oktober 2019 am Nachmittag/Abend entgegengestanden hätte, wobei der vom Beschwerdeführer vorgeschlagene Zeitpunkt um 17:30 Uhr als angemessen erscheint. Nachdem der Beschwerdeführer den Vorladungen der kantonalen Migrationsbehörde stets nachgekommen war, hätte er ohne Weiteres auf diesen Termin vorgeladen werden können. Selbst wenn der Beschwerdeführer der Vorladung keine Folge geleistet hätte, wäre noch eine Zeitspanne von über 12 Stunden zur Verfügung gestanden für eine polizeiliche Zuführung. Die Notwendigkeit einer noch grösseren Zeitreserve ist dagegen nicht ersichtlich. Insoweit war die kurzfristige Festhaltung vom 14. Oktober 2019, 10:00 Uhr, bis 15. Oktober 2019, 17:30 Uhr, nicht notwendig und damit nicht rechtmässig. Die Beschwerde erweist sich folglich im Eventualstandpunkt als begründet.
3.
Die Beschwerde ist teilweise gutzuheissen. Das angefochtene Urteil ist aufzuheben und es ist festzustellen, dass die kurzfristige Festhaltung vom 14. Oktober 2019, 10:00 Uhr, bis 15. Oktober 2019, 17:30 Uhr, rechtswidrig war. Die Sache ist zum Neuentscheid über die Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückzuweisen (<ref-law>). Damit kann offengelassen werden, ob das Kantonsgericht dem Beschwerdeführer die unentgeltliche Verbeiständung zu Recht verweigert hat, wird es doch im Neuentscheid erneut darüber zu befinden haben, sollte das Gesuch nicht gegenstandslos werden. Für das bundesgerichtliche Verfahren sind im Umfang des teilweisen Obsiegens des Beschwerdeführers keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG) und hat der Kanton Graubünden dem Rechtsvertreter des Beschwerdeführers eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Im Umfang des Unterliegens kann dem Beschwerdeführer die unentgeltliche Rechtspflege gewährt werden; es sind keine Kosten zu erheben und seinem Rechtsvertreter ist aus der Bundesgerichtskasse eine Entschädigung auszurichten (Art. 64 Abs. 1 und 2 BGG). Die eingereichte Kostennote gibt zu keinen Bemerkungen Anlass.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Beschluss des Kantonsgerichts von Graubünden vom 5. August 2020 aufgehoben. Es wird festgestellt, dass die kurzfristige Festhaltung vom 14. Oktober 2019, 10:00 Uhr, bis 15. Oktober 2019, 17:30 Uhr, rechtswidrig war.
2.
Die Sache wird zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an die Vorinstanz zurückgewiesen.
3.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird dem Beschwerdeführer Rechtsanwalt Valerio Priuli als Rechtsbeistand beigegeben.
3.1. Es werden keine Kosten erhoben.
3.2. Der Kanton Graubünden hat dem Rechtsvertreter des Beschwerdeführers eine Parteientschädigung von Fr. 1'000.-- zu bezahlen.
3.3. Rechtsanwalt Valerio Priuli wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'200.-- ausgerichtet.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonsgericht von Graubünden, II. Strafkammer, und dem Staatssekretariat für Migration mitgeteilt.
Lausanne, 23. Dezember 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger