Fatti: A. All'inizio del mese di giugno 2016, tre clienti hanno denunciato sottrazioni di importanti valori patrimoniali dalle loro cassette di sicurezza depositate presso B._SA ad X._. C._, titolare della società, ha indicato che delle stesse, aperte senza alcuna forzatura, si occupava A._. Sono poi seguite altre denunce. Il 21 luglio 2016 il Procuratore pubblico (PP) ha informato i due interessati dell'apertura di un procedimento penale nei loro confronti. Gli importi sottratti ammontano a CHF 655'800.--, Euro 985'000.--, USD 6'980.-- e un chilo e mezzo di oro. B. Il 12 dicembre 2016 sono stati spiccati due ordini di accompagnamento coattivo e di perquisizione e sequestro, per l'ipotesi di reato di ripetuto furto e, in un secondo tempo, di ripetuto riciclaggio di denaro per il tramite di una società, della quale gli interessati potrebbero essere azionisti. In parziale accoglimento della richiesta di carcerazione preventiva del PP, il 17 dicembre 2016 il Giudice dei provvedimenti coercitivi (GPC), ritenuti gravi indizi di colpevolezza e ammesso il pericolo di fuga e di collusione con il coimputato, con riferimento al principio di proporzionalità ha ordinato la carcerazione dei due indagati per sei settimane, fino al 27 gennaio 2017, e non per tre mesi come postulato dal magistrato inquirente. C. Il PP, il 23 gennaio 2017, ha chiesto una proroga della carcerazione per ulteriori due mesi. Con decisione del 1° febbraio 2017 il GPC non ha accolto la richiesta e ha ordinato la loro scarcerazione. Il PP ha impugnato questo giudizio dinanzi alla Corte dei reclami penali del Tribunale d'appello (CRP), il cui Presidente con decisione supercautelare del 2 febbraio 2017 ha confermato la scarcerazione degli inquisiti. Con sentenza di merito del 27 marzo 2017 (incarto n. 60.2017.37) il reclamo inerente alla scarcerazione di C._ è poi stato respinto. D. Contro questa decisione il PP presenta un ricorso in materia penale al Tribunale federale. Chiede di annullare la decisione presidenziale supercautelare e quelle della CRP e del GPC e di rinviare la causa per nuovo giudizio al GPC, subordinatamente alla CRP. Il GPC e la CRP si rimettono al giudizio del Tribunale federale. C._ propone di respingere il ricorso, mentre il ricorrente si riconferma nelle proprie conclusioni.