Fatti:
A. In seguito all'audizione di B._, del 10 settembre 2012, il Procuratore pubblico (PP) Valentina Tuoni ha aperto un procedimento penale a carico di A._, per titolo di atti sessuali con fanciulli, violenza carnale, coazione sessuale e lesioni semplici in relazione a fatti risalenti al 2002/2003. L'interessato ha ammesso parzialmente i fatti.
Nell'ambito dell'audizione di C._, del 29 novembre 2012, il PP Marisa Alfier ha aperto un secondo procedimento penale a carico dello stesso soggetto, per titolo di lesioni semplici, vie di fatto, minaccia, coazione, coazione sessuale e violenza carnale per fatti avvenuti nella notte tra il 27 e il 28 novembre 2012 a X._. L'interessato ha contestato le accuse a carattere sessuale. Il 4 dicembre 2012 detta PP ha proposto al Giudice dei provvedimenti coercitivi (GPC) la carcerazione preventiva di A._ fino al 1° febbraio 2013. Con decisione del 6 dicembre 2012 il GPC ha accolto l'istanza.
B. La Corte dei reclami penali del Tribunale d'appello del Cantone Ticino (CRP), adita dall'interessato, ne ha respinto il reclamo con giudizio del 10 gennaio 2013. Accertato che il reclamante non contesta l'esistenza a suo carico di seri indizi di reato, ha ritenuto che permane un pericolo di collusione riguardo al secondo procedimento e un rischio di recidiva.
C. Avverso questa decisione, il 12 febbraio 2013 A._ presenta un ricorso in materia penale al Tribunale federale. Chiede di porlo in libertà e di metterlo al beneficio del gratuito patrocinio.
Nelle loro osservazioni, trasmesse al ricorrente, il PP e il GPC propongono di respingere il gravame, mentre la CRP si rimette al giudizio del Tribunale federale. Il ricorrente non si è espresso al riguardo.
D. Prima dell'inoltro del ricorso, con decisione del 5 febbraio 2013, il GPC ha prorogato la carcerazione del ricorrente fino al 1° aprile 2013. Quest'ultimo ha impugnato anche questa decisione dinanzi alla CRP.

Diritto:
1.1 Il ricorso in materia penale (<ref-law>) contro una decisione emanata dall'autorità cantonale di ultima istanza (<ref-law>) relativa a una carcerazione preventiva è ammissibile. Il rimedio è tempestivo (<ref-law>). La legittimazione del ricorrente è pacifica (<ref-law>). La richiesta di scarcerazione immediata è ammissibile (<ref-law>; <ref-ruling> consid. 1.1).
1.2 Il Tribunale federale esamina soltanto le censure sollevate e motivate. In effetti, secondo l'art. 42 cpv. 1 e 2 LTF, il gravame dev'essere motivato in modo sufficiente, spiegando nei motivi perché l'atto impugnato viola il diritto (<ref-ruling> consid. 1.4.1). Le esigenze di motivazione sono inoltre accresciute, laddove la ricorrente lamenta la violazione di diritti fondamentali (<ref-law>), nonché l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove, poiché ciò equivale a sostenere che i fatti sono stati accertati in violazione dell'<ref-law> e del diritto federale (<ref-ruling> consid. 1.4; <ref-ruling> consid. 2.4 e 2.5).
1.3 Nelle conclusioni il ricorrente non chiede di annullare la sentenza impugnata della CRP, né quella di proroga della carcerazione del 5 febbraio 2013, ma soltanto di porlo in libertà. Certo, di per sé, la richiesta di scarcerazione immediata è ammissibile (<ref-ruling> consid. 1.1), secondo l'<ref-law> il Tribunale federale non può tuttavia andare oltre le conclusioni delle parti, per cui il petito che circoscrive la materia del contendere dovrebbe essere formulato in modo tale da poter erigersi a dispositivo della sentenza. Ciò non potrebbe essere il caso nella fattispecie, anche nell'ipotesi di un accoglimento del ricorso, ritenuto che le sentenze che confermano la carcerazione preventiva del ricorrente non potrebbero essere annullate (LAURENT MERZ, in: Basler Kommentar, Bundesgerichtsgesetz, 2a ed., 2011, n. 15 ad art. 42).
2. 2.1 Il ricorrente accenna, in maniera del tutto generica, al fatto che gli effetti della decisione impugnata della CRP si sono estinti il 5 (recte: 1°) febbraio 2013, ossia prima dell'inoltro, il 12 febbraio successivo, del ricorso. Interpretando in maniera peraltro non corretta la sentenza 1B_353/2012 del 25 giugno 2012 da lui richiamata, sostiene che l'eventuale scarcerazione renderebbe il ricorso irricevibile. Aggiunge che le decisioni impugnate del GPC e della CRP si fondano sia sul pericolo di collusione sia su quello di recidiva: rilevato che in un'ulteriore decisione del 5 febbraio 2013 il GPC fa riferimento soltanto al pericolo di recidiva, egli precisa di contestare nel ricorso in esame soltanto l'esistenza di quest'ultimo rischio.
2.2 Il ricorrente confonde e mischia in maniera inammissibile procedure e decisioni diverse. Il ricorso in esame è diretto unicamente contro la decisione 10 gennaio 2013 della CRP, che conferma quella del 6 dicembre precedente del GPC, con la quale la sua carcerazione è stata ordinata fino al 1° febbraio 2013. In seguito, in accoglimento di una domanda di proroga della carcerazione inoltrata il 25 gennaio 2013 dal PP, il GPC con giudizio del 5 febbraio 2013 ha prorogato la carcerazione fino al 1° aprile 2013. Dagli atti di causa risulta che anche questa decisione è stata impugnata dal ricorrente dinanzi alla CRP. Ora, sebbene il ricorrente mischi le due decisioni emanate dal GPC, è palese che il Tribunale federale può esprimersi soltanto sulla prima; la seconda, fondata in parte peraltro su fatti nuovi, non essendo chiaramente una decisione di un'autorità cantonale di ultima istanza (<ref-law>). Nella misura in cui il ricorrente fonda i suoi argomenti su fatti nuovi (<ref-law>), in particolare sull'assunto secondo cui, in base alla seconda decisione del GPC del 5 febbraio 2013, non vi sarebbero più atti istruttori da compiere, il ricorso è quindi inammissibile. Del resto, egli precisa espressamente di limitarsi a contestare il pericolo di recidiva, unico oggetto del litigio.
2.3 Nelle descritte circostanze, un eventuale annullamento della decisione della CRP non parrebbe avere di primo acchito portata pratica, visto che il ricorrente rimarrebbe in carcere sulla base della nuova decisione del 5 febbraio 2013 del GPC. Nel caso di specie egli ha nondimeno un interesse pratico e attuale alla disamina dell'impugnativa (art. 81 cpv. 1 lett. b n. 1 LTF). In effetti, anche quest'ultima si fonda concretamente sul pericolo di recidiva, unico motivo contestato dal ricorrente. Visto l'esito del ricorso, la questione non dev'essere comunque esaminata oltre (<ref-ruling> consid. 1 inedito; <ref-ruling> consid. 1.3; sentenza 1B_9/2011 del 7 febbraio 2011 consid. 1 e 1B_79/2013 del 13 marzo 2013 consid. 1.1).
3. 3.1 Secondo l'<ref-law>, la carcerazione preventiva è ammissibile soltanto quando l'imputato è gravemente indiziato di un crimine o un delitto e vi è seriamente da temere che si sottragga con la fuga al procedimento penale o alla prevedibile sanzione (lett. a); influenzi persone o inquini mezzi di prova, compromettendo in tal modo l'accertamento della verità (lett. b); minacci seriamente la sicurezza altrui commettendo gravi crimini o delitti dopo avere già commesso in precedenza reati analoghi (lett. c). Vi è inoltre il caso speciale del motivo di carcerazione fondato sul rischio di commissione di un reato giusta l'<ref-law>, che non entra qui però in considerazione.
3.2 Nell'ambito di ricorsi fondati su una restrizione del diritto alla libertà personale (art. 10 cpv. 2, art. 31 Cost.) causata da una carcerazione preventiva, il Tribunale federale esamina liberamente l'interpretazione e l'applicazione del CPP, in considerazione anche della gravità dell'ingerenza. L'<ref-law>, con la relativa limitazione dei motivi di ricorso, non è applicabile a una decisione sui provvedimenti coercitivi, come è qui il caso (cfr. <ref-ruling> consid. 2.4, 122 consid. 2; sentenza 1B_277/2011 del 28 giugno 2011 consid. 1.2). Tuttavia, laddove è questione di mero accertamento dei fatti e di esercizio del potere di apprezzamento, il Tribunale federale interviene solamente quando l'accertamento dei fatti da parte della precedente istanza sia stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'<ref-law> (art. 97 cpv. 1 in relazione con l'art. 105 cpv. 1 e 2 LTF; cfr. anche <ref-ruling> consid. 2.5).
4. 4.1 Nella decisione impugnata, la Corte cantonale ha accertato che il ricorrente non contestava l'esistenza a suo carico di seri indizi. Nella misura in cui egli nel ricorso in esame non contesta questo accertamento di fatto, adducendo, peraltro in maniera del tutto generica, che non vi sarebbero né prove né indizi che i prospettati reati siano stati commessi, il ricorso è pertanto inammissibile. La stessa conclusione vale per il generico accenno a un accertamento impreciso dei fatti posti a fondamento dell'impugnato giudizio, per cui essi sono vincolanti per il Tribunale federale (art. 97 cpv. 1 in relazione con l'art. 105 cpv. 1 e 2 LTF; <ref-ruling> consid. 1.2).
4.2 Nella criticata decisione la CRP, esposti i seri indizi di reato a carico del ricorrente, ha stabilito che, riguardo al primo procedimento penale, il pericolo di collusione e l'esistenza di un pericolo di inquinamento dei mezzi di prova (<ref-law>; al riguardo vedi <ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2 e rinvii), in considerazione degli atti istruttori ulteriormente compiuti, sono parzialmente scemati rispetto al momento dell'arresto. Ha per contro accertato che il pericolo di collusione permane pienamente rispetto alla vittima oggetto del secondo procedimento. Ora, ritenuto che il ricorrente non contesta il pericolo di collusione, limitandosi a contestare quello di recidiva accennando peraltro in maniera inammissibile, poiché si tratta di un fatto nuovo, alla decisione 5 febbraio 2013 del GPC, il ricorso è inammissibile per carenza di motivazione. In effetti, quando la decisione impugnata, come in concreto, si fonda su diverse motivazioni indipendenti e di per sé sufficienti per definire l'esito della causa, il ricorrente è tenuto, pena l'inammissibilità, a dimostrare che ognuna di esse viola il diritto (<ref-ruling> consid. 6.3).
4.3 Il ricorso andrebbe comunque respinto anche nel merito. La carcerazione preventiva fondata su un pericolo di recidiva (art. 221 cpv. 1 lett. c CPP) può contribuire a permettere la sollecita conclusione di un procedimento pendente, impedendo che l'imputato differisca o renda impossibile la fine del procedimento commettendo nuovi atti di delinquenza. Essa serve inoltre a impedire la commissione di altri gravi delitti e persegue quindi uno scopo di prevenzione speciale, espressamente prevista quale motivo di carcerazione anche dall'art. 5 n. 1 lett. c CEDU, per il quale la privazione della libertà è ammissibile quando vi sono ragioni plausibili per sospettare che l'interessato abbia commesso un reato o ci sono fondati motivi per impedirgli di commetterlo (<ref-ruling> consid. 4.1, 84 consid. 3.2; <ref-ruling> consid. 2.2).
Occorre nondimeno dare prova di riserbo nel ritenere che un imputato possa commettere altri reati gravi. Siccome la carcerazione preventiva costituisce un'ingerenza grave nel diritto alla libertà, occorre che essa si fondi su una base legale sufficiente, sia giustificata dall'interesse pubblico e rispetti il principio della proporzionalità. Secondo la giurisprudenza del Tribunale federale, il mantenimento della detenzione preventiva per rischio di recidiva è ammissibile quando, da una parte, la prognosi di una ricaduta è molto sfavorevole e, dall'altra, i reati prospettati sono gravi (ai sensi dell'art. 221 cpv. 1 lett. c CPP). La possibilità soltanto ipotetica che l'accusato possa commettere altri reati o la probabilità che si prospettino reati solo lievi non sono per contro sufficienti per giustificare la detenzione (sentenza 1B_630/2011 del 16 dicembre 2011 consid. 3.2, in RtiD II-2012 n. 51 pag. 297). Inoltre, la carcerazione preventiva può essere ordinata e mantenuta unicamente quale "ultima ratio", occorrendo prescindere dalla stessa quando possa essere adeguatamente sostituita da provvedimenti meno incisivi (art. 212 cpv. 2 lett. c CPP; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.3 e rinvii).
4.4 La CRP, applicando rettamente la prassi appena citata, ha ritenuto che in concreto il pericolo di recidiva è realizzato nel senso d'impedire che l'imputato differisca o renda impossibile la fine del procedimento commettendo sempre nuovi atti di delinquenza. Ciò, poiché il secondo episodio ha avuto luogo appena dopo l'apertura del primo procedimento penale, contribuendo in tal modo a ritardarne la conclusione. Ha stabilito poi che il citato rischio è realizzato pure nella sua eccezione classica, riferita alla commissione in precedenza di reati analoghi. Al riguardo, ha considerato che sebbene gli episodi più remoti, peraltro più di due, a sé stanti, sarebbero troppo lontani nel tempo per giustificare da soli la carcerazione litigiosa, le similitudini con l'episodio recente li attualizzano e li fanno concorrere alla realizzazione di un siffatto pericolo. Ha accertato la necessità, richiamando la giurisprudenza (<ref-ruling> consid. 4), di approfondire ulteriormente questo rischio mediante l'avvio di una procedura peritale, come disposto dal PP, allo scopo di chiarire se i comportamenti possano essere connessi con eventuali turbe o altri disturbi della personalità del ricorrente.
4.5 In concreto, come si è visto, non è litigioso che esistano a carico dell'imputato seri indizi di un crimine o di un grave delitto. Né è di per sé seriamente posto in discussione che nella fattispecie entrino in considerazione reati gravi e che l'interessato abbia commesso atti analoghi in precedenza. L'accenno del ricorrente al fatto che per gli episodi avvenuti nel 2002/2003 egli non sia ancora stato oggetto di una condanna cresciuta in giudicato, non è decisivo, essendo sufficiente, per ammettere un reato precedente richiesto dall'art. 221 cpv. 1 lett. c CPP, che una condanna appaia altamente probabile (<ref-ruling> consid. 3.2). Ora, egli ha ammesso per lo meno parzialmente tali fatti e non contesta l'esistenza di seri indizi, ciò che permette di ammettere nel complesso l'esistenza di reati commessi in precedenza (<ref-ruling> consid. 3.2 in fine; sentenze 1B_630/2011, citata, consid. 3.3 e 1B_580/2012 del 17 ottobre 2012 consid. 3.1).
4.6 Litigiosa è per contro essenzialmente la questione di sapere se l'interessato possa minacciare la sicurezza altrui, commettendo altri crimini o gravi delitti. Al proposito, la CRP ritiene a ragione che detto quesito dev'essere approfondito per il tramite di una perizia, l'esistenza di una prognosi sfavorevole di ricaduta essendo stata sostanzialmente ammessa dalle istanze cantonali. Il ricorrente, limitandosi a rilevare che l'ordine del PP di far allestire una perizia psichiatrica è stato annullato dalla CRP, non contesta, con una motivazione conforme alle esigenze di cui all'<ref-law>, la necessità della stessa. Al riguardo, rilevato d'essere disoccupato, senza formazione specifica, soggetto a assistenza riabilitativa, che negli anni 2002-2003 era un giovane sbandato e che non contesta d'aver un carattere possessivo e geloso, si limita ad addurre che tra gli episodi del 2002/2003 e quello recente non sussisterebbero similitudini, trattandosi al suo dire di situazioni assolutamente diverse. Questo poiché i fatti relativi al primo procedimento sarebbero avvenuti "durante" la relazione con la vittima e non alla fine della stessa, mentre che, nell'ambito del secondo procedimento, non vi sarebbero stati problemi di violenza sessuale durante la relazione, ma unicamente "dopo" la stessa, segnatamente in occasione del loro ultimo incontro, a relazione finita. Al suo dire, questi ultimi episodi sarebbero avvenuti in un contesto particolare e non ripetibile, caratterizzato dalla fine della relazione con la vittima e dallo stress psicologico provocato dall'apertura del primo procedimento penale. Questa argomentazione, della quale peraltro mal si comprende la portata, non dimostra affatto che l'allestimento di una perizia non sarebbe necessario, né il ricorrente contesta che le risultanze della stessa possano concorrere a determinare il pericolo di recidiva, come sostenuto dal GPC nelle osservazioni al gravame, sulle quali il ricorrente del resto ha rinunciato a pronunciarsi.
Il ricorrente ha pure rinunciato a esprimersi sulle osservazioni del PP, dalle quali risulta che, dopo l'annullamento da parte della CRP, per motivi procedurali, della decisione di nomina del perito, il 12 febbraio 2013 è stato trasmesso alle parti il nuovo decreto di nomina. Tenuto conto del principio di celerità (<ref-law>, <ref-law>), il magistrato inquirente dovrà pure esaminare l'eventualità di richiedere al perito di produrre un primo sommario rapporto sul pericolo di recidiva (sentenza 1B_705/2012 del 10 dicembre 2012 consid. 2.11).
5. 5.1 Ammesso un pericolo di recidiva, la Corte cantonale ha altresì rilevato che la durata della carcerazione risultava rispettosa del principio della proporzionalità e che, allo stadio attuale, non entravano in considerazione eventuali misure sostitutive.
5.2 Nemmeno in quest'ambito, il ricorrente si confronta con gli argomenti posti a fondamento dell'impugnato giudizio. La critica è pertanto inammissibile per carenza di motivazione.
6. 6.1 Nella minima misura in cui è ammissibile, il ricorso dev'essere respinto.
6.2 La richiesta di assistenza giudiziaria, in particolare di gratuito patrocinio, dev'essere respinta, rilevato che il ricorso non aveva alcuna probabilità di successo (art. 64 cpv. 1 e 2 LTF). Vista la situazione finanziaria del ricorrente, si può nondimeno prescindere dal prelevare spese giudiziarie.

Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. La domanda di assistenza giudiziaria è respinta.
3. Non si prelevano spese giudiziarie.
4. Comunicazione al patrocinatore del ricorrente, al Ministero pubblico, al Giudice dei provvedimenti coercitivi e alla Corte dei reclami penali del Tribunale d'appello del Cantone Ticino.