Fatti:
A. A._ è stato arrestato il 29 ottobre 2010 per tentata rapina, subordinatamente coazione, per avere tentato lo stesso giorno di sottrarre valori patrimoniali a una persona minacciandola nel garage della sua abitazione dove l'aveva aspettata. Il giorno seguente l'interessato è comparso davanti al giudice dell'istruzione e dell'arresto (GIAR), il quale ha confermato l'arresto ritenendo gravi e concreti indizi di commissione dei reati ipotizzati, bisogni istruttori e il pericolo di recidiva.
B. La Camera dei ricorsi penali del Tribunale d'appello del Cantone Ticino (CRP), adita dall'arrestato, con giudizio del 24 novembre 2010 ne ha respinto il ricorso.
C. Avverso questa decisione A._ presenta un ricorso in materia penale al Tribunale federale. Chiede di annullare la decisione impugnata, di rinviare la causa alla CRP per un nuovo giudizio e di porlo al beneficio dell'assistenza giudiziaria e del gratuito patrocinio. Fa valere una violazione del diritto di replica e la violazione del diritto dell'avvocato della prima ora.
Il GIAR, rinviando alla propria decisione, e la CRP si rimettono al giudizio del Tribunale federale, il Ministero pubblico propone di respingere il gravame. Esprimendosi sulle risposte, il ricorrente si conferma nelle proprie tesi e conclusioni.

Diritto:
1. 1.1 Il ricorso in materia penale (<ref-law>) contro una decisione emanata dall'autorità cantonale di ultima istanza (<ref-law>) in materia penale, fra cui rientra la conferma dell'arresto, è ammissibile, il rimedio è tempestivo (<ref-law>) e la legittimazione del ricorrente pacifica (<ref-law>). In concreto si tratta di una decisione processuale incidentale riguardante un provvedimento coercitivo, che espone il ricorrente, per il quale viene confermato l'arresto, a un pregiudizio irreparabile giusta l'<ref-law> (<ref-ruling> consid. 1.3 pag. 240).
1.2 Giusta l'art. 453 cpv. 1 del Codice di diritto processuale penale svizzero, entrato in vigore il 1° gennaio 2011 (CPP), i ricorsi introdotti contro le decisioni emanate prima di questa data sono giudicati secondo il diritto anteriore, ossia secondo il Codice di procedura penale ticinese del 19 dicembre 1994 (CPP/TI), e dalle autorità competenti secondo tale diritto (cfr. anche sentenza 1B_224/2010 dell'11 gennaio 2011).
2. 2.1 Il carcere preventivo è compatibile con la libertà personale, garantita dall'<ref-law>, solo se si fonda su una base legale (art. 31 cpv. 1 e art. 36 cpv. 1 Cost.; <ref-ruling> consid. 2.2): questa è data in concreto dagli art. 95 segg. CPP/TI. La legittimità della detenzione va esaminata innanzitutto secondo le disposizioni del diritto cantonale (<ref-ruling> consid. 3). Per l'interpretazione e l'applicazione del diritto alla libertà personale il Tribunale federale considera inoltre le garanzie minime contenute nell'art. 5 CEDU, in quanto esse contribuiscano a concretizzarlo (<ref-ruling> consid. 4). Infine, la privazione della libertà dev'essere giustificata dall'interesse pubblico e rispettare il principio della proporzionalità (art. 36 cpv. 2 e 3 Cost.; <ref-ruling> consid. 2c).
2.2 Giusta l'<ref-law>/TI l'accusato può essere arrestato se esistono a suo carico gravi e concreti indizi di colpabilità per un crimine o un delitto e in presenza di preminenti motivi di interesse pubblico, quali il pericolo di fuga, i bisogni dell'istruzione, il pericolo di recidiva. La giurisprudenza, citata dalla CRP, ha ulteriormente definito nel solco di quella del Tribunale federale questa disposizione.
2.3 Secondo l'<ref-law>, il Tribunale federale rivede con libero potere l'interpretazione e l'applicazione del diritto cantonale di livello legislativo e regolamentare; per contro, gli accertamenti di fatto dell'autorità cantonale sono riveduti soltanto sotto il profilo dell'arbitrio e l'esercizio del potere di apprezzamento che le compete è pure sindacato nel ristretto ambito dell'abuso o dell'eccesso di apprezzamento (<ref-ruling> consid. 2.5 e rinvii).
3. 3.1 In concreto, la CRP ha rilevato che il ricorrente non contesta l'esistenza di gravi e concreti indizi di reato o la sussistenza dei preminenti interessi pubblici indicati dal GIAR, bensì l'utilizzazione della sua confessione a causa dell'assenza del suo avvocato nel quadro dell'interrogatorio di polizia. Egli chiedeva un'udienza alla presenza del suo legale per adottare una nuova decisione.
3.2 Il ricorrente, richiamando l'art. 5 n. 4 CEDU, fa valere una violazione del diritto di replica e rileva d'aver lamentato un mancato accesso agli atti. Adduce che le osservazioni del PP e del GIAR al suo gravame, pervenute alla CRP il 12 novembre 2010, gli sono state trasmesse il venerdì 19 novembre, senza indicare un termine per l'eventuale replica, e ritirate dal suo legale il lunedì 22 novembre seguente. Il 24 novembre 2010 il patrocinatore ha potuto consultare l'incarto: lo stesso giorno la Corte cantonale ha tuttavia emanato la decisione impugnata. Questi fatti non sono contestati dalle autorità cantonali e risultano dagli atti di causa.
3.3 Il diritto di essere sentito è un aspetto della garanzia generale dell'equo processo secondo gli <ref-law> e 6 n. 1 CEDU. Secondo la giurisprudenza, rettamente richiamata dal ricorrente, esso comprende il diritto di prendere conoscenza di ogni presa di posizione sottoposta al tribunale e di potersi esprimere al proposito, indipendentemente dalla circostanza che contenga argomenti di fatto o di diritto nuovi o che si presti concretamente a influire sul giudizio. Il diritto di replica fondato sull'<ref-law> vale per tutte le procedure giudiziarie (<ref-ruling> consid. 2.1 e 2.2; 100 consid. 4.3-4.6 con riferimenti anche alla prassi della Corte europea dei diritti dell'uomo, al riguardo vedi da ultimo le sentenze Schaller-Bossert c. Svizzera del 28 ottobre 2010 n. 39-42 e Ellès Christiane c. Svizzera del 16 dicembre 2010 n. 26-27; <ref-ruling>). Secondo la prassi del Tribunale federale, di massima, l'interessato, che intende avvalersi del suo diritto di esprimersi sulle osservazioni delle controparti che gli sono state trasmesse, deve, non da ultimo con riferimento al principio della celerità, chiedere senza indugio la possibilità di farlo o presentare direttamente le proprie osservazioni: in caso contrario, si può presumere ch'egli rinunci a presentare una presa di posizione (<ref-ruling> consid. 4.8).
3.4 Nella fattispecie la CRP ha accolto la richiesta del ricorrente del 23 novembre 2010, anticipata per fax e formulata già in precedenza, di consultare l'incarto. Il procedimento a quel momento non era pertanto ancora maturo per il giudizio. D'altra parte, le osservazioni del Ministero pubblico sono state notificate al legale del ricorrente soltanto venerdì 19 novembre 2010 e da lui ricevute il lunedì successivo. In siffatte circostanze, decidendo mercoledì 24 novembre 2010, manifestamente la CRP non poteva presumere che il ricorrente avesse implicitamente rinunciato ad avvalersi del suo diritto di esprimersi (<ref-ruling> consid. 4.8). Né regge l'assunto del Ministero pubblico secondo cui, poiché l'art. 5 n. 4 CEDU prescrive che il tribunale decida entro breve termine, il lasso di tempo di tre giorni sarebbe sufficiente, anche perché nella fattispecie questo periodo includeva il sabato e la domenica. Ora, la facoltà di replicare deve poter essere attuata in maniera effettiva e concreta, tenendo semmai conto anche dell'eventualità di un recapito fermoposta e del relativo termine di sette giorni. La rinuncia ad avvalersi di questo diritto non può chiaramente essere ritenuta nel caso concreto, in considerazione sia del breve termine trascorso dalla notifica delle osservazioni sia della richiesta di consultare gli atti inoltrata il giorno antecedente il giudizio di merito (<ref-ruling> consid. 3.2 e 3.3 inediti; <ref-ruling> consid. 3 inedito).
4. 4.1 Ne segue, che il ricorso dev'essere accolto per violazione del diritto di essere sentito e della garanzia di un equo processo. Il vizio, ricordato il differente potere di esame che compete al Tribunale federale in particolare riguardo all'accertamento dei fatti (art. 105 e 97 LTF), non può essere sanato (<ref-ruling> consid. 4.9). La causa dev'essere pertanto rinviata all'autorità competente secondo il CPP unificato (art. 453 cpv. 2) per nuovo giudizio, dopo aver concesso al ricorrente la facoltà di presentare le sue osservazioni. In queste condizioni le ulteriori censure ricorsuali non devono essere esaminate.
4.2 Visto l'esito del gravame, la richiesta di gratuito patrocinio (<ref-law>) diviene priva di oggetto in quanto non si prelevano spese giudiziarie (<ref-law>), mentre nella fattispecie quelle di patrocinio sono a carico dello Stato del Cantone Ticino (art. 68 cpv.1 e 2 LTF).

Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è accolto e la decisione emanata dalla Camera dei ricorsi penali del Tribunale d'appello del Cantone Ticino il 24 novembre 2010 è annullata. La causa le viene rinviata per nuovo giudizio.
2. Non si prelevano spese giudiziarie.
3. Lo Stato del Cantone Ticino rifonderà al ricorrente un'indennità di fr. 2'000.- per ripetibili della sede federale.
4. Comunicazione al patrocinatore del ricorrente, al Ministero pubblico, all'Ufficio del giudice dei provvedimenti coercitivi e alla Corte dei reclami penali del Tribunale d'appello del Cantone Ticino.