Fatti:
A. Contro A._, il Procuratore pubblico del Cantone Ticino (PP) ha aperto un procedimento penale per i titoli di incendio intenzionale, tentata truffa e sviamento della giustizia. Nell'ambito dell'inchiesta, il PP ha nominato il prof. C._ quale perito giudiziario.
B. Il 15 novembre 2010 l'imputato ha presentato al PP un'istanza di ricusa del perito. Con decisione del 2 dicembre 2010 il magistrato inquirente ha respinto l'istanza, ritenendo che il perito non avesse manifestato una condotta obiettivamente idonea a suscitare l'apparenza di una prevenzione nei confronti dell'imputato o a fare sorgere un sospetto di parzialità. Il 13 dicembre 2010 A._ ha impugnato la decisione del PP con un reclamo al Giudice dell'istruzione e dell'arresto (GIAR).
C. Con sentenza del 10 gennaio 2012 il Giudice dei provvedimenti coercitivi (GPC), sedente quale autorità competente in materia di reclami contro decisioni emanate prima dell'entrata in vigore del CPP, ha statuito sul gravame, respingendolo. Ha negato l'esistenza di parzialità o di prevenzione del perito nei confronti dell'imputato.
D. A._ impugna questo giudizio con un ricorso in materia penale al Tribunale federale, chiedendo di annullarlo e di accogliere la domanda di ricusa del perito giudiziario, estromettendo dagli atti la perizia ed i suoi rapporti complementari. Il ricorrente chiede inoltre di essere ammesso al beneficio del gratuito patrocinio. Fa valere la violazione del diritto federale e l'accertamento manifestamente inesatto dei fatti.
Non sono state chieste osservazioni nel merito del gravame.

Diritto:
1. Il Tribunale federale esamina d'ufficio e con piena cognizione la sua competenza (cfr. art. 29 cpv. 1 LTF) e l'ammissibilità dei gravami che gli vengono sottoposti (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
2. 2.1 Diretto contro una decisione incidentale notificata separatamente riguardante una domanda di ricusazione, il ricorso concerne una causa in materia penale (art. 78 cpv. 1 in relazione con l'art. 92 cpv. 1 LTF). Esso è stato presentato tempestivamente (art. 100 cpv. 1 LTF) dall'imputato, il quale è legittimato a ricorrere giusta l'art. 81 cpv. 1 lett. b n. 1 LTF.
2.2 Secondo l'art. 80 cpv. 1 LTF, il ricorso in materia penale è ammissibile contro le decisioni delle autorità cantonali di ultima istanza. Poiché la decisione impugnata è stata emanata il 10 gennaio 2012, occorre esaminare il requisito dell'autorità inferiore alla luce dell'art. 80 LTF, nel tenore in vigore dal 1° gennaio 2011 (art. 132 cpv. 1 LTF; <ref-ruling> consid. 2.2.1). Conformemente all'art. 80 cpv. 2 LTF (in relazione con l'art. 130 cpv. 1 LTF), a partire da questa data, può essere oggetto di ricorso in materia penale unicamente la decisione emanata da un tribunale superiore quale autorità cantonale di ultima istanza. Sono fatti salvi i casi in cui, secondo il nuovo CPP, un giudice dei provvedimenti coercitivi o un altro giudice si pronuncia quale istanza cantonale unica (art. 80 cpv. 2 terza frase LTF).
Secondo la giurisprudenza resa in applicazione dell'art. 86 cpv. 2 LTF, il riconoscimento del carattere "superiore" di un tribunale è subordinato al fatto che esso abbia giurisdizione su tutto il territorio cantonale e non sia sottoposto a nessun'altra autorità giudiziaria. In questo contesto, non è solo determinante che l'istanza giudiziaria in questione decida quale ultima istanza cantonale nell'ambito considerato, bensì che un ricorso ad un'istanza cantonale superiore contro una sua decisione sia escluso in tutti gli ambiti che le competono (<ref-ruling> consid. 4; sentenza 2C_557/2009 del 26 aprile 2010 consid. 3, in: RtiD II-2010, pag. 89 segg.).
2.3 Nella fattispecie, il GPC ha statuito sul reclamo in luogo del GIAR in virtù del diritto transitorio, ritenuto che la decisione del PP è stata emanata prima dell'entrata in vigore del CPP, il 1° gennaio 2011 (cfr. art. 453 cpv. 1 CPP in relazione con la legge ticinese del 20 aprile 2010 sull'adeguamento della legislazione cantonale all'introduzione del CPP [BU 2010, pag. 245 segg., in particolare XXVII cpv. 4, pag. 262]). Il giudizio qui impugnato è quindi basato sul previgente CPP/TI, che prevedeva la competenza del GIAR contro tutti i provvedimenti e le omissioni del PP (cfr. art. 280 cpv. 1 CPP/TI). Il GIAR non costituiva tuttavia un tribunale superiore, poiché nei campi della privazione della libertà personale e dei sequestri le sue decisioni erano impugnabili dinanzi alla Camera dei ricorsi penali del Tribunale d'appello (cfr. art. 284 cpv. 1 lett. a CPP/TI). D'altra parte, nell'ipotesi in cui un caso analogo a quello in esame fosse soggetto al nuovo CPP, il GPC non si pronuncerebbe quale istanza cantonale unica ai sensi dell'art. 80 cpv. 2 terza frase LTF. Sotto l'egida del CPP, la decisione del PP sulla ricusa di un perito giudiziario (art. 183 cpv. 3 CPP) sarebbe infatti impugnabile mediante reclamo dinanzi alla Corte dei reclami penali del Tribunale d'appello (cfr. art. 20 e 393 cpv. 1 lett. a CPP; JOËLLE VUILLE, in: Commentaire romand, CPP, 2011, n. 30 all'art. 183).
In tali circostanze, poiché la decisione impugnata non emana da un tribunale superiore quale autorità cantonale di ultima istanza, il ricorso in materia penale non può essere esaminato nel merito.
2.4 Nell'ottica del prosieguo del procedimento, va nondimeno rilevato che, in attesa dei necessari adattamenti legislativi a livello cantonale, dal 1° gennaio 2011 l'art. 80 cpv. 2 LTF può fondare direttamente la competenza di un tribunale superiore cantonale (cfr. <ref-ruling> consid. 3; <ref-ruling> consid. 7).
3. Ne segue che il gravame deve essere dichiarato inammissibile. La domanda di gratuito patrocinio non può essere accolta, essendo il ricorso fin dall'inizio privo di possibilità di successo (art. 64 cpv. 1 LTF; sentenza 6B_746/2011 del 28 novembre 2011). Considerata la particolarità della causa, si giustifica tuttavia di rinunciare a prelevare spese giudiziarie (art. 66 cpv. 1 LTF).
L'emanazione del presente giudizio rende priva di oggetto la domanda di effetto sospensivo contenuta nel ricorso.

Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è inammissibile.
2. Non si prelevano spese giudiziarie.
3. Comunicazione ai patrocinatori delle parti, al Giudice dei provvedimenti coercitivi, al Ministero pubblico e, per conoscenza, alla Corte dei reclami penali del Tribunale d'appello del Cantone Ticino.