Fatti:
A. Con petizione 30 marzo 2009 B._ ha chiesto unilateralmente la pronuncia del divorzio dalla moglie A._ e la regolamentazione delle relative conseguenze accessorie dinanzi al Pretore della giurisdizione di Mendrisio Nord. A._ ha aderito alla domanda di divorzio postulando però una diversa regolamentazione degli effetti accessori, ed il Pretore ha pertanto convertito il procedimento in richiesta comune di divorzio con accordo parziale.
Nell'ambito di tale procedura A._ ha chiesto l'allestimento di una perizia giudiziaria volta alla determinazione del valore patrimoniale dello studio medico del marito. Con istanza 11 aprile 2011 la moglie ha domandato la ricusa della perita giudiziaria nominata dal Pretore, domanda che quest'ultimo ha respinto con decisione 15 aprile 2011.
B. Con sentenza 11 luglio 2011 la III Camera civile del Tribunale d'appello del Cantone Ticino ha dichiarato irricevibile il reclamo del 28 aprile 2011 di A._ avverso la decisione pretorile 15 aprile 2011. I Giudici cantonali hanno ritenuto che a tale decisione incidentale sia applicabile il diritto processuale cantonale, che non prevede la possibilità di impugnare una decisione pronunciata da un Pretore in merito alla ricusa di un perito. Essi hanno reputato che l'art. 405 cpv. 1 del codice di diritto processuale civile svizzero del 19 dicembre 2008 (CPC; RS 272), norma che prevede che alle impugnazioni si applica il diritto in vigore al momento della comunicazione della decisione, sia unicamente applicabile alle decisioni che pongono fine al procedimento, ma non anche a quelle incidentali come quella attaccata.
C. A._ è insorta al Tribunale federale con un ricorso in materia civile ed un ricorso sussidiario in materia costituzionale dell'11 settembre 2011 con cui postula, previo conferimento dell'effetto sospensivo al gravame, l'annullamento della decisione della Corte cantonale e il rinvio dell'incarto all'autorità inferiore affinché questa proceda ad evadere nel merito il suo reclamo del 28 aprile 2011. La ricorrente sostiene in sostanza che si giustifica applicare l'art. 405 cpv. 1 CPC alle decisioni in materia di ricusa per permettere alle parti di valersi della via di diritto concessa ed introdotta dalla nuova regolamentazione procedurale. Lamenta una violazione dell'art. 405 cpv. 1 CPC (ricorso in materia civile) nonché dell'art. 29a e dell'art. 9 Cost. (ricorso sussidiario in materia costituzionale).
Con decreto 14 ottobre 2011 la Presidente della Corte adita ha conferito effetto sospensivo al gravame e ha sospeso la procedura dinanzi al Tribunale federale fino all'emanazione da parte della III Camera civile del Tribunale d'appello di una decisione su una domanda di riesame ed interpretazione, subordinatamente di revisione, presentata da A._. La procedura è stata riattivata con decreto 23 dicembre 2011, dopo che la III Camera civile del Tribunale d'appello ha comunicato al Tribunale federale di aver respinto, nella misura della sua ricevibilità, la predetta domanda.
Con scritto 2 gennaio 2012 la III Camera civile del Tribunale d'appello comunica di rinunciare a formulare osservazioni al ricorso. Con risposta 3 febbraio 2012 B._ si rimette al giudizio del Tribunale federale.
Diritto:
1. La sentenza impugnata, notificata separatamente, costituisce una decisione incidentale concernente la domanda di ricusa di un perito, motivo per cui essa può essere impugnata al Tribunale federale giusta l'art. 92 cpv. 1 LTF (sentenza del Tribunale federale 1B_22/2007 del 29 maggio 2007 consid. 2.2; BERNARD CORBOZ, in Commentaire de la LTF, 2009, n. 15 ad art. 92 LTF). La via d'impugnazione di decisioni incidentali segue essenzialmente quella della vertenza di fondo (DTF 137 III 261 consid. 1.4). In concreto, il merito della controversia concerne una causa di divorzio - vale a dire una causa civile (art. 72 cpv. 1 LTF) - di natura non pecuniaria atteso che il divorzio non è ancora stato pronunciato (FABIENNE HOHL, Procédure civile II, 2a ed. 2010, n. 2684). Il tempestivo (combinati art. 46 cpv. 1 lett. b e 100 cpv. 1 LTF) ricorso in materia civile, inoltrato dalla parte risultata soccombente (art. 76 cpv. 1 LTF) innanzi all'ultima autorità cantonale che ha statuito su ricorso (art. 75 cpv. 1 e 2 LTF), si rivela pertanto in linea di principio ammissibile.
In queste circostanze, vista la proponibilità del ricorso in materia civile, il ricorso sussidiario in materia costituzionale si appalesa di primo acchito inammissibile (art. 113 LTF; DTF 133 III 545 consid. 5). Le censure formulate sotto quest'ultimo titolo sono prese in considerazione nella trattazione del ricorso in materia civile, atteso che con tale rimedio è possibile far valere la violazione del diritto federale (art. 95 lett. a LTF), che include pure la Costituzione federale (DTF 134 IV 36 consid. 1.4.1).
2. Giusta l'art. 405 cpv. 1 CPC alle impugnazioni si applica il diritto in vigore al momento della comunicazione della decisione. In concreto è incontestato che la decisione del Pretore è stata comunicata - vale a dire inviata (DTF 137 III 127 consid. 2; 137 III 130 consid. 2) - nell'aprile 2011, perciò dopo l'entrata in vigore del CPC avvenuta il 1° gennaio 2011. Litigiosa è invece la questione a sapere se, come ritenuto dalla Corte cantonale, l'art. 405 cpv. 1 CPC non sia applicabile qualora si tratti di decisioni incidentali. La controversia è già stata risolta da questo Tribunale con la DTF 137 III 424 consid. 2.3.2 in cui la II Corte di diritto civile, dopo aver proceduto a uno scambio di opinioni con la I Corte di diritto civile, è giunta alla conclusione, in ragione del chiaro tenore della norma in discussione, che l'applicazione dell'art. 405 cpv. 1 CPC non è limitata alle sole decisioni finali (v. anche sentenza del Tribunale federale 4A_523/2011 dell'8 dicembre 2011 consid. 5). Ne segue che la sentenza impugnata, che dichiara irricevibile il reclamo del 28 aprile 2011 della ricorrente perché ha ritenuto applicabile a tale impugnazione il diritto processuale cantonale, viola il diritto federale.
3. Da quanto precede discende che il ricorso in materia civile si appalesa fondato e va accolto, senza che occorra esaminare le altre censure ricorsuali (violazione dell'art. 29a e dell'art. 9 Cost.). La sentenza impugnata va annullata e la causa rinviata all'autorità inferiore affinché decida in applicazione del CPC il reclamo interposto dalla ricorrente.
Di regola le spese giudiziarie e le ripetibili sono poste a carico della parte soccombente (art. 66 cpv. 1 e art. 68 cpv. 1 e 2 LTF). In concreto l'opponente non ha formulato delle conclusioni tendenti alla reiezione del ricorso né provocato la decisione impugnata che fa seguito ad un reclamo della ricorrente contro la decisione del Pretore di respingere la sua istanza di ricusa della perita giudiziaria (v. DTF 119 Ia 1 consid. 6b). In queste condizioni l'opponente non può essere assimilato ad una parte soccombente ai sensi delle predette disposizioni. Le ripetibili in favore della ricorrente vanno pertanto poste a carico dello Stato del Cantone Ticino, il quale in virtù dell'art. 66 cpv. 4 LTF non dovrà però pagare spese giudiziarie (v. sentenze del Tribunale federale 5A_675/2011 del 19 gennaio 2012 consid. 4 con rinvii; 5A_13/2011 dell'8 febbraio 2011 consid. 4; 5A_571/2010 del 2 febbraio 2011 consid. 3).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso sussidiario in materia costituzionale è inammissibile.
2. Il ricorso in materia civile è accolto, la sentenza impugnata è annullata e la causa è rinviata all'autorità inferiore affinché decida in applicazione del CPC (RS 272) il reclamo del 28 aprile 2011.
3. Non si prelevano spese giudiziarie.
4. Lo Stato del Cantone Ticino rifonderà alla ricorrente fr. 2'000.-- a titolo di ripetibili della sede federale.
5. Comunicazione ai patrocinatori delle parti e alla III Camera civile del Tribunale d'appello del Cantone Ticino.