Fatti:
A. A.a Sulla particella xxx RFP di Y._, situata nella frazione di Z._, sorgono quattro case a schiera (subalterni A, B, C e D). In data 6 novembre 1998, A._ e B._ hanno acquistato, un quarto ciascuno, tale particella, trasferendosi nei subalterni C e D ed unendoli in un'unica abitazione. L'altra metà della particella è stata acquistata da C._, il quale ha dato in locazione a terzi i subalterni A e B. Il 14 maggio 2002 A._ ha venduto a B._ la sua quota di un quarto per fr. 225'000.--, soluti mediante assunzione di un equivalente debito ipotecario. L'8 gennaio 2003 B._ ha traslocato a seguito della rottura della relazione con A._.
A.b Con allegato 22 settembre 2003 B._ ha convenuto A._ chiedendo che questi, sotto comminatoria dell'art. 292 CP, venisse obbligato a liberare l'alloggio ed a versarle fr. 2'500.-- mensili dal 9 gennaio 2003 per l'occupazione del medesimo. A._ ha contestato la legittimazione attiva dell'attrice e, in via riconvenzionale, ha chiesto la restituzione della quota di un quarto di comproprietà, asseritamente ceduta a mero titolo fiduciario. Con sentenza 28 dicembre 2009, il Pretore del Distretto di Lugano ha per l'essenziale accolto la petizione (senza pronuncia della minaccia di sanzioni ex art. 292 CP) e ha respinto la riconvenzionale; tasse, spese e ripetibili sono state poste a carico di A._.
B. Adito con appello 27 gennaio 2010 da A._, il Tribunale di appello del Cantone Ticino con sentenza 13 luglio 2011 ha respinto il gravame e ha accolto (in quanto ricevibile) l'appello adesivo tramite il quale B._ aveva postulato che A._ le rifondesse un importo unico di fr. 1'466.-- (oltre accessori; in prima istanza aveva ottenuto a tale titolo fr. 1'666.65) e un importo mensile di fr. 4'400.-- (oltre accessori) dal febbraio 2003 alla riconsegna dell'appartamento.
C. Con allegato 14 settembre 2011, A._ (ricorrente) ha inoltrato ricorso in materia civile al Tribunale federale, in accoglimento del quale chiede la riforma della sentenza d'appello nel senso dell'integrale reiezione dell'azione principale di B._ (opponente) e l'accoglimento integrale della sua riconvenzionale. Con scritto 19 ottobre 2011, l'opponente ha spontaneamente formulato delle osservazioni al ricorso, postulando che esso sia dichiarato irricevibile, eventualmente sia respinto nella misura della sua ricevibilità.
Con decreto 7 novembre 2011 del Giudice dell'istruzione è stato conferito al ricorso integrale effetto sospensivo.
Diritto:
1. 1.1 Impugnata è una decisione finale (art. 90 LTF) in tema di actio negatoria fondata sull'art. 641 cpv. 2 CC. Si tratta di una vertenza civile di carattere pecuniario (art. 72 cpv. 1 e 74 cpv. 1 lett. b LTF) con un valore di causa sufficiente tanto con riferimento all'azione principale che alla riconvenzionale, come debitamente constatato dal Tribunale di appello (art. 112 cpv. 1 lett. d LTF). La decisione è stata pronunciata su ricorso dall'istanza cantonale superiore (art. 75 cpv. 1 e 2 LTF). Il ricorrente ha preso parte alla procedura cantonale, dalla quale è uscito soccombente; egli può pertanto avvalersi di un interesse degno di protezione all'annullamento o alla modifica della sentenza impugnata (art. 76 cpv. 1 lett. a e b LTF).
1.2 Con il ricorso in materia civile può essere fatta valere la violazione del diritto federale (art. 95 lett. a LTF), che include anche i diritti costituzionali dei cittadini (DTF 133 II 466 consid. 3.1). Salvo che per i casi citati dall'art. 95 LTF, non può invece essere censurata la violazione del diritto cantonale. È però sempre possibile fare valere che l'errata applicazione del diritto cantonale da parte dell'autorità precedente comporti una violazione del diritto federale, segnatamente del divieto d'arbitrio (art. 9 Cost.; DTF 133 III 462 consid. 2.3).
Il Tribunale federale applica il diritto d'ufficio (art. 106 cpv. 1 LTF). Ciò nondimeno, giusta l'art. 42 cpv. 2 LTF, nei motivi del ricorso occorre spiegare in modo conciso perché l'atto impugnato viola il diritto. Ciò significa che il ricorrente deve almeno confrontarsi brevemente con i considerandi della sentenza impugnata pena l'inammissibilità del gravame (DTF 134 II 244 consid. 2.1). Considerazioni di carattere generico, senza un nesso dimostrato o evidente con determinati considerandi della sentenza impugnata, non sono sufficienti (DTF 134 V 53 consid. 3.3). Le esigenze di motivazione sono più rigorose quando è fatta valere la violazione di diritti fondamentali, anche siccome riferita al diritto cantonale nel senso esposto poc'anzi. II Tribunale federale esamina queste censure solo se la parte ricorrente le ha debitamente sollevate e motivate, come prescritto dall'art. 106 cpv. 2 LTF. Ne discende che l'allegato ricorsuale deve indicare chiaramente i diritti costituzionali che si pretendono violati, precisando altresì in che consista tale violazione (DTF 134 II 244 consid. 2.2).
Il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento dei fatti svolto dall'autorità inferiore (art. 105 cpv. 1 LTF). Esso può scostarsene solo se è stato eseguito in violazione del diritto ai sensi dell'art. 95 LTF o in modo manifestamente inesatto, ovvero arbitrario (DTF 133 II 249 consid. 1.2.2). L'eliminazione del vizio indicato deve inoltre poter influire in maniera determinante sull'esito della causa (art. 97 cpv. 1 LTF). Non possono essere addotti nuovi fatti o nuovi mezzi di prova, a meno che non ne dia motivo la decisione impugnata, ciò che la parte ricorrente deve debitamente esporre nel proprio gravame (art. 99 cpv. 1 LTF; DTF 136 III 261 consid. 4.1).
2. Disseminate nel prolisso ricorso si rinvengono osservazioni relative ad una motivazione insufficiente della sentenza impugnata. Fossero state pensate quali censure fondate sul diritto costituzionale (art. 29 cpv. 2 Cost.; DTF 137 II 266 consid. 3.2 con rinvii), esse avrebbero dovuto venir motivate conformemente alle esigenze formulate all'art. 106 cpv. 2 LTF (supra consid. 1.2); ciò non è manifestamente il caso, mancando di regola persino il rinvio al diritto costituzionale preteso leso. Qui di seguito questa censura verrà esaminata solo laddove sufficientemente motivata.
3. Il proprietario di una cosa può rivendicarla contro chiunque la ritenga senza diritto e respingere qualsiasi indebita ingerenza (art. 641 cpv. 2 CC). Come correttamente espone il Tribunale di appello (consid. 3, con numerosi rinvii dottrinali), tale facoltà spetta a ogni comproprietario. In caso di rivendicazione di un immobile, il titolare iscritto a registro fondiario si presume proprietario (art. 9 CC), sicché incombe a chi contesta la proprietà dimostrare l'inesattezza dei fatti alla base dell'iscrizione (art. 937 cpv. 1 CC; sentenza 5A_28/2009 del 5 febbraio 2010 consid. 4.2.1 con rinvii, in FamPra.ch 2010 pag. 420). Il ricorrente contesta in primo luogo la proprietà dell'opponente: ritiene infatti che ella detenga l'immobile in questione a mero titolo fiduciario. A tal fine, discute l'apprezzamento delle prove effettuato dalla Corte cantonale.
3. Il proprietario di una cosa può rivendicarla contro chiunque la ritenga senza diritto e respingere qualsiasi indebita ingerenza (art. 641 cpv. 2 CC). Come correttamente espone il Tribunale di appello (consid. 3, con numerosi rinvii dottrinali), tale facoltà spetta a ogni comproprietario. In caso di rivendicazione di un immobile, il titolare iscritto a registro fondiario si presume proprietario (art. 9 CC), sicché incombe a chi contesta la proprietà dimostrare l'inesattezza dei fatti alla base dell'iscrizione (art. 937 cpv. 1 CC; sentenza 5A_28/2009 del 5 febbraio 2010 consid. 4.2.1 con rinvii, in FamPra.ch 2010 pag. 420). Il ricorrente contesta in primo luogo la proprietà dell'opponente: ritiene infatti che ella detenga l'immobile in questione a mero titolo fiduciario. A tal fine, discute l'apprezzamento delle prove effettuato dalla Corte cantonale.
3.1 3.1.1 Partendo dal fatto che l'opponente è iscritta a registro fondiario quale comproprietaria della particella in questione, Pretore e Tribunale di appello (consid. 11c in fine pag. 13), esaminate le prove, sono giunti alla conclusione che la cessione all'opponente di un quarto di comproprietà non configura un rapporto fiduciario, e che il ricorrente non è pertanto riuscito a sovvertire la presunzione fondata sull'art. 937 cpv. 1 CC.
3.1.2 I Giudici cantonali hanno in particolare esaminato una lettera 16 giugno 2003 dell'avv. D._ e la testimonianza resa dal medesimo in data 31 gennaio 2005. Nella lettera, risposta ad una sollecitazione del patrocinatore del ricorrente, il legale aveva scritto di essere venuto a sapere che la cessione era avvenuta a titolo fiduciario. Aveva aggiunto, in sede di testimonianza, di aver saputo poi dal ricorrente che la cessione era avvenuta "in relazione a dei timori di eventuali problemi [legati a] una sua vicenda professionale", senza precisare quale. Tuttavia, il Tribunale di appello ha sottolineato che si tratta di una testimonianza per sentito dire, e che non ha valenza di prova. Inoltre, l'accenno fatto dal ricorrente in quelle circostanze a problemi professionali è stato considerato troppo vago per suffragare l'esistenza di un rapporto fiduciario.
3.1.3 L'accenno alla "retrocessione" al ricorrente del quarto di comproprietà precedentemente ceduto all'opponente, pure menzionato nella citata lettera del legale, si inserisce secondo il Tribunale di appello nella possibilità di una liquidazione globale dei reciproci rapporti patrimoniali e non prova che fosse prevista sin dal momento della compravendita del 14 maggio 2002.
3.1.4 Il Tribunale di appello ha poi rivolto la propria attenzione al deposito delle cartelle ipotecarie presso l'avv. D._ in data 21 gennaio 2003. Ha rilevato sulla base della ricevuta rilasciata che le cartelle erano state depositate dall'opponente "a fine garanzia" nel contesto della definizione dei rapporti di dare e avere fra le parti a seguito della fine della convivenza. A detta del legale, sentito come teste, il deposito era avvenuto per rassicurare il ricorrente, in partenza per l'estero, che durante la sua assenza la casa non sarebbe stata venduta a terzi; nel medesimo senso si è espresso il teste C._, proprietario dell'altra metà della particella.
3.2 Il ricorrente discute dettagliatamente l'apprezzamento delle prove effettuato dai Giudici cantonali. Lo fa, tuttavia, in termini squisitamente appellatori, riproponendo il proprio modo di leggere le prove ed accompagnandolo con ipotesi: così, ad esempio, quando afferma che l'avv. D._ sia stato forzatamente informato della natura fiduciaria della cessione da entrambe le parti; o che non sia verosimile che le parti non abbiano accennato all'avv. D._ il rapporto fiduciario. Le sue apodittiche asserzioni costituiscono critica inammissibile.
Su questo punto, l'apprezzamento delle prove da parte del Tribunale di appello non è arbitrario.
3.3 A proposito delle ulteriori motivazioni sviluppate dalla Corte cantonale sia annotato quanto segue:
3.3.1 I Giudici cantonali hanno spiegato la permanenza del ricorrente nell'immobile dopo la separazione quale conseguenza della precedente coabitazione. La turbolenta fine della relazione fra le parti rende comprensibile perché l'opponente abbia lasciato il ricorrente nei locali, nell'attesa di definire i vicendevoli rapporti patrimoniali, decidendosi a chiedere un "canone di locazione" soltanto dopo aver constatato l'impossibilità di una composizione amichevole della vertenza.
Obiettando che è stata l'opponente a lasciare i locali e che nessuno si è opposto al suo permanere nell'appartamento, il ricorrente non dimostra che l'apprezzamento dei Giudici cantonali sia insostenibile.
3.3.2 Il Tribunale di appello ha reputato inattendibile la tesi del qui ricorrente secondo la quale egli avrebbe spesso sostenuto gli oneri della comproprietà, durante ma anche dopo la fine della convivenza (ciò che concorrerebbe ad avvalorare la tesi di un rapporto fiduciario tra le parti). A tal fine, esso ha esaminato approfonditamente la documentazione relativa all'immobile, e segnatamente il "giornale dei pagamenti" allestito dall'opponente, constatando che ella aveva effettuato regolarmente e di persona i versamenti relativi agli oneri ipotecari e ad altri costi legati alla comproprietà, le eccezioni riferendosi a periodi precedenti la compravendita del 14 maggio 2002. I Giudici cantonali hanno in seguito considerato irrilevante la suddivisione fra le parti delle spese della compravendita del 14 maggio 2002: hanno sottolineato che se davvero il ricorrente avesse ceduto la sua parte a titolo fiduciario, in qualità di fiduciante avrebbe dovuto assumersi integralmente le spese relative al trapasso.
Il ricorrente si limita a contestare genericamente la pertinenza della testimonianza di E._ ed a dedurre apoditticamente dal fatto che le fatture fossero a lui intestate la dimostrazione che aveva dunque contribuito a pagarle. Ora, dalla sentenza impugnata non emerge che le fatture fossero intestate al ricorrente. E comunque, anche se così fosse, questo argomento è ben lungi dall'imporre la conclusione ricorsuale come l'unica sostenibile, e dunque da far apparire quella dei Giudici cantonali come arbitraria. Quanto all'argomento attinente all'onere dei costi del trapasso di proprietà, il ricorrente non discute la considerazione della Corte cantonale, ma vi oppone la propria, che consiste a dire che fosse divenuta proprietaria effettiva, l'opponente avrebbe dovuto assumere i costi della transazione - ciò che non smentisce l'opinione dei Giudici cantonali, ed ancor meno la rende insostenibile.
3.4 Nella ridotta misura in cui le censure ricorsuali appaiano sufficientemente motivate, esse non sono in sunto atte a far apparire l'apprezzamento delle prove effettuato dai Giudici cantonali inficiato d'arbitrio. La conclusione del Tribunale di appello, secondo la quale il ricorrente non ha saputo sovvertire la presunzione fondata sull'art. 937 cpv. 1 CC, non viola il diritto.
4. Il Tribunale di appello ha avallato la sentenza pretorile anche in punto all'indennità riconosciuta all'opponente per l'occupazione dell'immobile. Esso ha ritenuto le norme sull'indebito arricchimento applicabili fino alla diffida fatta al ricorrente di liberare l'immobile (al 29 settembre 2003), poiché il ricorrente aveva risparmiato i costi dell'alloggio e l'opponente non si era opposta alla sua permanenza in loco; per il periodo successivo alla diffida, ha individuato la base legale del risarcimento nell'atto illecito. Quanto all'ammontare dell'importo del risarcimento, il Tribunale di appello in accoglimento dell'appello adesivo della qui opponente ha considerato che a torto il Pretore aveva limitato motu proprio la somma richiesta a fr. 2'500.-- mensili, e lo ha di conseguenza portato a fr. 4'400.-- mensili, corrispondenti al valore locativo fissato dal perito, come richiesto dall'opponente nel suo memoriale conclusivo.
4.1 Il ricorrente eccepisce in primo luogo che nessun risarcimento è dovuto in virtù della sua comproprietà; ma tale tesi è già stata smentita con la confutazione della pretesa cessione della sua parte a titolo solo fiduciario (supra consid. 3). Afferma poi non potersi fare capo all'atto illecito quale base per il riconoscimento di un'indennità già per il fatto che l'opponente non avrebbe allegato né dimostrato un mancato guadagno. Come il ricorrente possa affermare che l'opponente non abbia allegato un mancato guadagno, non è comprensibile: basti ricordare che una conclusione in tal senso era già stata proposta con la domanda di causa 22 settembre 2003. Del pari non si comprende come il ricorrente possa negare la dimostrazione del mancato guadagno sofferto dall'opponente, che il Tribunale di appello ha inequivocabilmente individuato nel reddito locativo che ella non ha potuto percepire durante l'occupazione dell'immobile da parte del ricorrente.
4.2 Il ricorrente obietta da ultimo che il Tribunale di appello non poteva aumentare l'importo allocato dal Pretore all'opponente a titolo di risarcimento: la giurisprudenza avrebbe stabilito che un'estensione della domanda ai sensi dell'art. 75 lett. b CPC/TI (abrogato con l'entrata in vigore del CPC [RS 272] il 1° gennaio 2011) era ammissibile solo laddove riguardasse questioni di dettaglio, ciò che non poteva essere ammesso alla luce dell'importante aumento statuito.
Il Tribunale di appello ha invero confermato la correttezza di tale interpretazione. Ha tuttavia motivato la propria sentenza con il fatto che il ricorrente era rimasto assente ingiustificato al dibattimento finale e non si era opposto all'estensione della domanda; in tali circostanze, secondo il diritto processuale cantonale qui applicabile chi non si presentava al dibattimento finale perdeva la possibilità di eccepire irregolarità formali della controparte, né il Pretore poteva intervenire di propria iniziativa (fatti salvi i motivi di nullità ex art. 142 CPC/TI). Ora, premesso che la critica ricorsuale di insufficiente motivazione di questo capitolo della sentenza impugnata è manifestamente infondata, potendosi perfettamente comprendere il filo del ragionamento dei Giudici di appello (sull'esigenza di motivazione sufficiente quale espressione del diritto di essere sentito garantito dall'art. 29 cpv. 2 Cost. v. DTF 136 I 229 consid. 5.2; 134 I 83 consid. 4.1; 133 I 270 consid. 3.1; v. anche supra consid. 2), nel proprio ricorso in materia civile il ricorrente non si confronta del tutto con l'argomento principe fondato sulla sua assenza al dibattimento finale di prima istanza e sull'illiceità di un intervento d'ufficio del Pretore: ribadisce invero di essersi opposto a diverse riprese alle conclusioni dell'opponente, ma non nega di non aver presenziato all'udienza finale né confuta la tesi del Tribunale di appello relativa all'impossibilità per il Pretore di intervenire d'ufficio. Inoltre il ricorrente discute liberamente le conclusioni dei Giudici cantonali, senza pretendere che queste assurgano ad un'interpretazione arbitraria dell'ormai abrogato diritto processuale cantonale (in proposito v. supra consid. 1.2).
La censura di insufficiente motivazione si appalesa pertanto infondata, mentre quella relativa all'interpretazione dell'art. 75 lett. b CPC/TI è integralmente inammissibile. L'accoglimento dell'appello adesivo dell'opponente da parte dei Giudici cantonali resiste alla critica ricorsuale.
5. Ne discende che il ricorso va respinto nella ridotta misura della sua ammissibilità, con conseguenza di tassa e spese a carico del ricorrente soccombente (art. 66 cpv. 1 LTF). Non sono dovute ripetibili all'opponente, che non è stata invitata ad esprimersi sul merito avanti al Tribunale federale e che sulla concessione dell'effetto sospensivo ha visto le proprie conclusioni sostanzialmente respinte (art. 68 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 6'000.-- sono poste a carico del ricorrente.
3. Comunicazione ai patrocinatori delle parti e alla I Camera civile del Tribunale d'appello del Cantone Ticino.