Fatti:
A. A.a M._ già operaio turnista presso una ditta x._, nel maggio 1996 ha presentato una prima richiesta di prestazioni AI per adulti, lamentando un'inabilità lavorativa riconducibile a un incidente della circolazione che gli avrebbe causato problemi alla colonna cervicale. Con decisione 31 marzo 1998, cresciuta in giudicato, l'Ufficio AI del Cantone Ticino (UAI) - dopo aver esperito gli accertamenti di rito, tra cui una perizia pluridisciplinare (ortopedica e psichiatrica) eseguita dal Servizio Y._ - ha negato l'erogazione di una rendita per mancanza d'invalidità di grado pensionabile.
A.b Il 31 ottobre 2000 l'interessato ha inoltrato una seconda richiesta di prestazioni AI facendo valere un peggioramento del suo stato valetudinario. L'amministrazione, dopo nuovi accertamenti medici, con decisione 13 febbraio 2003 ha riconosciuto all'assicurato il diritto a una mezza rendita d'invalidità (per un grado d'incapacità al guadagno del 50%) dal 1° marzo 2002. Il 9 aprile 2003 l'UAI ha parzialmente accolto l'opposizione di M._ e ha ordinato un complemento istruttorio. Dopo aver fatto esperire una seconda perizia pluridisciplinare (neurologica, reumatologica e psichiatrica ) a cura del Servizio X._ e richiesto una valutazione psichiatrica da parte dell'Organizzazione H._ - con decisione 14 febbraio 2005 l'Ufficio cantonale, facendo capo al calcolo della media retrospettiva, gli ha attribuito un quarto di rendita (per un grado d'invalidità del 42%) dal 1° agosto 2001 e una mezza rendita (per un grado d'invalidità del 58%) dal 1° novembre 2001. In seguito all'opposizione dell'interessato, l'amministrazione, con provvedimento 29 marzo 2007, ha parzialmente accolto l'opposizione e riconosciuto a M._ il diritto a un quarto di rendita dal 1° ottobre 2001 e a una rendita intera dal 1° gennaio 2002. Adito su ricorso, il Tribunale delle assicurazioni del Cantone Ticino con giudizio 17 aprile 2008 ha annullato la decisione su opposizione del 29 marzo 2007 e ha rinviato l'incarto all'amministrazione per ulteriori approfondimenti medici (in particolare psichiatrici) ed economici.
A.c Dando seguito alla decisione di rinvio, l'UAI ha sottoposto l'assicurato a una terza perizia pluridisciplinare (psichiatrica, reumatologica e neurologica) a cura del Servizio X._, i cui esperti hanno accertato una incapacità lavorativa complessiva del 50% (per una presenza sul posto di lavoro a tempo pieno, seppur con rendimento ridotto, essenzialmente a causa delle limitazioni reumatologiche, quantificate al 50%, che permettevano di tenere conto anche della diminuzione della capacità lavorativa del 10% in ambito psichiatrico) nella professione abituale come pure in un'attività equivalente quale operaio elettromeccanico. Con decisione 15 aprile 2010, preavvisata il 14 gennaio 2010, l'amministrazione ha attribuito un quarto di rendita (per un grado d'invalidità del 42%) dal 1° ottobre 2001 e una mezza rendita (per un'incapacità di guadagno del 50%) dal 1° gennaio 2002.
B. Patrocinato dall'avv. Lepori, l'assicurato si è aggravato al Tribunale cantonale delle assicurazioni, al quale ha chiesto di annullare la decisione amministrativa e di riconoscergli una rendita intera retroattivamente dall'inoltro della domanda di prestazioni del 21 maggio 1996, trascorso il termine di attesa legale. Inoltre ha chiesto di essere posto al beneficio dell'assistenza giudiziaria gratuita.
La Corte cantonale, statuendo per giudice unico, ha respinto il ricorso e posto l'interessato al beneficio dell'assistenza giudiziaria (giudizio 8 settembre 2010).
C. M._ ha presentato ricorso al Tribunale federale al quale ribadisce le richieste di primo grado e chiede che venga ordinata una nuova perizia psichiatrica oltre che una perizia ortopedica. Postula inoltre la concessione dell'assistenza giudiziaria gratuita anche per la sede federale. Dei motivi si dirà, per quanto occorra, nei considerandi.
Non sono state chieste osservazioni al gravame.
Diritto:
1. Il ricorso in materia di diritto pubblico può essere presentato per violazione del diritto, così come stabilito dagli art. 95 e 96 LTF. Il Tribunale federale applica d'ufficio il diritto (art. 106 cpv. 1 LTF; cfr. tuttavia l'eccezione del cpv. 2) e non è pertanto vincolato né dagli argomenti sollevati nel ricorso né dai motivi addotti dall'autorità precedente. Nondimeno, in considerazione delle esigenze di motivazione di cui all'art. 42 cpv. 1 e 2 LTF, esso esamina di principio unicamente le censure sollevate; non è tenuto, come lo è invece un'autorità di prima istanza, ad esaminare tutte le questioni giuridiche possibili, se queste non gli vengono (più) riproposte (DTF 133 II 249 consid. 1.4.1 pag. 254, 545 consid. 2.2). Per il resto, il Tribunale federale fonda la sua sentenza sui fatti accertati dall'autorità inferiore (art. 105 cpv. 1 LTF) e vi si può scostare solo qualora questo accertamento sia avvenuto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'art. 95 LTF (art. 105 cpv. 2 LTF). A prescindere dai casi in cui tale inesattezza sia lampante (DTF 134 V 53 consid. 4.3 pag. 62; 133 IV 286 consid. 6.2. pag. 288 in fine), la parte che intende contestare i fatti accertati dall'autorità inferiore deve spiegare, in maniera circostanziata, per quale motivo ritiene che le condizioni di una delle citate eccezioni previste all'art. 105 cpv. 2 LTF sarebbero realizzate; in caso contrario non si può tener conto di uno stato di fatto diverso da quello posto a fondamento della decisione impugnata (cfr. DTF 133 II 249 consid. 1.4.3 pag. 254 con riferimento).
2. Nei considerandi dell'impugnata pronuncia, l'autorità giudiziaria cantonale ha già correttamente esposto le norme (nel loro tenore applicabile prima e dopo il 1° gennaio 2008) e i principi giurisprudenziali disciplinanti la materia, rammentando in particolare la nozione di invalidità (art. 4 cpv. 1 LAI, art. 7 e 8 LPGA), i presupposti e l'estensione del diritto alla rendita (art. 28 LAI), il sistema di confronto dei redditi per la determinazione del grado d'invalidità di assicurati esercitanti un'attività lucrativa (art. 16 LPGA), i compiti del medico nell'ambito di questa valutazione e il valore probatorio generalmente riconosciuto ai referti medici fatti allestire da un tribunale o dall'amministrazione conformemente alle regole di procedura applicabili (DTF 125 V 256 consid. 4 pag. 261, 353 consid. 3b/ee; 115 V 133 consid. 2; 114 V 310 consid. 3c pag. 314).
A tale esposizione può essere fatto riferimento e prestata adesione non senza tuttavia ribadire che non sono considerati effetti di un danno alla salute psichica, e dunque non costituiscono turbe a carico dell'assicurazione per l'invalidità, le limitazioni della capacità al guadagno cui la persona assicurata potrebbe ovviare dando prova di buona volontà, atteso che un danno alla salute psichica produce una incapacità al guadagno (art. 7 LPGA) solo nella misura in cui è lecito ammettere che l'impiego della capacità lavorativa (art. 6 LPGA) non possa più essere preteso dalla persona assicurata dal profilo pratico sociale oppure risulti insostenibile per la società (DTF 102 V 165; cfr. anche DTF 127 V 294 consid. 4c pag. 298).
3. Oggetto del contendere è sapere se il ricorrente abbia diritto a una rendita intera d'invalidità e in tal caso a partire da quando.
3.1 L'istanza giudiziaria cantonale ha in primo luogo, in ordine, escluso una violazione del diritto di essere sentito per non avere l'interessato avuto la possibilità di ritirare il proprio ricorso 10 maggio 2007 contro la decisione su opposizione del 29 marzo 2007 che gli aveva riconosciuto una rendita intera e quindi - sebbene a partire da una data successiva a quella auspicata - superiore a quella in definitiva attribuitagli dall'amministrazione dopo la decisione di rinvio 17 aprile 2008 del Tribunale cantonale. Nel merito, il primo giudice ha quindi sostanzialmente fondato il proprio giudizio sulle risultanze della terza perizia pluridisciplinare 12 dicembre 2008 del Servizio X._, e più precisamente sugli accertamenti operati in ambito psichiatrico dal dott. J._, in ambito reumatologico dal dott. B._ e in ambito neurologico dal dott. K._. Il primo giudice ha confrontato l'attendibilità di tali conclusioni alla luce delle precedenti valutazioni agli atti e ritenuto dimostrato con il grado della verosimiglianza preponderante valido nel diritto delle assicurazioni sociali che l'assicurato presentava un'abilità lavorativa residua del 50% nella sua professione abituale come pure in attività sostitutive adeguate. Quanto agli effetti temporali dell'inizio del diritto alla rendita, il giudice di prime cure ha confermato la valutazione dell'amministrazione, confermando il calcolo della media retrospettiva.
3.2 Nel proprio ricorso, l'insorgente ribadisce la richiesta di attribuzione di una rendita piena d'invalidità quantomeno dal 1° gennaio 2002 per non essere stato avvisato della possibilità di una reformatio in peius. Nel merito, contesta l'accertamento dello stato di salute ad opera del primo giudice che contrasterebbe in particolare con gli atti all'inserto. Per l'aspetto psichiatrico, egli si richiama alla valutazione psichiatrica realizzata, sempre su incarico dell'AI, dal dott. M._, il quale già nel 2003 gli aveva attestato una totale incapacità lavorativa a causa di una evoluzione depressiva con tratti paranoidi di personalità. In considerazione delle divergenti conclusioni cui sono giunti sull'arco degli anni i vari specialisti incaricati dall'AI, dottori M._, T._ e J._, ritiene imprescindibile l'allestimento di una nuova perizia psichiatrica. Il ricorrente osserva inoltre che le affezioni reumatologiche limitanti la capacità lavorativa al 50% in ogni attività sarebbero presenti già dal 1996 secondo quanto indicato dalla perizia Servizio X._ del 21 ottobre 2003, motivo per il quale tale incapacità lavorativa andrebbe riconosciuta a partire dall'inoltro della prima domanda di rendita. Riafferma quindi che il suo stato di salute è peggiorato, tant'è che nel marzo 2009 ha dovuto sottoporsi a un intervento chirurgico per asportare tre "polipetti" dal colon, con conseguente attestazione di piena incapacità lavorativa da parte del suo medico curante. Egli invoca quindi la necessità di una perizia ortopedica per dimostrare l'entità dei suoi problemi degenerativi messi in evidenza dal dott. I._ e rileva l'inconsistenza della perizia reumatologica per l'accertamento degli aspetti ortopedici. Il ricorrente chiede poi che gli venga riconosciuta la riduzione massima del 25% dal reddito base da invalido in considerazione della sua età, nazionalità e grado di istruzione così da ottenere un grado d'invalidità del 70%.
4. Per rispondere alla richiesta di attribuzione di una rendita piena d'invalidità quantomeno dal 1° gennaio 2002 per non essere l'interessato stato avvisato della possibilità di una reformatio in peius dopo il suo ricorso contro la decisione su opposizione del 29 marzo 2007, è sufficiente il rinvio alle considerazioni della pronuncia impugnata, in cui il primo giudice ha giustamente osservato che non è possibile parlare di reformatio in peius nel caso l'autorità cui si rimprovera la violazione del diritto di essere sentiti si sia limitata, come in concreto, a disporre un rinvio degli atti ad un'istanza inferiore, senza che da ciò si potesse dedurre con certezza un peggioramento della posizione giuridica del ricorrente (cfr. DLA 1995 no. 23 pag. 139 consid. 3b; cfr. pure sentenza 9C_992/2008 del 6 gennaio 2009 consid. 2).
5. 5.1 Per giurisprudenza, gli accertamenti dell'autorità giudiziaria di ricorso in merito al danno alla salute (diagnosi, prognosi, ecc.), alla capacità lavorativa dell'assicurato e all'esigibilità di un'attività professionale - nella misura in cui quest'ultimo giudizio non si fonda sull'esperienza generale della vita - riguardano questioni di fatto che possono essere esaminate da questa Corte solo in maniera molto limitata (cfr. consid. 1; DTF 132 V 393 consid. 3.2 pag. 398). Lo stesso vale anche per la valutazione medica sulle risorse psichiche residue di una persona assicurata (cfr. sentenza 9C_1013/2008 del 23 dicembre 2009 consid. 4.1).
5.2 Ora, non si vede in che misura l'autorità giudiziaria inferiore avrebbe constatato i fatti in modo manifestamente inesatto - e dunque arbitrario (cfr. DTF 134 V 53 consid. 4.3 pag. 62; 133 III 393 consid. 7.1 pag. 398) - o incompleto. Va infatti rilevato che i punti litigiosi, in particolare quelli riferiti alle problematiche psichiche, sono stati oggetto di studi approfonditi sull'arco di oltre un decennio in occasione dell'allestimento delle tre perizie Servizio X._ (agosto 1997, ottobre 2003 e dicembre 2008). Certamente senza arbitrio, il primo giudice poteva così fondare la propria valutazione per l'aspetto psichiatrico sulle conclusioni del dott. J._, che ben spiega - con il decorso altalenante del quadro clinico negli anni - la divergenza di opinioni tra i dottori M._ e T._ e che attesta un grado di incapacità lavorativa residua del 10% per una sindrome mista ansioso depressiva (ICD 10 F 41.2) alimentata da pensieri rivendicativi che influiscono sulla capacità funzionale dell'assicurato in modo tale da renderlo lento, meno sicuro, meno resistente e più discontinuo. Quanto al fatto che il dott. M._ avesse attestato già nel 2003 una piena incapacità lavorativa per motivi psichiatrici (disturbo della personalità di tipo paranoide: ICD 10 F 60.0), la Corte cantonale, facendo riferimento alla valutazione del dott. J._, evidenzia gli elementi (tra i quali: assenza di idee a sfondo persecutorio; presenza sì di un'ideazione rivendicativa ma che non intacca altri aspetti della vita sociale e di contatto interpersonale; assenza di sospettosità e diffidenza nell'entrare in relazione che sono invece tipiche del paziente paranoide) che si oppongono al riconoscimento di un disturbo della personalità di tipo paranoide e alle sue conseguenze totalmente invalidanti come pure alla necessità di predisporre una ulteriore valutazione specialistica.
Per l'aspetto reumatologico, il primo giudice ha ben spiegato come la tesi - riproposta in questa sede - di fare risalire l'incapacità lavorativa del 50% al momento della prima domanda di prestazioni non trovi conferma negli atti ma sia anzi da essa smentita. È sufficiente a tal proposito la lettura del rapporto 9 ottobre 2003 del dott. B._ per rendersi conto dell'insostenibilità della tesi ricorsuale e per avvedersi che rispetto al 1996 la situazione della colonna cervicale era in realtà oggettivamente peggiorata (cfr. a tal proposito pure la prima perizia Servizio X._ del 29 agosto 1997 in cui per motivi fisici l'assicurato era stato ritenuto inabile al lavoro "solo" nella misura del 10%).
Riguardo alla richiesta di perizia ortopedica, l'insorgente si limita a non condividere - poiché a suo avviso una perizia reumatologica non avrebbe nulla a che fare con i suoi problemi ortopedici - l'argomentazione del Tribunale cantonale di ritenere ampiamente considerata in quest'ultima la problematica ortopedica descritta dal dott. I._ e di prescindere, siccome superfluo, da un ulteriore approfondimento (ortopedico). Sennonché, oltre a ignorare la prassi di questa Corte, che ha già avuto modo di stabilire che i confini dell'area di competenza dell'ortopedico e del reumatologo non sono sempre assolutamente netti, ma possono anche sovrapporsi a seconda delle circostanze (cfr. RtiD 2010 II pag. 208 [9C_965/2008] consid. 4), egli a ben vedere nemmeno adempie all'obbligo di motivazione prescrittogli dall'art. 42 cpv. 2 LTF poiché neppure tenta di spiegare in quale misura l'accertamento del primo giudice sarebbe non solo errato, ma addirittura arbitrario. Lo stesso dicasi per rapporto al preteso, ma negato, peggioramento dello stato di salute riconducibile allo sviluppo di alcuni adenomi tubolari con displasie lievi/moderate e alla loro conseguente rimozione chirurgica. Se mai, si osserva, l'intervento chirurgico ha posto fine ai problemi dovuti alla presenza di siffatte formazioni patologiche nel colon migliorandone nell'esito la qualità della vita e in ultima analisi anche la capacità lavorativa.
5.3 Ne consegue che l'istanza precedente non ha leso alcuna norma di diritto federale, né ecceduto o abusato del potere di apprezzamento riservatole dalla giurisprudenza, quando ha ritenuto dimostrato, con il grado di verosimiglianza preponderante valido nell'ambito delle assicurazioni sociali, che l'assicurato è abile al lavoro nella misura del 50% nella sua precedente attività come pure in attività confacenti al suo stato valetudinario. Nulla cambia a tale conclusione che in un rapporto del 28 marzo 2007 l'allora consulente in integrazione professionale aveva ritenuto l'assicurato non più integrabile sul mercato del lavoro. Anche a tal proposito è sufficiente il rilievo che tale valutazione non è cresciuta in giudicato ma è stata annullata dal Tribunale cantonale con il giudizio di rinvio del 17 aprile 2008 e dalla nuova valutazione economica messa in atto dall'UAI dopo la terza perizia pluridisciplinare del Servizio X._.
5.4 Quanto alla richiesta che gli venga riconosciuta la riduzione massima del 25% dal reddito base da invalido (v. DTF 126 V 75), così da ottenere un grado d'invalidità del 70% con la conseguente attribuzione di una rendita intera di invalidità, basta ricordare al ricorrente che in realtà, vista la possibilità di mettere a frutto la sua capacità lavorativa residua nella precedente attività e nella medesima misura (del 50%) come in attività sostitutive, non occorre procedere a un raffronto dei redditi, partendo sia il redito da valido sia il reddito da invalido dai medesimi valori e non giustificandosi in tale evenienza una riduzione ai sensi della citata giurisprudenza (cfr. ad esempio sentenza 9C_734/2009 del 6 ottobre 2009 consid. 2.1).
5.5 Per il resto, il ricorrente non adduce elementi che rendano manifestamente inesatto o contrario al diritto l'accertamento dell'inizio del diritto alla rendita e il calcolo della media retrospettiva.
6. In esito alle suesposte considerazioni la pronuncia impugnata deve di conseguenza essere confermata.
Considerato che l'impugnativa era sin dall'inizio priva di possibilità di esito favorevole, la domanda di assistenza giudiziaria andrebbe respinta (art. 64 LTF). Al ricorrente soccombente, andrebbero perciò addossate le spese giudiziarie (art. 66 cpv. 1 LTF). Tuttavia, viste le circostanze particolari, si rinuncia eccezionalmente a prelevare tali spese (art. 66 cpv. 1 in fine LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è respinto.
2. Non si prelevano spese giudiziarie.
3. Comunicazione alle parti, al Tribunale cantonale delle assicurazioni e all'Ufficio federale delle assicurazioni sociali.