Fatti:
A.a Con decisione del 14 giugno 1993, con effetto dal 1° febbraio 1992, l'Ufficio AI del Cantone Ticino (UAI) ha posto Z._, nato nel 1948, manovale, al beneficio di una rendita intera di invalidità per motivi psichici sulla base di un grado d'invalidità dell'80 %. Il diritto alla rendita è stato confermato nel 1994 e nel 1997.
Nell'ambito della procedura di revisione avviata d'ufficio nel 2002 è emerso che dall'estate 2001 al marzo 2003 l'assicurato si era occupato, insieme con la figlia, di commercio di canapa, per il tramite di tre società anonime, realizzando complessivamente una cifra d'affari di circa fr. 4'000'000.- ed un guadagno di almeno fr. 300'000.- (si confronti sentenza penale 6S.56/2006 del 15 giugno 2006). L'UAI ha quindi soppresso la rendita con effetto dal 1° agosto 2001, ritenuto che, essendo stato in grado di svolgere un'attività imprenditoriale redditizia, Z._ non poteva essere considerato invalido (decisione del 27 gennaio 2004 e decisione su opposizione del 20 aprile 2004).
A.b Per pronuncia del 16 novembre 2004, cresciuta in giudicato, il Tribunale delle assicurazioni del Canton Ticino ha confermato la decisione amministrativa per quanto riguardava la soppressione della rendita per il periodo da agosto 2001 a marzo 2003, mentre ha rinviato gli atti all'amministrazione per il periodo successivo, affinché accertasse il reddito da invalido conseguibile in attività imprenditoriali commerciali (lecite) analoghe a quella precedentemente svolta di canapaio e si pronunciasse nuovamente sul grado di invalidità e sul diritto alla rendita dell'interessato.

A.c Con provvedimento del 24 marzo 2005, confermato con decisione su opposizione del 5 luglio successivo, l'UAI ha negato il ripristino della rendita intera di invalidità postulato da Z._, considerando nullo il grado di invalidità anche dopo il mese di marzo 2003.
Il Tribunale cantonale con giudizio del 19 aprile 2006 e il Tribunale federale con sentenza del 5 ottobre 2007 hanno respinto i gravami interposti dall'interessato (sentenza I 492/06 del 5 ottobre 2007).
B. Adducendo un aggravamento dello stato di salute fisico, in data 29 dicembre 2005 e 29 agosto 2006 Z._ ha presentato all'UAI una nuova domanda di rendita.
Con decisione formale dell'8 ottobre 2008 l'amministrazione ha respinto la richiesta, ritenuto che, alla luce della perizia psichiatrica allestita dall'organizzazione sociopsichiatrica cantonale (dottori C._ e B._) e di quella reumatologica eseguita dal dottor P._, il grado di invalidità risultava pari al 29 %.
Tramite giudizio del 15 ottobre 2009 il Tribunale cantonale delle assicurazioni ha respinto il gravame così come la domanda di assistenza giudiziaria con gratuito patrocinio presentati da Z._, patrocinato dall'avvocato Fulvio Pezzati.
C. Sempre assistito dall'avvocato Pezzati, Z._ interpone ricorso in materia di diritto pubblico al Tribunale federale chiedendo l'annullamento del giudizio impugnato e il riconoscimento dell'assistenza giudiziaria con gratuito patrocinio in sede cantonale e federale. Dei motivi si dirà, per quanto occorra, nei considerandi.
Chiamato a pronunciarsi sul gravame, l'UAI ha proposto di respingerlo, mentre l'Ufficio federale delle assicurazioni sociali non si è espresso.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio la sua competenza in virtù dell'<ref-law> (<ref-ruling> consid. 3).
Per l'<ref-law> gli atti scritti devono essere redatti in una lingua ufficiale, contenere le conclusioni, i motivi e l'indicazione dei mezzi di prova ed essere firmati. Il Tribunale federale non può andare oltre le conclusioni delle parti (<ref-law>). Se accoglie il ricorso, giudica esso stesso nel merito o rinvia la causa all'autorità inferiore affinché pronunci una nuova decisione (cpv. 2). L'esigenza dell'indicazione delle conclusioni, che va messa in relazione con la natura riformatoria dei rimedi istituiti dalla LTF (<ref-law>, <ref-ruling> consid. 1.5.1 pag. 190; <ref-ruling> consid. 3.1), implica che la parte ricorrente non può postulare genericamente l'annullamento della pronunzia impugnata o il rinvio della causa all'autorità precedente, bensì deve formulare una conclusione chiara e precisa nel merito della controversia e specificare le modifiche da lei auspicate (si confronti anche <ref-ruling> consid. 2 pag. 236). Le conclusioni vanno interpretate alla luce della motivazione (sentenze 9C_127/2009 del 28 agosto 2009 consid. 2.1 e 8C_3/2009 dell'8 maggio 2009 consid. 1; Aubry Girardin, in Commentaire de la LTF, 2009, n° 18 ad <ref-law>). Un'eccezione al citato principio è data nell'ipotesi in cui il Tribunale federale, in caso di accoglimento del ricorso, non fosse in grado di decidere nel merito della lite e dovesse comunque rinviare la causa all'autorità inferiore (<ref-ruling> consid. 1.3 pag. 383).
1.2 In casu l'assicurato postulando l'annullamento del giudizio impugnato - oltre alla concessione dell'assistenza giudiziaria in sede cantonale e federale - ha formulato una conclusione di natura cassatoria (<ref-ruling> consid. 1.4 pag. 414). Egli non ha infatti presentato alcuna domanda di merito (ad esempio tendente alla concessione della rendita rispettivamente ad un rinvio motivato), eccetto per quel che concerne l'ammissione all'assistenza giudiziaria in sede cantonale.
Poiché tuttavia dall'atto di ricorso emerge che Z._ intendeva postulare in via principale l'annullamento del giudizio impugnato, con rinvio degli atti all'istanza precedente per procedere ad ulteriori accertamenti e meglio all'erezione di una nuova perizia psichiatrica (pag. 10-11) ed in via subordinata la riforma della pronuncia impugnata tramite concessione di un quarto di rendita di invalidità, il ricorso è ricevibile (sentenze 9C_135/2009 del 27 maggio 2009 consid. 1 e 9C_667/2008 del 17 aprile 2009 consid. 1.2).
2. 2.1 Nuovi fatti e nuovi mezzi di prova possono essere addotti soltanto se ne dà motivo la decisione dell'autorità inferiore (<ref-law>). La memoria ricorsuale deve in particolare esporre le ragioni per cui la condizione di cui all'art. 99 sarebbe adempiuta (<ref-ruling> consid. 3 pag. 395).
2.2 Con il ricorso Z._ ha sostenuto che non si sarebbe mai verificato alcun colloquio alla presenza del dottor B._, specialista FMH in psichiatria e psicoterapia e che non è dato di sapere dove il Tribunale cantonale abbia reperito tale fatto.
Dagli atti emerge tuttavia che il giudice cantonale ha sottoposto al dottor B._ alcuni quesiti in relazione allo svolgimento della perizia, alle quali lo specialista ha risposto in modo chiaro, asserendo di aver partecipato ai colloqui e alla successiva discussione con la dottoressa C._ e che concordava con la redazione eseguita da quest'ultima, motivo per cui l'aveva sottoscritta. L'accertamento è stato tempestivamente sottoposto al patrocinatore del ricorrente, il quale ha precisato di prendere "atto che il perito ha risposto alle domande del tribunale, al quale compete la valutazione delle stesse". Z._ non ha quindi contestato gli accertamenti esperiti dal Tribunale cantonale.
La dichiarazioni di tenore opposto sollevate in questa sede configurano quindi fatti nuovi, in contrasto con gli accertamenti agli atti. Oltretutto non emergono dall'atto ricorsuale i motivi per cui il giudizio cantonale avrebbe dato adito all'allegazione di tali nuovi fatti. Le circostanze addotte sono pertanto inammissibili.
3. 3.1 Il ricorso in materia di diritto pubblico può essere presentato per violazione del diritto, conformemente a quanto stabilito dagli art. 95 e 96 LTF.
ll Tribunale federale applica d'ufficio il diritto (<ref-law>) e non è limitato né dagli argomenti sollevati nel ricorso né dalla motivazione dell'istanza inferiore. Può pertanto accogliere il gravame per un motivo diverso da quelli invocati, ma pure respingerlo con una motivazione diversa da quella adottata nella decisione impugnata (<ref-ruling> consid. 1.1 pag. 104). In considerazione delle esigenze di motivazione di cui all'art. 42 cpv. 1 e 2 LTF, la cui mancata ottemperanza conduce all'inammissibilità del gravame (<ref-law>; <ref-ruling> consid. 2 pag. 591 seg.), il Tribunale federale esamina tuttavia di principio unicamente le censure sollevate; non è tenuto, come lo è invece un'autorità di prima istanza, ad esaminare tutte le questioni giuridiche possibili, se queste non gli vengono (più) riproposte (<ref-ruling> consid. 1.4.1 pag. 254, 545 consid. 2.2). Inoltre, per soddisfare l'obbligo di motivazione, il ricorrente deve confrontarsi con i motivi della decisione impugnata e dimostrare puntualmente dove e perché egli ritenga che l'autorità inferiore abbia violato il diritto (<ref-ruling> consid. 3.3 pag. 60; 9C_47/2008 del 29 settembre 2008 consid. 2.1). Argomentazioni giuridiche astratte, senza un legame evidente con ben determinati motivi della decisione impugnata, sono insufficienti (sentenza 4A_72/2007 del 22 agosto 2007 consid. 4.1.1).
3.2 Per il resto, il Tribunale federale fonda la sua sentenza sui fatti accertati dall'autorità inferiore (<ref-law>). Può rettificare o completare d'ufficio l'accertamento dei fatti dell'autorità inferiore se è stato svolto in modo manifestamente inesatto o in violazione del diritto e se l'eliminazione del vizio può essere determinante per l'esito del procedimento (art. 97 cpv. 1 e 105 cpv. 1 e 2 LTF).
La parte ricorrente che intende scostarsi dai fatti stabiliti dall'autorità precedente deve spiegare in maniera circostanziata i motivi per cui ritiene che le condizioni di una delle eccezioni previste dall'<ref-law> sarebbero realizzate. In caso contrario, a meno di lacune manifeste da rettificare d'ufficio, non si può tener conto di uno stato di fatto diverso da quello posto a fondamento della decisione impugnata (<ref-ruling> consid. 1.4.3 pag. 254).
4. 4.1 Con il proprio ricorso in materia di diritto pubblico Z._ lamenta una violazione del diritto e in particolare un diniego di giustizia nella misura in cui la Corte cantonale non si sarebbe confrontata con le censure opposte alla perizia della dottoressa C._, la quale non dispone del titolo FMH in psichiatria e quindi - a suo avviso -neppure della necessaria competenza per procedere ad un esame peritale. Il referto sarebbe inoltre immotivato soprattutto per quanto concerne il presunto miglioramento della capacità lavorativa e altresì ispirato da considerazioni giuridiche.
L'assicurato sostiene inoltre che l'esigibilità di svolgere un'attività lavorativa è stata valutata in maniera scorretta, non essendo stato considerato il contesto psicosociale (instabilità nei rapporti, la situazione penale) e l'età avanzata. Pure il calcolo del grado di invalidità sarebbe stato eseguito scorrettamente. Si imporrebbe in particolare una riduzione del 25 % dal reddito base da invalido per tenere conto delle sue particolarità personali e professionali. La mancata concessione dell'assistenza giudiziaria in sede cantonale, infine, sarebbe del tutto priva di fondamento e pertanto arbitraria.
4.2 Il Tribunale di prime cure dal canto suo ha ritenuto affidabile la perizia psichiatrica, in quanto allestita conformemente alla giurisprudenza in vigore. In effetti, malgrado la dottoressa C._ non disponesse del titolo FMH, e stesse svolgendo la specializzazione in psichiatria e psicoterapia, ai colloqui e alla discussione aveva partecipato il dottor B._, specialista FMH in psichiatra e direttore del centro peritale per le assicurazioni sociali. La Corte ha quindi ritenuto l'assicurato abile al lavoro all'85 %, e considerato esigibile lo svolgimento di un'attività lucrativa malgrado l'età, sessant'anni al momento della pronuncia della decisione impugnata. Il grado di invalidità è risultato pari al 32 % (arrotondato).
Infine i primi giudici hanno respinto la domanda di assistenza giudiziaria con gratuito patrocinio ritenendo il ricorso palesemente privo di esito favorevole.
5. 5.1 Le modifiche della LAI del 6 ottobre 2006 (5a revisione dell'AI: RU 2007 5129) - comprese le modifiche ad esse connesse di altre leggi come quelle della Legge federale sulla parte generale del diritto delle assicurazioni sociali (LPGA) -, entrate in vigore il 1° gennaio 2008, sono applicabili nel caso di specie (<ref-ruling> consid. 3.1.1 pag. 220; RSAS 2010 pag. 40 [9C_696/2007 consid. 2.1]).
5.2 Secondo l'<ref-law>, applicabile per analogia anche in caso di nuova domanda facente seguito al rifiuto di una rendita per difetto d'invalidità pensionabile (<ref-ruling> consid. 3.2 pag. 75 segg; <ref-ruling> consid. 3a), se il grado d'invalidità del beneficiario della rendita subisce una notevole modificazione, per il futuro la rendita è aumentata o ridotta proporzionalmente o soppressa, d'ufficio o su richiesta.
Applicando per analogia i principi giurisprudenziali sviluppati in relazione all'art. 41 vLAI (soppresso in seguito all'entrata in vigore della LPGA, il 1° gennaio 2003), validi anche dopo l'entrata in vigore della LPGA, costituisce motivo di revisione ogni modifica rilevante delle circostanze di fatto suscettibile di influire sul grado di invalidità. Per valutare tali circostanze occorre confrontare la situazione di fatto esistente al momento della decisione iniziale di soppressione della rendita - in concreto le decisioni su opposizione del 20 aprile 2004 e del 5 luglio 2005 - con quella vigente all'epoca del provvedimento litigioso e meglio all'8 ottobre 2008 (<ref-ruling> consid. 4.1 pag. 109; <ref-ruling> consid. 3.5.2 pag. 351; <ref-ruling> consid. 3.2.2 e 3.2.3, 125 V 368 consid. 2 pag. 369 con riferimento; vedi pure <ref-ruling> consid. 2b pag. 372 e 390 consid. 1b). Da parte sua, una decisione di revisione è ritenuta quale elemento di paragone temporale - nell'ambito di un'ulteriore procedura di revisione - solo nel caso in cui non si limiti a confermare il provvedimento originario, ma abbia adeguato il diritto corrente alla rendita sulla base di una nuova determinazione del grado d'invalidità (<ref-ruling> consid. 4a pag. 265; vedi pure <ref-ruling> consid. 3.2.3 pag. 75).
Il grado di invalidità si modifica, tra l'altro, non solo in caso di miglioramento o peggioramento dello stato di salute, ma anche nel caso in cui esso rimanga invariato, tuttavia si modifichi l'incidenza sulla capacità di guadagno (DTF <ref-ruling> consid. 3.5 pag. 349; <ref-ruling> consid. 1a pag. 275). Anche una modifica di poco conto nello stato di fatto determinante può così dare luogo a una revisione di una rendita dell'assicurazione per l'invalidità se tale modifica determina un superamento (per eccesso o per difetto) di un valore limite (<ref-ruling> consid. 6.3 pag. 547 con riferimenti). Va da sé che in questa evenienza i parametri di calcolo dell'invalidità, compresi gli aspetti parziali del diritto alla rendita (quali sono segnatamente la determinazione del reddito con e senza invalidità), possono essere ridefiniti facendo capo alle regole applicabili al momento del nuovo esame (<ref-ruling> consid. 3.4-3.5 pag. 259; <ref-ruling> consid. 2d pag. 417; cfr. pure sentenza citata 9C_696/2007 consid. 5.1). Una revisione non può per contro essere adottata in caso di diverso apprezzamento medico e/o giuridico di una fattispecie sostanzialmente rimasta invariata (DTF <ref-ruling> consid. 3.5 pag. 349 con riferimenti).
5.3 Secondo l' <ref-law> è considerata incapacità al lavoro qualsiasi incapacità, totale o parziale, derivante da un danno alla salute fisica, mentale o psichica, di compiere un lavoro ragionevolmente esigibile nella professione o nel campo d'attività abituale. In caso d'incapacità al lavoro di lunga durata possono essere prese in considerazione anche le mansioni esigibili in un'altra professione o campo d'attività.
5.4 Per l'<ref-law> (nel tenore in vigore dal 1° gennaio 2008, RU 2007 5129) per valutare la presenza di un'incapacità al guadagno sono considerate esclusivamente le conseguenze del danno alla salute. Inoltre, sussiste un'incapacità al guadagno soltanto se essa non è obiettivamente superabile.
Per graduare l'invalidità, l'amministrazione (o il giudice in caso di ricorso) deve disporre di documenti rassegnati dal medico o eventualmente da altri specialisti. Il compito del medico consiste infatti nel porre un giudizio sullo stato di salute, nell'indicare in quale misura e in quali attività l'assicurato è incapace al lavoro, come pure nel fornire un importante elemento di giudizio per determinare quale sforzo si può ancora esigere da un assicurato, tenuto conto della sua situazione personale (<ref-ruling> consid. 4 pag. 261; <ref-ruling> consid. 2 pag. 134, 404 consid. 2; <ref-ruling> consid. 3c pag. 314; <ref-ruling> consid. 1 pag. 158).
5.5 Conformemente ad un principio generale applicabile anche nel diritto delle assicurazioni sociali, all'assicurato incombe l'obbligo di ridurre il danno (<ref-ruling> consid. 3c pag. 233; <ref-ruling> consid. 2b pag. 278, 400 consid. 4b e i riferimenti ivi citati; Riemer-Kafka, Die Pflicht zur Selbstverantwortung, 1999, pagg. 57, 551 e 572). In virtù di tale obbligo, l'assicurato deve intraprendere tutto quanto è ragionevolmente esigibile per ovviare nel miglior modo possibile alle conseguenze della sua "invalidità", segnatamente mettendo a profitto la sua residua capacità lavorativa, se necessario, in una nuova professione (<ref-ruling> consid. 4a pag. 28 e sentenze ivi citate; Hardy Landolt, Das Zumutbarkeitsprinzip im schweizerischen Sozialversicherungsrecht, 1995, pag. 296 segg.). Non è quindi dato alcun diritto ad una rendita se la persona interessata è in grado di percepire un reddito tale da escluderne l'erogazione (<ref-ruling> consid. 4a pag. 28; RCC 1968 pag. 434). Da essa possono tuttavia essere pretesi unicamente provvedimenti esigibili che tengano conto delle circostanze oggettive e soggettive del caso concreto, quali la sua capacità lavorativa residua, le ulteriori circostanze personali, l'età, la situazione professionale, i legami presso il luogo di domicilio, il mercato del lavoro equilibrato e la presumibile durata dell'attività lavorativa (<ref-ruling> consid. 4a pag. 28; cfr. pure VSI 2001 pag. 279 consid. 5a/aa e 5a/bb [I 11/00]).
5.6 Per giurisprudenza, gli accertamenti dell'autorità giudiziaria di ricorso in merito al danno alla salute (diagnosi, prognosi, eziologia [nella misura in cui questo accertamento si rende necessario, segnatamente per le infermità congenite]), alla capacità lavorativa dell'assicurato e all'esigibilità di un'attività professionale - nella misura in cui quest'ultimo giudizio non si fonda sull'esperienza generale della vita - riguardano questioni di fatto che possono essere riesaminate da questa Corte solo in maniera molto limitata (v. consid. 3.2; <ref-ruling> consid. 3.2 pag. 398).
6. 6.1 In concreto con le decisioni su opposizione del 20 aprile 2004 e del 5 luglio 2005, confermate in sede cantonale e federale, l'UAI ha concluso che l'assicurato (malgrado il danno alla salute psichico) aveva dimostrato, alla luce dell'ampio commercio di canapa posto in atto dal 2001 al 2003, di essere in grado di svolgere un'attività lavorativa e che pertanto non sussisteva invalidità.
La procedura avviata su richiesta dell'assicurato, tendente all'assegnazione di una nuova rendita, conclusasi con decisione dell'8 ottobre 2008, confermata dal Tribunale cantonale, non ha accertato un peggioramento dello stato di salute (fisico) rispettivamente una riduzione della capacità lavorativa tali da ammettere un diritto alla rendita e quindi una modifica rilevante della situazione di fatto. Tale conclusione poggia su un accertamento completo e non manifestamente errato dei fatti ed è altresì conforme al diritto federale e pertanto, alla luce dei motivi elencati di seguito, va difesa.
6.2 In primo luogo va evidenziato che la perizia psichiatrica eseguita dalla dottoressa C._ e dal dottor B._ risulta conforme alla giurisprudenza in materia. In effetti, come correttamente indicato dal Tribunale di prime cure, non è necessario che il medico incaricato disponga del titolo FMH, bensì di una specializzazione nel settore interessato (sentenza 9C_218/2008 del 4 marzo 2009 consid. 4.2). La questione è tuttavia irrilevante in concreto, in quanto il Tribunale cantonale ha accertato, in maniera vincolante per questa Corte (consid. 2.2), che i colloqui con il peritando, la discussione e la redazione della perizia sono avvenuti sotto la supervisione del dottor B._, specialista FMH in psichiatria e psicoterapia. Ne consegue che da questo punto di vista (formale) la perizia va considerata valida, malgrado la dottoressa C._ fosse ancora in formazione nella materia interessata e non disponesse del titolo FMH (sentenza citata 9C_218/2008 ibidem).
Non risulta inoltre dagli atti che la perizia sia insufficientemente motivata, né il referto del dottor I._, psichiatra, che ha visitato l'assicurato nel dicembre 2007 e che non lo aveva precedentemente in cura, è atto a metterne in discussione le conclusioni, il cui tenore è stato integralmente confermato anche dalla dottoressa U._, psichiatra, medico dell'AI, tramite un rapporto dettagliato. Del resto il ricorrente non motiva sufficientemente la censura sollevata, in quanto sostiene che i periti non avrebbero indicato le ragioni per cui lo stato di salute sarebbe migliorato. In realtà gli esperti non hanno attestato un miglioramento dello stato di salute (psichico), essendo stata posta, come in precedenza, una diagnosi psichiatrica (disturbi di personalità misti, ICD10 F61.0) simile a quella posta tempo addietro dal dottor L._. Essi hanno tuttavia concluso che il danno alla salute, come accertato nella procedura precedente, non incideva sulla capacità lavorativa dell'assicurato. La motivazione richiesta sarebbe stata in ogni caso irrilevante, ritenuto che tema del contendere era un eventuale peggioramento dello stato di salute fisico (accertato ma ritenuto irrilevante), non essendosi egli mai prevalso, in occasione della nuova domanda di rendita, di un peggioramento dello stato di salute psichico (Fatti B).
Ne consegue che correttamente la Corte di prime cure ha ritenuto affidabile e completa la perizia, in quanto redatta conformemente alla giurisprudenza federale in vigore (<ref-ruling> consid. 3a pag. 352). Poiché il referto poteva essere posto alla base del giudizio impugnato, la richiesta principale di rinvio degli atti, per procedere ad un ulteriore accertamento specialistico di natura psichiatrica, va respinta.
7. 7.1 A proposito della capacità lavorativa residua di Z._, il dottor P._, reumatologo, ha ritenuto l'assicurato abile al lavoro a tempo pieno in un'attività leggera con una limitazione del rendimento del 10-20 % (per l'inserimento di pause), mentre, come detto, la dottoressa C._ e il dottor B._ non hanno rilevato limitazioni da un punto di vista psichico. Alla luce di questi dati sono state ritenute ancora esigibili dal consulente in integrazione attività semplici, leggere e poco qualificate, segnatamente nel settore industriale. La realizzazione della capacità lavorativa residua sul mercato del lavoro equilibrato è stata considerata, inoltre, ammissibile, malgrado l'assicurato avesse compiuto sessant'anni (sentenza 9C_918/2008 del 28 maggio 2009 consid. 4.2.1 e 4.2.2). Tale conclusione, in quanto conforme al diritto federale, va confermata.
Al riguardo va rilevato che sebbene l'età avanzata venga considerata un fattore estraneo all'invalidità, la giurisprudenza riconosce che essa, insieme ad altri fattori di carattere personale o professionale, può ostare alla realizzazione della capacità lavorativa residua sul mercato del lavoro equilibrato per mancanza di richiesta di tale forza lavoro (sentenza citata 9C_918/2008 consid. 4.2.2, anche <ref-ruling> consid. 3.2). In che misura l'età influisca sulla possibilità di realizzare la capacità lavorativa residua non si valuta alla luce di un principio generale, bensì tenuto conto delle esigenze delle attività di riferimento (sentenza citata 9C_918/2008 consid. 4.2.2 con riferimenti).
In concreto, secondo l'orientatore professionale, l'assicurato può svolgere un'ampia gamma di attività, segnatamente in aziende con compiti di produzione, confezione, imballaggio, assemblaggio, controllo dello stoccaggio e spedizione, quale autista/fattorino, nella vendita, quale ricezionista, o ausiliario in ufficio, anche grazie alle competenze dimostrate durante l'attività commerciale svolta dal 2001 al 2003. La sua capacità lavorativa risulta inoltre ridotta solo nella misura in cui deve introdurre delle pause che riducono il rendimento del 10/20 % (si confrontino pure sentenze I 304/06 del 22 gennaio 2007 consid. 4.1 e 4.2, in cui la capacità lavorativa di un assicurato sessantenne con limitazioni psichiche e fisiche e una riduzione del 30 % è stata considerata realizzabile, e I 376/05 del 5 agosto 2005 consid. 4.2). Inoltre la sua situazione non è certo paragonabile a quelle descritte nelle sentenze SVR 2009 IV n. 35 pag. 97 (9C_437/2008 del 19 marzo 2009), I 392/02 del 23 ottobre 2003, e I 401/01 del 4 aprile 2002 consid. 4c, in cui è stata ammessa l'impossibilità di realizzare economicamente la capacità lavorativa residua.
Infine va evidenziato che il calcolo del reddito da invalido (e quindi del grado di invalidità) eseguito dalla Corte cantonale è conforme al diritto federale. I primi giudici hanno infatti correttamente ridotto del 9.66 % (procedimento omesso dall'amministrazione) il reddito base da invalido per tenere conto del fatto che il guadagno (senza invalidità) effettivamente conseguito era considerevolmente inferiore, di circa il 15 %, alla media usuale nel settore (<ref-ruling>; <ref-ruling> consid. 4 pag. 325). Inoltre hanno apportato una riduzione del 20 % su questo importo base per tenere conto delle particolarità personali e professionali del caso (<ref-ruling>).
Del resto il calcolo alternativo proposto dal ricorrente appare confuso, di difficile comprensione e pertanto la censura risulta insufficientemente motivata.
7.2 Neppure la riduzione del 20 % apportata dall'amministrazione e confermata dal Tribunale di prime cure appare censurabile, essendo sufficientemente motivata e non manifestamente insostenibile.
La misura della riduzione costituisce infatti una questione di apprezzamento, che esula dal potere d'esame del Tribunale federale, eccezion fatta per il caso in cui il ricorrente adduce che il Tribunale cantonale avrebbe esercitato abusivamente il proprio potere di apprezzamento e quindi violato il diritto federale tramite un eccesso o un difetto nell'esercizio di tale potere (RSAS 2009 pag. 136 [9C_382/2007 consid. 4.1] e sentenza 9C_721/2008 del 14 ottobre 2008 consid. 1.3.2). In concreto ciò non è avvenuto essendosi l'assicurato limitato ad asserire che la Corte cantonale e l'amministrazione avrebbero dovuto riconoscere la riduzione massima. Del resto pur considerando la riduzione massima l'assicurato non avrebbe raggiunto il grado minimo previsto del 40 %.
Ne consegue che pure la richiesta subordinata di concedere all'assicurato una rendita di invalidità del 40 % dev'essere respinta.
8. Alla luce di quanto sopra esposto si deve concludere che l'istanza precedente ha attentamente e diligentemente valutato gli atti medici all'inserto e concluso che lo stato di salute dell'assicurato non si è notevolmente modificato dal momento che è stata attestata una capacità lavorativa residua dell'85 % in attività leggere sostitutive, che non giustifica l'attribuzione di una rendita di invalidità.
Di conseguenza il ricorso in materia di diritto pubblico va respinto nel merito.
9. 9.1 L'assicurato contesta quindi il rifiuto da parte del Tribunale cantonale delle assicurazioni di porlo al beneficio dell'assistenza giudiziaria, adducendo che la decisione è arbitraria, avendo il Tribunale dichiarato il gravame privo di esito favorevole dopo aver redatto una sentenza di ben quarantaquattro pagine.
Per giurisprudenza invalsa, l'arbitrio (<ref-law>) non si realizza già qualora la soluzione proposta con il ricorso possa apparire sostenibile o addirittura preferibile a quella contestata; il Tribunale federale annulla la pronunzia criticata solo se il giudice del merito ha emanato un giudizio che appare - e ciò non solo nella motivazione bensì anche nell'esito - manifestamente insostenibile, in aperto contrasto con la situazione reale, gravemente lesivo di una norma o di un principio giuridico chiaro e indiscusso oppure in contraddizione urtante con il sentimento della giustizia e dell'equità (<ref-ruling> consid. 2.1 pag. 211 con rinvii). Per quanto concerne più in particolare l'apprezzamento delle prove e l'accertamento dei fatti, il giudice incorre nell'arbitrio se misconosce manifestamente il senso e la portata di un un mezzo di prova, se omette senza valida ragione di tener conto di un elemento di prova importante, suscettibile di modificare l'esito della vertenza, oppure se ammette o nega un fatto ponendosi in aperto contrasto con gli atti di causa o interpretandoli in modo insostenibile (<ref-ruling> consid. 2.1 pag. 9).
Una causa è sprovvista di possibilità di esito favorevole quando una parte che dispone dei mezzi necessari per presentarla non accetterebbe, dopo ragionevole riflessione, il rischio di farlo rispettivamente di portarla avanti (<ref-ruling> consid. 2.3.1 pag. 135; <ref-ruling> consid. 2.5.3 pag. 236 con riferimenti).
9.2 In concreto la decisione impugnata va senz'altro annullata, in quanto risulta in aperto contrasto con la situazione reale e manifestamente inesatta. Se, da un lato, la causa fosse stata effettivamente sprovvista di qualsiasi esito favorevole, non sarebbe stato necessario redigere una sentenza di ben 44 pagine. Dall'altro la causa poneva senz'altro numerose questioni di non immediata soluzione, pertanto la presentazione di un ricorso non risultava per nulla irragionevole.
Visto quanto sopra su questo tema il ricorso in materia di diritto pubblico è accolto e l'assicurato è posto al beneficio dell'assistenza giudiziaria con grauito patrocino in sede cantonale. L'incarto è rinviato alla Corte cantonale affinché esegua il provvedimento.
10.
10.1 L'assicurato chiede infine di essere posto al beneficio dell'assistenza giudiziaria e del gratuito patrocinio pure in sede federale.
Il Tribunale federale dispensa la parte che dimostra di essere in uno stato di bisogno e le cui conclusioni non si rivelano fin dall'inizio sprovviste di possibilità di esito favorevole, dal pagare le spese processuali e i disborsi (<ref-law>). Se occorre, il Tribunale federale può fare assistere questa parte da un avvocato i cui onorari sono sopportati dalla cassa del Tribunale medesimo (<ref-law>). Quando la parte sia più tardi in grado di pagare, sarà tenuta alla rifusione verso la cassa del Tribunale (<ref-law>).
10.2 Alla luce del certificato per l'ammissione all'assistenza giudiziaria gratuita prodotto in sede cantonale, richiamato agli atti dall'interessato, il suo stato di bisogno è pacifico, in quanto egli beneficia dell'assistenza pubblica. Per il resto, considerato che il gravame non appariva privo di esito favorevole e che non si poteva pretendere che il richiedente difendesse i suoi interessi senza l'ausilio di un patrocinatore qualificato, la domanda può essere accolta (<ref-law>). L'insorgente viene comunque avvisato che qualora la sua situazione finanziaria dovesse migliorare, egli sarà tenuto a risarcire la cassa del Tribunale, così come prescritto dall'<ref-law>.
11.
11.1 Gli oneri processuali seguono la soccombenza (<ref-law>). Il ricorrente, soccombente nella sua domanda principale intesa al riconoscimento di prestazioni dell'assicurazione invalidità, dovrebbe quindi sopportare la maggior parte delle spese; le stesse sono per il momento assunte, a titolo di assistenza giudiziaria gratuita, dalla Cassa del Tribunale federale.
Nella misura in cui invece il ricorrente chiede il beneficio dell'assistenza giudiziaria per la sede cantonale, egli vince la causa. Le spese non possono tuttavia essere poste a carico dell'amministrazione opponente, non interessata alla questione. Trattandosi di una lite concernente l'assistenza giudiziaria, esse neppure possono essere messe a carico del Cantone (sentenza 8C_140/2007 del 21 aprile 2008 consid. 9; Hansjörg Seiler/Nicolas von Werdt/Andreas Güngerich, Kommentar zum Bundesgerichtsgesetz, 2007, no. 52 all'art. 66 e giurisprudenza citata).
11.2 In quanto parzialmente vittorioso in causa Z._, rappresentato da un legale, ha diritto ad un'indennità di parte ridotta, che sarà posta a carico del Cantone Ticino (<ref-law>). La sua istanza tendente al riconoscimento del gratuito patrocinio è in tale misura priva di oggetto.

Per questi motivi, il Tribunale federale pronuncia:
1. In parziale accoglimento del ricorso le cifre 2 e 3 del dispositivo del giudizio cantonale del 15 ottobre 2009 sono annullate. Z._ è posto al beneficio dell'assistenza giudiziaria con gratuito patrocinio per la sede cantonale. L'incarto è rinviato al Tribunale delle assicurazioni del Canton Ticino per l'esecuzione. Per il resto il ricorso è respinto.
2. Nella misura in cui la domanda non è priva di oggetto, al ricorrente viene concessa l'assistenza giudiziaria con gratuito patrocinio in sede federale.
3. Le spese giudiziarie di fr. 400.- sono poste a carico del ricorrente e per il momento assunte dalla Cassa del Tribunale.
4. Lo Stato del Cantone Ticino verserà al ricorrente un'indennità di fr. 500.- a titolo di ripetibili della sede federale.
5. L'avvocato Fulvio Pezzati, Lugano, viene designato patrocinatore del ricorrente per la procedura innanzi al Tribunale federale. La Cassa del Tribunale gli verserà un'indennità di fr. 2'000.-.
6. Comunicazione alle parti, al Tribunale delle assicurazioni del Cantone Ticino e all'Ufficio federale delle assicurazioni sociali.