Fatti : A.- Con giudizio 4 maggio 2001 la Commissione federale di ricorso in materia d'AVS/AI per le persone residenti all'estero non è entrata nel merito del gravame, poiché tardivo, interposto il 18 gennaio 2001 da C._, cittadino italiano nato nel 1938, avverso la decisione 6 novembre 2000 dell'Ufficio AI per gli assicurati residenti all'estero (UAI) ordinante la restituzione delle prestazioni versategli a titolo di rendita intera dall'assicurazione svizzera per l'invalidità - per un importo di fr. 26'690.- - dal 1° luglio 1998 al 31 luglio 2000, in quanto lo stesso si trovava in stato di detenzione. Rilevando che la Posta aveva attestato l'avvenuta notifica del provvedimento querelato al patrocinatore dell'interessato, avv. Salvatore Raudino, in data 16 novembre 2000, il giudice commissionale ha dichiarato irricevibile il gravame inoltrato in quanto presentato dopo la scadenza legale. B.- Sempre patrocinato dall'avv. Raudino, C._ interpone ricorso di diritto amministrativo al Tribunale federale delle assicurazioni contestando l'intempestività del gravame e in particolare l'avvenuta notifica del provvedimento dell'UAI secondo quanto attestato dalla Posta. L'UAI propone la reiezione del ricorso, mentre l'Ufficio federale delle assicurazioni sociali ha rinunciato a determinarsi.