Faits: A. S._ et l'Office cantonal de l'assurance-invalidité du canton de Fribourg sont en litige devant le Tribunal cantonal, Cour des assurances sociales, du canton de Fribourg, au sujet de l'étendue du droit du prénommé à une rente de l'assurance-invalidité. Statuant le 27 août 2008 sur la demande d'assistance judiciaire présentée par S._ avec son recours, la Cour des assurances sociales du Tribunal cantonal fribourgeois l'a rejetée, motif pris de l'absence d'indigence. B. Agissant par la voie du recours en matière de droit public, S._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement cantonal du 27 août 2008 et de le mettre au bénéfice de l'assistance judiciaire gratuite (y compris la désignation de son conseil comme défenseur d'office) pour toute la durée de la procédure cantonale. Il sollicite également le bénéfice de l'assistance judiciaire pour la procédure fédérale. La Cour des assurances sociales du Tribunal cantonal fribourgeois a renoncé à se déterminer.