Faits:
A. Par décision du 31 janvier 2005, qui n'a pas été attaquée, l'Office de l'assurance-invalidité du canton d'Argovie a nié le droit de A._, né en 1961, aux prestations de l'assurance.
Le 2 mai 2006, l'assuré a présenté une nouvelle demande. L'Office de l'assurance-invalidité du canton de Fribourg (l'office AI), désormais compétent, est entré en matière sur celle-ci; il l'a rejetée, par décision du 18 septembre 2008, après avoir arrêté le degré d'invalidité à 28 %.
B. A._ a déféré cette décision au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à son annulation et au renvoi de la cause à l'office AI afin qu'il mette en oeuvre une expertise psychiatrique, voire une expertise pluridisciplinaire.
Par jugement du 10 février 2011, la juridiction cantonale a rejeté le recours.

C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Avec suite de frais et dépens, il conclut à ce que la cause soit renvoyée au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, pour que cette dernière dise si elle considère que l'instruction a été, au regard de l'<ref-law> complète ou, au contraire, incomplète, et rende ensuite tel jugement que de droit. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'office intimé et l'Office fédéral des assurances sociales ont renoncé à se déterminer.
Considérant en droit:
1. Devant la juridicition cantonale de recours, le recourant s'est prévalu de l'<ref-law>, 1ère phrase, à teneur duquel l'assureur examine les demandes, prend d'office les mesures d'instruction nécessaires et recueille les renseignements dont il a besoin. Dans ce contexte, il a reproché à l'office intimé d'avoir fixé l'incapacité de travail et évalué l'invalidité uniquement en fonction de ses troubles somatiques (singulièrement des lombo-sciatalgies secondaires à une discopathie pluri-étagée, surtout au niveau L5-S1 avec arthrose des petites articulations et rétro listhésis). En ce qui concerne le volet psychiatrique, le recourant a fait grief à l'office intimé de n'avoir ordonné aucun examen par un psychiatre, alors que le docteur B._ (médecin traitant, spécialiste en médecine interne et en maladies rhumatismales) lui avait prescrit régulièrement des antidépresseurs, et que le docteur T._, médecin du SMR, s'était demandé si l'aspect psychiatrique du cas ne devrait pas également être investigué. La violation du principe de l'instruction d'office justifiait ainsi, aux yeux du recourant, un renvoi de la cause à l'administration pour instruction complémentaire.
Le tribunal cantonal a constaté que la problématique lombaire était demeurée la même depuis la décision initiale de rente (rendue en 2005). Il a abordé ensuite la question de savoir si l'apparition d'un état anxio-dépressif pouvait justifier l'appréciation nouvelle de la capacité de travail du recourant par le docteur B._. Les premiers juges ont toutefois refusé de reconnaître un véritable caractère invalidant à cet état anxio-dépressif, dès lors que le médecin traitant n'avait pas orienté son patient vers une prise en charge spécialisée et que les propos de l'assistante sociale du recourant donnaient à penser que ce dernier ne s'estimait lui-même pas atteint dans sa santé psychique, son anxiété étant due à sa situation personnelle. Selon la juridiction cantonale, on se trouvait apparemment en présence d'enjeux psycho-sociaux (dont la nature ne valait pas atteinte au sens de l'<ref-law> susceptible d'engager la responsabilité de l'AI) qui avaient poussé le recourant à déposer une nouvelle demande, mais qui ne constituaient pas des faits nouveaux justifiant une prise en charge par l'AI. Le tribunal cantonal a ajouté qu'il était inutile, en l'espèce, de soumettre le recourant à un examen psychiatrique comme il le souhaitait.
2. 2.1 En procédure fédérale, le recourant reproche aux premiers juges de n'avoir pas abordé le moyen tiré de son droit à bénéficier d'une instruction complète de son dossier par l'office intimé, au sens de l'<ref-law>. Cette question, rappelle-t-il, faisait précisément l'objet du recours formé contre la décision du 18 septembre 2008, où il mettait en évidence le fait que l'intimé n'avait pas constaté d'office, ainsi qu'il aurait dû le faire en vertu de la disposition légale précitée, tous les faits de nature à influencer dans un sens ou dans l'autre, la décision à rendre. Il soutient que l'absence de réponse à ce grief équivaut à un déni de justice formel de la part de la juridiction de recours.
Par ailleurs, le recourant reproche au tribunal cantonal d'avoir considéré que l'office intimé aurait tout aussi bien pu refuser d'entrer en matière sur sa nouvelle demande de prestations, au lieu de la rejeter. Il y voit une violation du "Rügeprinzip", car l'autorité de recours aurait dû limiter son examen à l'objet du recours et aux seuls griefs invoqués par les parties.
2.2 Les juges cantonaux n'ont certes pas fait mention de l'<ref-law> ou de l'hypothèse d'une violation de cette disposition par l'office intimé. Le tribunal cantonal a cependant implicitement écarté ce grief, dans la mesure où il a admis que la situation était relativement claire et qu'il pouvait en conséquence statuer sur le fond du litige (c'est-à-dire sur le refus de prestations de l'AI, objet de la décision du 18 septembre 2008) en l'état du dossier, l'examen psychiatrique requis par le recourant s'avérant superflu (consid. 4 in fine du jugement attaqué). Il convient ainsi d'admettre que la juridiction cantonale a considéré, contrairement à ce que soutient le recourant, que l'instruction était complète au sens de l'<ref-law>.
Quant au moyen tiré d'une prétendue violation du principe de l'allégation, il n'y a pas lieu d'en examiner le mérite, car même si elle était avérée, elle n'aurait de toute manière eu aucune incidence sur l'issue du litige. En effet, la juridiction cantonale n'a pas modifié la décision administrative au détriment du recourant, mais elle a uniquement émis une remarque d'ordre général quant à une issue différente que l'intimé aurait pu, selon elle, apporter à la nouvelle demande de prestations.
Pour le surplus, le recourant n'expose pas en quoi les premiers juges auraient en fait violé le droit fédéral lorsqu'ils ont confirmé, au fond, le rejet de sa nouvelle demande de prestations du 2 mai 2006. En particulier, il ne tente pas de démontrer que les constats de faits de la juridiction cantonale relatifs à son état de santé (singulièrement sur le caractère invalidant de l'état anxio-dépressif) seraient manifestement inexacts ou que cette autorité les aurait elle-même établi en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Selon la lettre du Réseau Santé et Social X._ du 26 février 2008, le recourant n'a pas de pathologie psychiatrique et son médecin traitant, le docteur B._, lui prescrit un antidépresseur; cela ne constitue toutefois pas une invalidité au sens de la loi (art. 8 al 1 LPGA). Compte tenu du principe d'allégation, il n'incombe pas au Tribunal fédéral d'examiner le bien-fondé des faits ainsi constatés, d'autant qu'ils ne sont en définitive pas contestés.
Il s'ensuit que la conclusion du recours est infondée, pour autant qu'elle soit recevable.
3. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant qui succombe (<ref-law>). Il remplit toutefois les conditions du droit à l'assistance judiciaire dont il a requis le bénéfice (<ref-law>), dès lors que le recours n'était pas d'emblée voué à l'échec, qu'il ne dispose pas de ressources suffisantes et que l'assistance d'un avocat était indiquée. Le recourant sera ainsi provisoirement dispensé de payer les frais de justice (al. 1); quant aux honoraires de son mandataire d'office, ils seront pris en charge par la caisse du tribunal (al. 2). L'éventualité prévue à l'al. 4 est réservée.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Maître Jean-Marie Agier est désigné en tant qu'avocat d'office du recourant et une indemnité de 1'800 fr. (y compris la taxe à la valeur ajoutée) lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
4. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud