A.- B._ a travaillé dans plusieurs établissements comme casserolier ou aide de cuisine. Dès le 1er juillet 1996, il a été engagé comme garçon de maison au service de X._ SA, à Y._, pour un salaire mensuel de 2600 fr.
Le 26 novembre 1997, il a été victime d'un accident :
une palette de bûches de bois s'est renversée et a heurté le bas de son dos. Depuis lors, il a présenté par alternance des périodes d'incapacité de travail totale ou partielle.
Il a perçu des indemnités journalières d'HOTELA caisse-maladie et accidents de la Société suisse des hôteliers (SSH). Le 21 septembre 1999, cette caisse a informé son assuré qu'elle continuerait à lui verser, comme elle le faisait depuis le 1er mars 1999, une indemnité journalière fondée sur une incapacité de travail de 50 pour cent. Elle a rendu une décision sur opposition dans le même sens le 3 février 2000. L'assuré a recouru contre cette décision en concluant à la reconnaissance d'une incapacité de travail de 70 pour cent dès le 1er mars 1999. Statuant le 14 juillet 2000, le Tribunal des assurances du canton du Valais a rejeté le recours. Il s'est fondé pour cela sur l'appréciation du docteur C._, spécialiste en médecine interne, qui a attesté dans plusieurs rapports d'expertise à l'intention de la caisse-maladie HOTELA un taux d'incapacité de travail de 50 pour cent.
B.- B._ a changé d'emploi et est actuellement occupé à raison de 30 pour cent.
Le 6 mai 1999, il a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton du Valais a confié une expertise à la Clinique Y._. Dans un rapport du 10 février 2000 recte, du 20 avril 2000; cf. pages 2 à 14 du rapport), le docteur D._, chef du service de réadaptation générale de cet établissement, a posé le diagnostic de contusion de la région lombaire, d'obésité et de possible syndrome somatoforme douloureux. Dans le cadre de cette expertise, l'intéressé a été soumis à un examen psychiatrique (consilium du 22 février 2000 du docteur E._, psychiatre et psychothérapeute FMH). Il ressort de cet examen que l'assuré présente un syndrome douloureux somatoforme persistant sans comorbidité psychiatrique. Sur le plan psychiatrique, il n'existe pas de limitation de la capacité de travail. Par ailleurs, un traitement psychiatrique ne modifierait en rien cette capacité. Quant à d'éventuelles mesures d'ordre professionnel, elles seraient vouées à l'échec, l'assuré ayant adopté un comportement d'invalide qui serait poursuivi sur le lieu et dans le champ de la réadaptation (rapport du 23 février 2000).
Se fondant sur cette expertise, l'office de l'assurance-invalidité a rendu une décision, le 29 juin 2000, par laquelle il a refusé d'accorder à l'assuré une rente d'invalidité.
C.- Par jugement du 23 février 2001, le Tribunal des assurances du canton du Valais a rejeté le recours formé contre cette décision par l'assuré.
D.- B._ interjette un recours de droit administratif en concluant à l'annulation du jugement cantonal et à l'allocation d'une demi-rente d'invalidité "non limitée dans le temps", à compter du jour de la demande.
L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Selon l'<ref-law>, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 pour cent au moins, à une demi-rente s'il est invalide à 50 pour cent au moins, ou à un quart de rente s'il est invalide à 40 pour cent au moins; dans les cas pénibles, l'assuré peut, d'après l'<ref-law>, prétendre une demi-rente s'il est invalide à 40 pour cent au moins.
D'après l'<ref-law>, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
Conformément à l'<ref-law>, le droit à la rente au sens de l'<ref-law> prend naissance au plus tôt à la date à laquelle l'assuré a présenté, en moyenne, une incapacité de travail de 40 pour cent au moins pendant une année sans interruption notable.
2.- Le recourant a subi, le 26 novembre 1997, une contusion que l'auteur du rapport d'expertise de la Clinique Y._ qualifie de traumatisme mineur. Selon cette expertise, il est admis qu'après un tel traumatisme, l'état antérieur du rachis est rétabli, en règle ordinaire, au plus tard après six mois si les troubles dégénératifs associés sont absents ou mineurs. Dans le cas présent, les anomalies physiques constatées après ce délai de six mois ont toujours été mineures et les examens d'imagerie n'ont montré que de discrètes discopathies L4-L5-S1 sans hernie discale associée. Aussi bien, toujours selon ce même rapport d'expertise, le syndrome douloureux chronique actuel dépasse largement le cadre de la région lombaire. Le fait que l'examen physique ne mette pas en évidence de syndrome lombovertébral ou de syndrome radiculaire irritatif ou déficitaire laisse penser que les discopathies ne sont pas l'élément essentiel expliquant les plaintes de l'assuré.
L'expert conclut qu'une incapacité de travail au-delà de la fin du mois de mai 1998 ne se justifiait pas sur les plans locomoteur et neurologique.
Il ressort d'autre part du rapport psychiatrique établi par le docteur E._ le 23 février 2000 que l'assuré présente un syndrome douloureux somatoforme persistant.
Mais il ne souffre ni de troubles psychotiques, ni de troubles de la personnalité. Actuellement, l'assuré est normothymique, sans anamnèse d'état dépressif. Ces éléments conduisent à nier toute comorbidité psychiatrique. Il n'existe donc pas, conclut le docteur E._, de limitation de la capacité de travail sur le plan psychiatrique.
3.- Le recourant reproche aux premiers juges d'avoir accordé une pleine valeur probante à l'expertise de la Clinique Y._ et au rapport du docteur E._ et d'avoir ainsi écarté les divers rapports d'expertise du docteur C._, qui a pour sa part attesté de manière constante un taux d'incapacité de travail de 50 pour cent (rapports des 8 février 1999, 23 août 1999 et 21 janvier 2000). Selon le recourant, le tribunal n'avait pas de raison de s'écarter de l'avis du docteur C._, puisque c'est en se fondant sur cet avis qu'il a rejeté le recours dirigé contre la décision de la caisse-maladie HOTELA du 3 février 2000, dans le litige opposant cette caisse au recourant, en matière d'indemnités journalières.
a) Le juge des assurances sociales doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut liquider l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre. C'est ainsi qu'il importe, pour conférer pleine valeur probante à un rapport médical, que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions du médecin soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a et les références).
Ces principes, développés à propos de l'assurance-accidents, sont applicables à l'instruction des faits d'ordre médical dans toutes les branches d'assurance sociale (Spira, La preuve en droit des assurances sociales, in Mélanges en l'honneur de Henri-Robert Schüpbach, Bâle 2000 p. 268).
b) Sur le plan des constatations médicales, les expertises établies respectivement par le docteur C._ et par la Clinique romande de réadaptation ne sont pas vraiment divergentes. Les experts s'accordent pour admettre que l'assuré a subi un traumatisme lombaire tout à fait mineur. A l'instar du docteur D._, le docteur C._ note que les radiographies et l'examen au scanner ne montrent pas de lésion significative; les lombalgies chroniques dont se plaint l'assuré relèvent surtout d'un trouble somatoforme douloureux. Aucune des expertises ne permet donc de conclure à une incapacité de travail d'une certaine importance qui serait d'origine purement organique. En réalité, les divergences entre les experts portent sur le degré de l'incapacité de travail imputable aux troubles somatoformes douloureux.
c) De manière générale, il est admis que les troubles somatoformes douloureux peuvent, selon les cas, provoquer une incapacité de travail (<ref-ruling> consid. 2c/cc; RSAS 1997 p. 75; RAMA 1996 no U 256 p. 217 ss. consid. 5 et 6). Ces troubles entrent dans la catégorie des affections psychiques, de telle sorte qu'une expertise psychiatrique est en principe nécessaire pour se prononcer sur l'incapacité de travail qu'ils sont susceptibles d'engendrer (VSI 2000 p. 160 consid. 4b; cf. également VSI 2000 p. 155 consid. 2c).
En l'occurrence, le recourant a été soumis à un examen psychiatrique complet pratiqué par le docteur E._.
Selon le rapport établi par ce médecin, il n'existe pas de trouble psychique qui ait une incidence sur la capacité de travail, considérée comme entière. On relève, en particulier, que le psychiatre ne fait pas état d'éléments qui fondent généralement un pronostic défavorable quant au caractère exigible de la reprise normale par l'assuré d'une activité professionnelle (traits prémorbides, comorbidité psychiatrique, perte d'intégration sociale etc. ; voir VSI 2000 p. 155 consid. 2c). Il n'y a pas de motif de s'écarter des conclusions de ce rapport qui, au demeurant, répond aux critères formels permettant de lui attribuer une valeur probante. Comme il s'agit en l'espèce d'apprécier les conséquences de troubles de nature psychique sur la capacité de travail de l'assuré, le rapport du docteur E._ l'emporte sur les conclusions du docteur C._.
d) Quant au fait que, dans son jugement du 14 juillet 2000, le tribunal cantonal des assurances a reconnu - peu importe ici de savoir si c'est à tort ou à raison - que l'assuré subissait une incapacité de travail de 50 pour cent, justifiant le versement d'indemnités journalières réduites dans la même proportion, il n'avait pas d'effet contraignant pour l'autorité administrative ou judiciaire appelée à statuer sur le droit à la rente. Il peut en effet arriver qu'un expert exprime, au sujet de la capacité de travail de l'assuré, dans un litige en matière d'assurance-maladie, une opinion différente de celle d'un autre expert mandaté ultérieurement par l'assurance-invalidité et dont le rapport, finalement, présente une valeur probante supérieure à celle que l'on pouvait accorder aux avis médicaux antérieurs (cf. RAMA 1998 no K 990 p. 251).
e) En conclusion, il y a lieu d'admettre que le recourant n'a pas subi une incapacité de travail au-delà du mois de mai 1998. Eu égard à l'<ref-law>, aucun droit à la rente n'a donc pris naissance en sa faveur.
Il s'ensuit que le recours est mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juillet 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
Le Greffier :