A.- A._ est titulaire d'un CFC de quincaillier, d'un diplôme d'opérateur-programmeur, obtenu en 1964, ainsi que d'un diplôme d'employé d'administration. Il a notamment travaillé durant plus de vingt ans (de 1968 à 1990) pour les services industriels de X._, puis, après une période de chômage, dans une banque, où il a été occupé au microfilmage des signatures. Parallèlement à son activité professionnelle, il assurait la conciergerie de l'immeuble qu'il habite depuis 1980 ainsi que d'un immeuble voisin depuis le 1er janvier 1997. Il a, par ailleurs, travaillé dès 1997 comme caissier à mi-temps aux Installations mécaniques de Y._ durant la saison de ski, soit de décembre à avril, puis, dès 1999, en été également.
Souffrant d'angine de poitrine et d'insuffisance artérielle des membres inférieurs, A._ a déposé le 6 octobre 1998 une demande de prestations de l'assurance-invalidité. Par décision du 27 novembre 2000, l'Office cantonal AI du Valais (ci-après : l'office) a nié le droit de l'assuré à une rente au motif qu'il ne subissait aucune perte de gain en raison de cette atteinte à la santé.
B.- Par jugement du 18 avril 2001, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé contre cette décision par l'assuré.
C.- Ce dernier interjette recours de droit administratif contre ce jugement en concluant, sous suite de dépens, à son annulation et au renvoi de la cause à l'administration afin qu'elle complète l'instruction sur le plan économique. L'office et l'Office fédéral des assurances sociales ne se sont pas déterminés.

Considérant en droit :
1.- a) Selon l'art. 28 al. 1 LAI, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 % au moins, à une demi-rente s'il est invalide à 50 % au moins, ou à un quart de rente s'il est invalide à 40 % au moins; dans les cas pénibles, l'assuré peut, d'après l'art. 28 al. 1bis LAI, prétendre une demi-rente s'il est invalide à 40 % au moins.
b) Chez les assurés actifs, le degré d'invalidité doit être déterminé sur la base d'une comparaison des revenus.
Pour cela, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide (art. 28 al. 2 LAI). La comparaison des revenus s'effectue, en règle générale, en chiffrant aussi exactement que possible les montants de ces deux revenus et en les confrontant l'un avec l'autre, la différence permettant de calculer le taux d'invalidité.
Dans la mesure où ces revenus ne peuvent être chiffrés exactement, ils doivent être estimés d'après les éléments connus dans le cas particulier, après quoi l'on compare entre elles les valeurs approximatives ainsi obtenues (méthode générale de comparaison des revenus; <ref-ruling> consid. 2a et 2b).
En règle générale, lorsque l'assuré exerce une activité, il faut admettre que le gain effectivement réalisé équivaut à une prestation de travail correspondante. La jurisprudence admet cependant que des circonstances, dont la preuve de l'existence est soumise à des exigences sévères, justifient de s'écarter du revenu effectif en faveur ou en défaveur de l'assuré, qu'il s'agisse de l'évaluation du revenu avec ou sans invalidité (arrêts non publiés M. du 10 décembre 2001 [I 320/01], W. du 23 juillet 1999 [I 200/98]; cf. en relation avec l'évaluation du revenu d'invalide, <ref-ruling>; <ref-ruling> consid. 4c). Par ailleurs, la seule circonstance qu'un assuré disposerait de meilleures possibilités de gain que celles qu'il met en valeur et qui lui permettent d'obtenir un revenu modeste ne justifie pas encore que l'on s'écarte du gain qu'il perçoit effectivement; on peut toutefois renoncer à se référer à ce dernier lorsqu'il ressort de l'ensemble des circonstances du cas que l'assuré, sans invalidité, ne se contenterait pas d'une telle rémunération de manière durable (RCC 1992 p. 96 consid. 4a).
2.- a) En ce qui concerne le revenu sans invalidité, les premiers juges ont retenu un montant annuel de 40 000 fr. correspondant à la somme des gains que le recourant aurait réalisés comme caissier, d'une part, et comme concierge indépendant, d'autre part, à raison de 20 000 fr. pour chacune de ces activités.
Le recourant objecte que sans invalidité il aurait pu augmenter la part de ses travaux de conciergerie et réaliser ainsi, en s'y consacrant entièrement, un gain annuel minimum de 63 000 fr.
b) Selon les pièces médicales figurant au dossier, l'atteinte à la santé dont souffre le recourant est survenue en août 1997, date à laquelle il a subi une première angioplastie avec pose de trois stents sur l'artère coronaire droite, suivie d'une nouvelle intervention en octobre de la même année (rapport de la doctoresse B._, du 11 novembre 1998). Le recourant était alors établi depuis quelques mois dans le canton du Valais où, après avoir épuisé son droit au chômage, il avait l'intention de commencer une activité de concierge indépendant. A cette fin, le recourant s'est annoncé comme assuré exerçant une activité lucrative indépendante auprès de la Caisse cantonale valaisanne de compensation dès janvier 1997, en poursuivant les démarches entreprises auprès de plusieurs propriétaires d'immeubles dès la fin de 1996 pour développer cette activité, qu'il n'avait, auparavant, exercée qu'à titre accessoire. L'ensemble de ces éléments permet d'admettre, au stade de la vraisemblance prépondérante usuel en droit des assurances sociales (<ref-ruling> consid. 5b) que le recourant entendait se consacrer à cette activité et en retirer l'essentiel de ses revenus. En revanche, contrairement à ce qu'ont retenu les premiers juges, rien ne permet, en l'espèce, d'affirmer que le recourant, sans atteinte à la santé, aurait mené de front avec cette activité indépendante, celle de caissier auprès des Installations mécaniques de Y._, commencée en décembre 1997 seulement, soit après la survenance de l'atteinte à la santé. Il convient au demeurant de relever que cette dernière activité, exercée sur la base de contrats de durée déterminée conclus pour chaque saison et n'offrant qu'une rémunération modique de l'ordre de 18 francs de l'heure, ne constitue pas un élément d'évaluation fiable de la capacité de gain sans invalidité du recourant (cf. consid. 1b, supra).
Cela étant, le dossier de la cause ne renferme pas les éléments de fait permettant d'évaluer avec suffisamment de précision les gains que le recourant aurait été en mesure de réaliser dans une activité de concierge indépendant. Sur ce point, ni le montant estimatif de 20 000 francs par an annoncé à la caisse cantonale de compensation, ni les attestations émanant des propriétaires d'immeubles contactés par le recourant ne fournissent d'indications suffisamment probantes. Il sied en particulier de relever que les rémunérations indiquées par les propriétaires des immeubles C._ et D._, dans leurs attestations datées de janvier 2001 (respectivement 3000 francs et 2250 francs par mois), apparaissent très élevées en comparaison de celles obtenues auparavant par le recourant pour des travaux apparemment similaires (respectivement 250 francs par mois et 800 francs par an). On ignore au demeurant concrètement l'importance des travaux de conciergerie exigés dans chacun de ces immeubles et si même le cumul de ces tâches aurait été possible pour une personne seule, ou si le recourant aurait dû s'adjoindre l'aide de tierces personnes, ce qui ne demeurerait pas sans incidence sur l'évaluation de son revenu hypothétique sans invalidité (cf. art. 25 al. 2 RAI; RCC 1972 289).
3.- a) En ce qui concerne le revenu d'invalide, les juges cantonaux ont retenu que le recourant, fort de son expérience et de ses aptitudes professionnelles, serait à même de réaliser un gain annuel de l'ordre de 40 000 fr. en exerçant une activité adaptée, à caractère sédentaire et n'exigeant pas le port de lourdes charges, dans le domaine de la quincaillerie ou de l'informatique. Ils se sont référés à la valeur médiane des revenus d'activités simples et répétitives dans la région lémanique, soit Vaud, Genève et Valais (ESS 1996, TA 13, p. 32, niveau de qualification 4), et ont admis un abattement de 25 % de cette valeur statistique afin de tenir compte du fait qu'une personne atteinte dans sa santé est généralement désavantagée sur le plan de la rémunération par rapport aux autres salariés.
Pour sa part, le recourant conteste être à même d'exercer une activité de quincaillier - trop exigeante physiquement - et pouvoir mettre à profit ses connaissances en informatique - aujourd'hui désuètes; il reproche en outre à l'administration et aux premiers juges de s'être référés à des données statistiques sans avoir procédé à un examen concret des activités adaptées qui demeurent à sa portée et des gains qu'il pourrait en retirer en travaillant dans la région où il est domicilié.
b) Le recourant ne conteste pas être en mesure d'exercer une activité sédentaire, n'exigeant pas le port de charges excédant 5 à 7 kilos, mais uniquement l'évaluation du revenu qu'il pourrait en retirer. A cet égard, il convient de relever que, disposant non seulement d'une formation de quincaillier et d'opérateur-programmeur, le recourant bénéficie également d'un diplôme d'employé d'administration, de l'expérience acquise durant plus de vingt années passées auprès des Services industriels de X._ et des connaissances lui permettant de maîtriser la plupart des outils informatiques usuels. On peut ainsi sérieusement douter que le champ des activités lui demeurant accessibles malgré son atteinte à la santé soit limité aux activités simples et répétitives auxquelles se sont référés les premiers juges. Il convient par ailleurs de relever que la seule activité de microfilmage de signatures exercée par le recourant durant l'année 1995 lui assurait un gain mensuel de l'ordre de 4800 francs, correspondant à un salaire annuel brut de plus de 58 000 francs, si bien qu'avec 40 000 francs, sa capacité de gain sans invalidité apparaît largement sous-évaluée.
4.- Il résulte de ce qui précède que, en l'état, le dossier de la cause ne contient pas de données suffisantes pour estimer l'invalidité du recourant, si bien qu'il convient de renvoyer la cause à l'administration afin qu'elle complète l'instruction sur le plan économique.
5.- Le recourant, qui obtient gain de cause, s'est fait assister d'un avocat et peut dès lors prétendre une indemnité de dépens (art. 159 al. 1 et 2 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis. Le jugement du Tribunal cantonal
des assurances du canton du Valais du 18 avril 2001 et
la décision de l'Office cantonal AI du Valais du 27 novembre 2000 sont annulés, la cause étant renvoyée
à l'Office cantonal AI pour instruction complémentaire
au sens des considérants et nouvelle décision.
II. Il n'est pas perçu de frais de justice.
III. L'Office AI du canton du Valais versera à A._ la somme de 2500 fr. à titre de dépens.
IV. Le Tribunal cantonal des assurances du canton du Valais statuera sur les dépens de première instance au vu du résultat du procès de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au
Tribunal cantonal des assurances du canton du Valais
ainsi qu'à l'Office fédéral des assurances sociales.
Lucerne, le 16 janvier 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
Le Greffier :