A.- L._, né en 1934, s'est marié le 20 août 1960. Son épouse est décédée le 25 octobre 1991. Il s'est remarié le 24 novembre 1995. Par décision du 15 avril 1999, la Caisse fédérale de compensation a alloué à L._ une rente ordinaire simple de vieillesse de 1785 fr. par mois dès le 1er avril 1999. La caisse a pris en considération un revenu annuel moyen de 55 476 fr., compte tenu d'une répartition des revenus entre époux pour les années du premier mariage de l'assuré. B.- Par jugement du 20 janvier 2000, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé contre cette décision par l'assuré. C.- L._ interjette un recours de droit administratif dans lequel il conclut à l'annulation du jugement cantonal et au renvoi de la cause à la caisse de compensation pour nouvelle décision au sens des motifs. La caisse de compensation conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales.