A.- B._ ist Eigentümer des in der Gemeinde X._ gelegenen Hofes I._. Auf den 1. Januar 1993 übergab er den landwirtschaftlichen Betrieb seinem Sohn zur Pacht. Die Ausgleichskasse Luzern entliess ihn daher auf Ende 1992 aus der Beitragspflicht als selbstständig erwerbender Landwirt. Am 18. Februar 1999 teilte die kantonale Steuerverwaltung der Kasse mit, B._ habe 1991/92 (Bemessungszeitraum für die Steuerperiode 1993/94) Einkünfte aus selbstständiger Erwerbstätigkeit in der Höhe von Fr. 633'247.- (1991) und Fr. 451'317.- (1992) erzielt.
Die gemeldeten Einkommen setzten sich wie folgt zusammen:
"Erträge aus der Landwirtschaftsliegenschaft (Geschäft)" je Fr. 17'692.- sowie "Kiesausbeutung" Fr. 615'555.- (1991) und Fr. 433'625.- (1992). Mit Schreiben vom 26. Februar 1999 teilte die Ausgleichskasse B._ mit, er unterstehe ab 1. Januar 1994 wieder der Beitragspflicht als Selbstständigerwerbender. Mit zwei Verfügungen vom selben Tag setzte sie die persönlichen Beiträge (inkl. Verwaltungskostenbeitrag) für 1994/95 auf je Fr. 50'709. 60 fest und erhob auf diesen Beträgen sowie auf den gleichzeitig erlassenen Akontozahlungsaufforderungen für 1996/97 und 1998/99 Verzugszinsen von insgesamt Fr. 31'160.- für den Zeitraum 1. Januar 1995 bis 31. Januar 1999.
B.- B._ liess beim Verwaltungsgericht des Kantons Luzern Beschwerde einreichen und beantragen, die Verfügungen vom 26. Februar 1999 seien aufzuheben ebenso die geforderten Akontozahlungen für die Beitragsperioden 1996/97 und 1998/99. Das Begehren wurde damit begründet, der seit längerer Zeit verpachtete Hof I._ stelle Privatvermögen dar. Der Ertrag aus der Liegenschaft unterliege daher nicht der Beitragspflicht.
Nach Vernehmlassung der Ausgleichskasse führte das kantonale Verwaltungsgericht einen zweiten Schriftenwechsel durch und zog die Gemeinde-Steuerakten bei. Mit Entscheid vom 25. Januar 2000 hiess es die Beschwerde in dem Sinne teilweise gut, dass es in Abänderung der betreffenden Verfügung vom 26. Februar 1999 "die Verzugszinsen auf den Beiträgen 1994 und 1995 für die Dauer vom 1. Januar 1995 bis
31. Januar 1999 auf Fr. 21'805. 15" festsetzte. Im Übrigen wies es das Rechtsmittel ab, soweit darauf einzutreten war.
C.- B._ lässt Verwaltungsgerichtsbeschwerde führen mit dem hauptsächlichen Rechtsbegehren, es seien der kantonale Entscheid, die Beitrags- und Verzugszinsverfügungen vom 26. Februar 1999 sowie die geforderten Beitrags-Akontozahlungen für 1996 bis 1999 aufzuheben.
Das kantonale Verwaltungsgericht beantragt ebenso wie die Ausgleichskasse die Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung hat keine Vernehmlassung eingereicht.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat u.a. unter Hinweis auf seine eigene Praxis der Aufforderung der Ausgleichskasse zu Beitrags-Akontozahlungen für 1996/97 sowie 1998/99 den Verfügungscharakter abgesprochen und implizit deren Vollstreckbarkeit verneint (vgl. <ref-law>).
Inwiefern diese Auffassung Bundesrecht verletzt und die Vorinstanz insoweit zu Unrecht nicht auf die Beschwerde eingetreten ist, wird in der Verwaltungsgerichtsbeschwerde mit keinem Wort begründet (vgl. in diesem Zusammenhang auch <ref-ruling> Erw. 3b sowie ZAK 1992 S. 314 Erw. 3a). Auf den Antrag auf Aufhebung der geforderten Beitrags-Akontozahlungen für 1996 bis 1999 ist daher auch im zweitinstanzlichen Verfahren nicht einzutreten (Art. 108 Abs. 2 OG und <ref-ruling>).
2.- Die Rechtsgrundlagen, insbesondere die Rechtsprechung zur beitragsrechtlichen Qualifikation von Entschädigungen für die Einräumung des Rechts zum Abbau von Kies, Sand und anderen Bestandteilen des Bodens (vgl. <ref-ruling> ff. Erw. 2b-d) werden im angefochtenen Entscheid zutreffend dargelegt. Ebenfalls richtig sind die Ausführungen der Vorinstanz zur (relativen) Verbindlichkeit der Angaben der Steuerbehörden resp. rechtskräftiger Steuerveranlagungen für den Sozialversicherungsrichter, soweit es um Fragen masslicher Art geht (Art. 23 Abs. 1 und 4 sowie <ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung; AHI 1997 S. 25 Erw. 2b mit Hinweisen; vgl. auch <ref-ruling> f. Erw. 5d). Darauf wird verwiesen.
3.- a) Das kantonale Gericht hat die Beitragspflicht für 1994/95 auf den in der Bemessungsperiode 1991/92 geflossenen Entschädigungen für die Einräumung des Kiesabbaurechts von Fr. 615'555.-/Fr. 433'625.- in Bestätigung der Verfügung der Ausgleichskasse vom 26. Februar 1999 bejaht.
Die Vorinstanz hat im Wesentlichen erwogen, die landwirtschaftliche Liegenschaft, auf welcher die Ausbeutung erfolge, habe bis Ende 1992 zum Geschäftsvermögen gehört. An dieser Zuordnung habe die Verpachtung an den Sohn auf den
1. Januar 1993 nichts geändert. Nach der steuerrechtlich relevanten Rechtsprechung hätte der Beschwerdeführer die Überführung des Hofes I._ ins Privatvermögen gegenüber der Steuerbehörde klar und unmissverständlich erklären müssen. Dies habe er indessen nach eigenen Angaben unterlassen. Dafür, dass die Liegenschaft nach der Verpachtung im Geschäftsvermögen des Beschwerdeführers verblieben sei, spreche auch die Unterscheidung bei den Passiven zwischen Geschäftsschulden und privaten Schulden in der Steuererklärung 1993/94 sowie die geltend gemachten und in reduzier- tem Umfang zum Abzug zugelassenen Unterhaltskosten. Da angesichts der konkreten Gegebenheiten, u.a. die Dauer der Ausbeutung seit 1979 sowie die Stellung als Eigentümer und (nach wie vor) Vertragspartner der Abbaufirma, weder von einem Veräusserungstatbestand noch von der Ausnützung einer zufällig sich bietenden Gelegenheit gesprochen werden könne, stellten die vom Kiesabbau herrührenden Erträge beitragspflichtiges Erwerbseinkommen dar. An dieser Beurteilung ändere nichts, dass die Ausbeutung durch eine Drittfirma erfolge.
b) aa) Vorliegend stehen weder die Rechtsprechung zur Beitragspflicht bei Einräumung eines Kiesabbaurechts noch die im angefochtenen Entscheid dargelegten steuerrechtlichen Grundsätze zur Überführung von Geschäftsvermögen in Privatvermögen ("Privatentnahme"; vgl. auch <ref-ruling> ff. Erw. 6c) in Frage. In tatsächlicher Hinsicht sodann steht fest und ist unbestritten, dass seit 1979 auf dem Hof I._ Kies abgebaut wird und dass das Pachtverhältnis mit dem Sohn weder an dieser Nutzung als solcher noch an den sich daraus ergebenden Berechtigungen und Verpflichtungen des Beschwerdeführers etwas geändert hat. In Bezug auf die Kiesausbeutung verhält es sich somit so, wie wenn die Liegenschaft nicht verpachtet worden wäre.
Die bei den Akten liegenden Vereinbarungen vom 7. April 1988 mit der Abbaufirma zeigen im Übrigen klar, dass der Beschwerdeführer über seine Stellung als Eigentümer hinaus in einer Weise als an der Ausbeutung Mitbeteiligter erscheint, welche den Rahmen der blossen Vermögensverwaltung sprengt (vgl. <ref-ruling> unten).
Dies steht denn auch zu Recht ausser Diskussion.
bb) Ob durch die Verpachtung der Liegenschaft und die Aufgabe der Tätigkeit als Landwirt eine Privatentnahme "deutlich erkennbar (auch den Steuerbehörden) gemacht worden" war, wie vorgebracht wird, ist zweifelhaft (vgl. <ref-ruling>/126). Diese Frage kann indessen offen bleiben.
Selbst wenn es sich so verhielte, änderte es nichts am Ergebnis, dass die Kiesabbauentschädigung als Einkommen aus selbstständiger Erwerbstätigkeit zu qualifizieren ist.
Diesfalls müsste der Hof I._ als eine gemischt genutzte Liegenschaft betrachtet werden. Als solche wäre das Anwesen nach der Präponderanzmethode entsprechend seiner überwiegenden Zweckbestimmung unaufgeteilt entweder als Privat- oder als Geschäftsvermögen zu qualifizieren (<ref-ruling> Erw. 5a; vgl. auch Pra 1999 Nr. 185 S. 963 f.
Erw. 2b und c mit Hinweis auf zwei Kreisschreiben der Eidgenössischen Steuerverwaltung vom 12. und 25. November 1992 u.a über die Zuordnung von Geschäfts- und Privatvermögen bei Landwirtschaftsbetrieben). Aufgrund der weit höheren Erträge aus der Einräumung des Kiesabbaurechts im Vergleich zu den Pachtzinseinnahmen ist resp. wäre trotz des im Verhältnis zur landwirtschaftlichen Nutzungsfläche kleinen Kiesabbaugebietes die gesamte Liegenschaft als zum Geschäftsvermögen gehörig zu betrachten (vgl. auch <ref-ruling> unten).
c) Die Beitragspflicht als Selbstständigerwerbender bemessen nach den für 1991/92 erhaltenen Entschädigungen für die Einräumung des Kiesabbaurechts ist somit grundsätzlich gegeben. Soweit im Übrigen in Bezug auf die von der Vorinstanz argumentativ verwendeten handschriftlichen Eintragungen des Steuerbeamten in der Steuererklärung 1993/94 eine unrichtige und unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt wird, braucht darauf mangels Entscheidrelevanz nicht näher eingegangen zu werden.
4.- a) Das kantonale Gericht hat die im Eventualstandpunkt beantragte Korrektur des beitragspflichtigen Einkommens nach unten entsprechend dem Minderwert der Liegenschaft als Folge der Kiesentnahme abgelehnt. Sinngemäss lasse zwar das Gesetz unter dem Titel Abschreibungen einen solchen Abzug zu (<ref-law> in Verbindung mit <ref-law> [in der bis 31. Dezember 1997 gültig gewesenen Fassung] sowie Art. 27 Abs. 2 lit. a und Art. 28 DBG). Erforderlich hiefür sei indessen der Nachweis eines tatsächlichen Wertverlustes. In dieser Hinsicht räume der Beschwerdeführer selber ein, in der Steuerdeklaration 1993/94 keine Abschreibungen vorgenommen zu haben. Wegen der Verbindlichkeit der Angaben der Steuerbehörden für den Sozialversicherungsrichter (<ref-law>) falle daher auch im Beitragsbereich die Berücksichtigung zusätzlicher Wertminderungen ausser Betracht. Selbst wenn der Beschwerdeführer auf die Vornahme von Abschreibungen verzichtet haben sollte in der Annahme, es handle sich bei den Entschädigungen aus Kiesausbeutung nicht um Erwerbseinkommen, gebe dies zu keiner andern Betrachtungsweise Anlass.
Zum einen habe er weder behauptet noch substanziiert nachgewiesen, dass das für Kiesgewinnung genutzte Land eine steuerlich relevante Wertverminderung erfahren habe. Zum andern sei davon auszugehen, dass die betreffende Fläche keinen Wertverlust erlitten habe.
b) In der Verwaltungsgerichtsbeschwerde wird insoweit richtig vorgebracht, die Nichtvornahme von Abschreibungen sowie die aufgrund der Steuererklärung 1993/94 der Steuerbehörde bekannte Aufgabe der Erwerbstätigkeit als selbstständiger Landwirt auf Ende 1992 seien Beleg dafür, dass der Beschwerdeführer nach der Verpachtung des Hofes I._ an seinen Sohn die Liegenschaft als ins Privatvermögen überführt betrachtet habe (vgl. ZAK 1969 S. 737 Erw. 3 sowie <ref-ruling> Erw. 6c/aa i.i.). Diese Argumentation wird anderseits allerdings insofern relativiert, als nicht geltend gemacht wird, im Unterschied dazu habe er früher solche Abzüge vorgenommen, für welche Annahme sich im Übrigen in den von der Vorinstanz beigezogenen Steuerakten keine Hinweise finden. Wie es sich damit verhält, kann indessen offen bleiben, da auch bei einer freien Prüfung der Frage abzugsfähiger Abschreibungen vom rohen Einkommen ohne Bindung an die rechtskräftige Steuerveranlagung für 1993/94 sich nichts zu Gunsten des Beschwerdeführers ergibt.
aa) Es ist dem Grundsatze nach zu Recht unbestritten, dass durch die Entnahme von wirtschaftlich verwertbarem Kies und Sand aus aus dem Boden das betreffende Grundstück in der Regel eine Werteinbusse erleidet. "Das Grundstück ist ohne das abgebaute Material weniger Wert als mit diesem" (<ref-ruling> Erw. 2). Diese Wertverminderung kann steuer- und auch beitragsrechtlich nur, aber immerhin insoweit durch eine entsprechende ausserordentliche oder einmalige Abschreibung auf dem Geschäftsvermögen Rechnung getragen werden (vgl. Pra 2000 Nr. 83 S. 498 Erw. 2a), als sie den Verlust des Wertes der abgebauten Substanz übersteigt (<ref-ruling> Erw. 2 am Ende). Ein solcher abzugsberechtigender Sachverhalt ist regelmässig dort nicht gegeben, wo nach der Wiederherstellung des kiesabgebauten Gebietes eine zonenkonforme Nutzung ohne zusätzliche Investitionen wieder möglich ist und die Rekultivierungskosten zu Lasten Dritter, namentlich der Abbaufirma gehen (vgl. <ref-ruling> Erw. 3). So verhält es sich aber vorliegend.
Wenn in diesem Zusammenhang geltend gemacht wird, es sei notorisch, dass rekultiviertes Kiesabbauland nicht die vollen Erträge aus der landwirtschaftlichen Produktion abwerfe, handelt es sich dabei um eine unzulässige neue Tatsachenbehauptung (Art. 105 Abs. 2 in Verbindung mit Art. 132 OG).
bb) Ein Abzug vom Einkommen aus einem Kiesabbaurecht in Form einer ausserordentlichen Abschreibung rechtfertigte sich auch, wenn der Erwerbspreis für das betreffende Land höher gewesen war als normalerweise für das Grundstück ohne Kiesvorkommen bezahlt worden wäre, und dies allenfalls buchmässig ausgewiesen ist (vgl. Pra 2000 Nr. 83 S. 499 Erw. 2b sowie EVGE 1954 S. 196 oben). Ein solcher Sachverhalt wird indessen nicht behauptet und es finden sich hiefür auch keine Anhaltspunkte in den Akten.
c) Die Beitragspflicht für 1994/95 aus Kiesabbau ist somit auch in Bezug auf die Höhe der zu verabgabenden Entschädigungszahlungen nicht zu beanstanden. Inwiefern die vorinstanzliche Verzugszinsberechnung nicht rechtskonform sein soll, wird im Übrigen nicht begründet. Auf diesen Punkt ist daher nicht näher einzugehen.
5.- Nicht angefochten ist die von der Vorinstanz verneinte Abzugsfähigkeit der persönlichen Beiträge vom rohen Einkommen. Zu einer nochmaligen Prüfung dieser Frage besteht kein Anlass.
6.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 159 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit
darauf einzutreten ist.
II.Die Gerichtskosten von Fr. 8000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Abgaberechtliche Abteilung, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: