Sachverhalt:
A. C._ ist als selbständigerwerbender Landwirt der Ausgleichskasse des Kantons Wallis angeschlossen. Im Rahmen eines Expropriationsverfahrens betreffend eine von ihm bis 2007 gepachtete Parzelle einigte er sich am 6. Dezember 1993 mit der Gemeinde auf die Auflösung des Pachtvertrages gegen Bezahlung von Fr. 170'000.-. Diesen Betrag berücksichtigte die kantonale Steuerverwaltung in der Veranlagungsverfügung für die Jahre 1995/1996 vom 2. Mai 2006 als steuerpflichtiges Einkommen. Die Verfügungen für die Jahre 1996/1997 und 1998/1999 erliess sie am 23. November und 19. Oktober 2005. Aufgrund der entsprechenden Meldungen der Steuerverwaltung machte die Ausgleichskasse die persönlichen Beiträge für Alters- und Hinterlassenenversicherung, Invalidenversicherung, Erwerbsersatz sowie Familienzulagen rückwirkend für die Beitragsperioden 1996/1997, 1998/1999 sowie 2000 mit Verfügungen vom 23. Januar und 19. Juli 2006 geltend. Mit Einspracheentscheiden vom 24. und 25. August 2006 setzte sie die jährlichen Beiträge neu auf Fr. 14'237.40 (für die Periode 1996/97), Fr. 5'132.40 (für die Periode 1998/99) und Fr. 3'190.80 (für das Jahr 2000) fest, wobei sie für die Periode 1996/1997 u.a. je die Hälfte der Entschädigung für die Pachtauflösung (Fr. 85'000.-) als beitragspflichtiges landwirtschaftliches Einkommen erfasste.
B. Die dagegen eingereichten Beschwerden des C._ wies das Kantonale Versicherungsgericht des Wallis nach Vereinigung der Verfahren mit Entscheid vom 27. Oktober 2008 ab.
C. C._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Mit der Begründung, der Betrag von Fr. 170'000.- stelle einen nicht beitragspflichtigen Expropriationszins dar und die Beiträge für die Jahre 1996 bis 2000 seien verjährt, beantragt er die Abänderung der Entscheide vom 24. und 25. August 2006.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen schliessen auf Abweisung der Beschwerde, während das kantonale Gericht auf eine Stellungnahme verzichtet.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
1.2 Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Verfassungsrecht (Art. 95 lit. c BGG) nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Es obliegt daher der Beschwerde führenden Person, klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, welche verfassungsmässigen Rechte inwiefern durch den kantonalen Entscheid verletzt sind (<ref-ruling> E. 2.2 S. 246 mit weiteren Hinweisen).
2. Der AHV-rechtlichen Beitragspflicht unterliegen grundsätzlich alle Einkünfte aus einer Erwerbstätigkeit (Art. 4 Abs. 1 AHVG). In Bezug auf Invalidenversicherungs- und Erwerbsersatzbeiträge sind für deren Bemessung und die Verjährung der Beitragforderungen die Bestimmungen des AHVG sinngemäss anwendbar (Art. 3 Abs. 1 und 2 IVG [SR 831.20]; Art. 27 Abs. 2 und 3 EOG [SR 834.1]). Soweit die streitigen Beiträge die auf kantonalem Recht beruhenden Familienzulagen an selbständig erwerbstätige Landwirte betreffen, werden keine zulässigen Rügen (E. 1.2) erhoben. Diesbezüglich ist auf die Beschwerde nicht einzutreten.
3. 3.1 Der Beschwerdeführer macht erstmals vor Bundesgericht die Verjährung der Beiträge geltend. Ob damit ein nach Art. 99 Abs. 2 BGG unzulässiges neues Rechtsbegehren (vgl. <ref-ruling> E. 2.2 S. 226) gestellt wird, kann indessen offen bleiben, weil der Einwand ohnehin unbegründet ist (E. 3.3).
3.2 Beiträge, welche bei Inkrafttreten der 10. AHV-Revision am 1. Januar 1997 noch nicht verjährt waren (AHVG, Schlussbestimmung der Änderung vom 7. Oktober 1994 lit. b Abs. 1; AS 1996 2666), können bis ein Jahr nach Ablauf des Kalenderjahres, in welchem die massgebende Steuer- oder Nachsteuerveranlagung rechtskräftig wurde, durch Verfügung geltend gemacht werden (Festsetzungsverjährung: Art. 16 Abs. 1 AHVG, sowohl in der bis 31. Dezember 2002 geltenden als auch in der aktuellen Fassung; ausführlich Urteil H 1/06 des Eidg. Versicherungsgerichts vom 30. November 2006 E. 4). Die geltend gemachte Beitragsforderung erlischt fünf Jahre nach Ablauf des Kalenderjahres, in welchem sie rechtskräftig wurde (Vollstreckungsverjährung: Art. 16 Abs. 2 AHVG). Entgegen dem Wortlaut der Bestimmungen handelt es sich um grundsätzlich von Amtes wegen zu berücksichtigende Verwirkungsfristen (<ref-ruling> E. 4c S. 96 f.; <ref-ruling> E. 3b S. 210; UELI KIESER, Alters- und Hinterlassenenversicherung, in: Ulrich Meyer [Hrsg.] SBVR/Soziale Sicherheit, 2. Aufl. 2007, S. 1285 Rz. 237).
3.3 Die Beitragsansprüche für die Jahre 1996 bis 2000 waren am 1. Januar 1997 noch nicht verjährt (aArt. 16 Abs. 1 AHVG, AS 1954 211; Urteil H 1/06 des Eidg. Versicherungsgerichts vom 30. November 2006 E. 4.1). Die Steuern der massgebenden Jahre (vgl. Art. 23 AHVV [SR 831.101]) wurden letztmals am 19. Oktober und 23. November 2005 sowie am 2. Mai 2006 veranlagt, weshalb sie frühestens zu diesen Zeitpunkten in Rechtskraft erwachsen konnten. Nebst den Beitragsverfügungen ergingen selbst die Einspracheentscheide innerhalb der am 31. Dezember 2006 bzw. 2007 endenden Frist für die Festsetzungsverjährung. Weil die Beitragsforderungen bislang noch nicht rechtskräftig sind, fällt offensichtlich auch eine Vollstreckungsverjährung ausser Betracht.
4. 4.1 Die Vorinstanz hat den von der Ausgleichskasse für die Beitragsperiode 1996/1997 berücksichtigten Betrag - welchen die Steuerverwaltung als "übriges Einkommen" bezeichnete - von je Fr. 85'000.- als beitragspflichtiges landwirtschaftliches Einkommen bestätigt.
4.2 Die Verbindlichkeit der Angaben der Steuerbehörden (Art. 23 Abs. 4 AHVV) ist auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Sie betrifft also nicht die beitragsrechtliche Qualifikation und beschlägt daher die Frage nicht, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbstständiger oder aus unselbstständiger Tätigkeit vorliegt und ob die Person, die das Einkommen bezogen hat, beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung auf Grund des AHV-Rechts zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (<ref-ruling> E. 2c S. 83, 114 V 72 E. 2 S. 75, je mit Hinweisen; Urteil 9C_471/2008 vom 10. November 2008 E. 3.2).
4.3 Nach nicht offensichtlich unrichtiger vorinstanzlicher Feststellung (E. 1.1) bewirtschaftete der Beschwerdeführer im Rahmen seines landwirtschaftlichen Betriebes die von ihm gepachtete Parzelle als Weinberg. Im Sinne eines Ertragsausfalls sei dem ehemaligen Pächter kein Grundstück, sondern ein Nutzungsrecht entschädigt worden. Folglich hat das kantonale Gericht die Zahlung für die Auflösung des Pachtvertrages zu Recht als Erwerbseinkommen qualifiziert (Art. 20 Abs. 1 AHVV; <ref-ruling> E. 2c S. 388; vgl. auch ZAK 1969 S. 61 f.). Zwar sind Schadenersatzzahlungen und Enteignungsentschädigungen nicht steuerbares oder ahv-beitragspflichtiges Einkommen, soweit sie bloss einen Kapitalverlust bzw. Vermögensschaden ausgleichen (<ref-ruling> E. 3.1), wohl aber dann, wenn sie dazu bestimmt sind, den Wegfall eines künftigen Erwerbseinkommens oder den Verzicht auf die Ausübung einer Erwerbstätigkeit zu ersetzen (<ref-ruling> E. 2c und d; Urteil 2A.535/1999 vom 29. Februar 2000, E. 2c, in: RDAT 2000 II Nr. 19t; Urteil A.50/1984 vom 15. November 1985, E. 3c, in: ASA 55 S. 431). Denn mit einer solchen Entschädigung wird ein Einkommen ersetzt, das - wenn es weiterhin erzielt worden wäre - ebenfalls der Beitragspflicht unterstanden hätte. Das trifft auch für die hier streitige Entschädigung im Sinne von Art. 23 EntG zu: Damit wird der Schaden ausgeglichen, der dem Pächter dadurch entsteht, dass er das Pachtgrundstück nicht mehr benützen und daraus kein Erwerbseinkommen mehr erzielen kann; dieses Einkommen wäre beitragspflichtig gewesen, weshalb dasselbe auch für die entsprechende Entschädigung gelten muss. Daran ändert nichts, dass die Gemeinde laut Vertrag vom 6. Dezember 1993 den Ablösungsbetrag "als Pacht" bezahlt haben soll: Aus dieser Formulierung kann - auch wenn der unterzeichnende Gemeindepräsident Jurist ist - nach Treu und Glauben (Art. 9 BV; <ref-ruling> E. 6.1 S. 636 f.; 129 I 161 E. 4.1 S. 170; RKUV 2000 Nr. KV 126 S. 223, K 23/98 E. 2) nicht auf die sozialversicherungsrechtliche Qualifikation der Abgeltung geschlossen werden. Das Bundesgericht hielt im Übrigen bereits im Urteil betreffend die direkten Bundessteuern 1995/1996 fest, dass es sich beim Verzicht auf die Nutzung der Parzelle aufgrund der bisherigen Bewirtschaftung nicht um eine Veräusserung von Privatvermögen (im Sinne von Art. 16 Abs. 3 DBG [SR 642.11]) handle (Urteil 2A.323/2003 vom 30. Januar 2004 E. 2). Auch dass die Entschädigung zur Bestimmung des jeweiligen Steuersatzes auf die Laufzeit des Pachtvertrages verteilt wird, bleibt ohne Auswirkungen auf die Berücksichtigung des gesamten Betrages als (Erwerbs-)Einkommen der Steuerperiode 1995/1996 und somit der Beitragsperiode 1996/1997. Schliesslich ist die Verwendung des Ablösungsbetrages bedeutungslos für die Frage, ob er aus Erwerbstätigkeit stammt (Art. 4 Abs. 1 AHVG), zumal die Kosten für eine allfällige Beschaffung von Ersatzgrundstücken bei Pacht als Gewinnungskosten (Art. 9 Abs. 2 lit. a AHVG) und bei Kauf als Zins vom im Betrieb eingesetzten Eigenkapital (Art. 9 Abs. 2 lit. f AHVG) einzubeziehen sind. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'700.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Kantonalen Versicherungsgericht des Wallis und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. August 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Die Gerichtsschreiberin:
Borella Dormann