Auftrag, hat sich ergeben:
A.- a) Am 9. Dezember 1986 wurde die am 11. September 1970 geschlossene Ehe des Klägers geschieden. Der Beklagte, damaliger Rechtsbeistand des Klägers, verfasste eine vom Kläger und dessen zu diesem Zeitpunkt nicht mehr verbeiständeten Ehefrau am 16. September 1986 unterzeichnete, vom Gericht alsdann genehmigte Ehescheidungskonvention. Diese enthielt unter anderem unter den Ziffern 2 und 3 einen je hälftig auf Art. 151 und 152 aZGB abgestützten indexierten Unterhaltsbeitrag von monatlich Fr. 400.-- während acht Jahren ab Rechtskraft des Scheidungsurteils. Am selben Tag unterzeichneten die Ehegatten eine ebenfalls vom Beklagten aufgesetzte Erklärung, wonach die Ehefrau unwiderruflich und endgültig auf das Inkasso der Unterhaltsbeiträge gemäss den Ziffern 2 und 3 der Konvention verzichtete. Diese Erklärung wurde dem Gericht nicht zur Genehmigung unterbreitet. Die Scheidungsparteien hatten ihren entsprechenden Verzichtswillen und die Vereinbarung einer der Höhe nach noch unbestimmten "Pro-Forma-Rente" in einer persönlichen Besprechung bereits am 8. September 1986 mit einer Handnotiz unterschriftlich bekräftigt. Der bis zu diesem Zeitpunkt mandatierte Rechtsbeistand der Ehefrau hatte für sie zuvor gegenüber dem Beklagten eine monatliche Unterhaltsrente von Fr. 500.-- während 10 Jahren ab Rechtskraft des Scheidungsurteils verlangt mit dem Hinweis, dass im Streitfall eine weit höhere Rente geschuldet würde.
b) Nachdem sie zuvor nie etwas verlangt hatte, betrieb die Ehefrau den Kläger im Jahre 1995 für die Rente der letzten acht Jahre (soweit nicht verjährt) in der Höhe von total Fr. 29'127. 37. Der Kläger erhob Rechtsvorschlag und liess sich wiederum vom Beklagten vertreten. Am 1. Februar 1995 wurde definitive Rechtsöffnung erteilt. Auf Appellation des Klägers bestätigte der Appellationshof des Kantons Bern am 6. Juli 1995 den Rechtsöffnungsentscheid im Wesentlichen mit der Begründung, die Zusatzvereinbarung mit Inkassoverzicht der Ehefrau des Klägers vom 16. September 1986 sei mangels gerichtlicher Genehmigung gemäss Art. 158 Ziff. 5 aZGB unbeachtlich, ein rechtsmissbräuchliches Verhalten derselben wegen langen Zuwartens nicht gegeben. Am 20. Juli 1995 bezahlte der Kläger den in Betreibung gesetzten Betrag.
B.- Mit Klage vom 5. Mai 1997 beantragte der Kläger, den Beklagten aus Anwaltshaftung zur Zahlung eines gerichtlich zu bestimmenden, Fr. 33'000.-- übersteigenden Betrags nebst Zins zu verurteilen. Die Gerichtspräsidentin 6 des Gerichtskreises VIII Bern-Laupen wies die Klage am 21. September 1999 ab, ebenso auf Appellation des Klägers der Appellationshof des Kantons Bern am 7. September 2000.
C.- Der Kläger gelangt mit Berufung an das Bundesgericht mit dem Antrag, den Beklagten zur Zahlung von Fr. 35'404. 55 nebst Zins zu 5% seit 4. November 1996 zu verurteilen.
Der Beklagte schliesst auf Abweisung des Rechtsmittels.

Das Bundesgericht zieht in Erwägung:
1.- a) Das Rechtsverhältnis der Parteien unterliegt dem Recht des einfachen Auftrags gemäss <ref-law>, wovon sowohl sie wie auch die kantonalen Gerichte zutreffend ausgegangen sind (vgl. <ref-ruling> E. 2a).
b) Als Beauftragter schuldet der Anwalt Sorgfalt und Treue und wird daher seinem Auftraggeber ersatzpflichtig, wenn er ihn durch unsorgfältige oder treuwidrige Besorgung des Auftrags schädigt (<ref-ruling> E. 2, 249 E. 3b).
Er hat jedoch nicht für den Erfolg seiner Tätigkeit Gewähr zu leisten, sondern für das kunstgerechte Tätigwerden (<ref-ruling> E. 2a). Dabei trägt der Anwalt nicht die Verantwortung für die spezifischen Risiken, die mit der Bildung und Durchsetzung einer Rechtsauffassung an sich verbunden sind. Er übt insofern eine risikogeneigte Tätigkeit aus, der auch haftpflichtrechtlich Rechnung zu tragen ist. Namentlich gilt zu berücksichtigen, dass er nicht für jede Massnahme oder Unterlassung einzustehen hat, welche aus nachträglicher Betrachtung den Schaden bewirkt oder vermieden hätte. Nach wie vor haben die Parteien das Prozessrisiko zu tragen, das sie nicht über die Verantwortlichkeit des Anwalts verlagern können.
c) <ref-law> verweist für das Mass der Sorgfalt des Beauftragten auf dasjenige des Arbeitnehmers im Arbeitsverhältnis (<ref-law>), wobei diese Verweisung dahingehend zu verstehen ist, dass der Beauftragte zwar nicht für die gleiche - weniger strikte - Sorgfalt wie der Arbeitnehmer, jedoch nach der gleichen Regel haftet. Der Sorgfaltsmassstab richtet sich daher nach den Fähigkeiten, Fachkenntnissen und Eigenschaften des Beauftragten, die der Auftraggeber gekannt hat oder hätte kennen müssen. Ob eine Verletzung der anwaltlichen Sorgfaltspflichten vorliegt, ist stets anhand des konkreten Falls zu prüfen. Dabei liegt der Wertungsgrat zwischen vertretbarem und unvertretbarem Vorgehen im Spannungsfeld zwischen der gefahrgeneigten Tätigkeit des Anwalts und seiner obrigkeitlich bekräftigten Fachkunde.
d) Als Ausfluss der Treuepflicht obliegt dem Anwalt insbesondere, seinen Mandanten über die Schwierigkeit und die Risiken der Geschäftsbesorgung umfassend aufzuklären, damit dieser sich über das von ihm zu tragende Risiko bewusst werde (vgl. statt Aller: Fellmann, Berner Kommentar, N. 412 zu <ref-law>).
2.- a) Der Kläger bringt im Wesentlichen vor, der Appellationshof habe <ref-law> falsch ausgelegt, indem er von der Gültigkeit der Verzichtserklärung vom 16. September 1986 ausgegangen sei und damit eine Verletzung der Sorgfaltspflicht des Beklagten verneint habe.
b) Im Zeitpunkt des Abschlusses der Scheidungskonvention (16. September 1986) war Art. 23 Abs. 2 aAHVG (SR 831. 10) noch in Kraft, wonach die Ehefrau nach dem Tod ihres geschiedenen Ehemannes der Witwe gleichgestellt war, sofern der Mann ihr gegenüber zu Unterhaltszahlungen verpflichtet war und die Ehe mindestens zehn Jahre gedauert hatte. Der Appellationshof hielt fest, es habe der damaligen Scheidungspraxis im Kanton Bern entsprochen, in der Scheidungskonvention jeweils eine "Pro-Forma-Rente" von geringem Betrag und geringer Dauer festzulegen, um den Anspruch der geschiedenen Frau auf Witwenrente zu sichern, obwohl diese keine Unterhaltsbeiträge beanspruchte oder ihr keine solche zustanden. Im Gegenzug habe die Ehefrau gegenüber dem Ehemann jeweils eine separate Verzichtserklärung auf die Rente abgegeben. Dabei sei weder üblich gewesen, eine solche Verzichtserklärung auf Unterhaltsbeiträge dem Gericht zur Genehmigung vorzulegen, noch hätte das Gericht eine entsprechende Genehmigung aus nahe- liegenden Gründen je erteilt.
Es sei darüber hinaus in Anbetracht der damals herrschenden Vorstellungen über die Gültigkeit der Verzichtserklärung auch nicht üblich gewesen, den Verzicht nach der Scheidung bestätigen zu lassen.
c) Der Appellationshof stellte verbindlich fest, der Beklagte sei zweifelsfrei von der Gültigkeit der Verzichtserklärung ausgegangen. Im Folgenden gilt es zunächst zu prüfen, ob der Beklagte damit seine anwaltlichen Sorgfaltspflichten verletzt hat.
3.- a) Der Appellationshof erwog im angefochtenen Urteil, das vom Beklagten gewählte Vorgehen sei aufgrund von Art. 23 Abs. 2 aAHVG im Kanton Bern üblich und durchaus praxiskonform gewesen. Diese Praxis sei auch dem Vorsitzenden (des Appellationshofs) aus eigener Erfahrung als damaligem Präsidenten eines Zivilamtsgerichts bekannt. Weder er selbst noch die in erster Instanz befragten Zeugen (eine seinerzeitige Präsidentin des Zivilamtsgerichts Bern sowie ein bernischer Anwalt) noch der Beklagte hätten damals je an der Gültigkeit der Verzichtserklärung gezweifelt. Daher spiele auch keine Rolle, dass der Beklagte nicht - wie üblich - nur eine symbolische Minimalrente, sondern eine weit höhere und längere Unterhaltsrente in die Scheidungskonvention aufgenommen habe.
b) Dieser Auffassung kann nicht gefolgt werden.
Durch die gerichtliche Genehmigung gemäss Art. 158 Ziff. 5 aZGB wird der Inhalt der Ehescheidungskonvention zum vollwertigen Bestandteil des Scheidungsurteils und teilt dessen rechtliches Schicksal (seit BGE 60 II 80 E. 1 und 169 S. 170 konstante bundesgerichtliche Rechtsprechung, so zuletzt: <ref-ruling> E. 3 und 3b; vgl. auch <ref-ruling> E. 5b, sowie die herrschende Lehre: vgl. statt Vieler:
Bühler/Spühler, Berner Kommentar, N. 172 zu Art. 158 aZGB).
Die Ehescheidungskonvention verliert damit - anders als der Prozessvergleich - ihren schuldrechtlichen Charakter (<ref-ruling> E. 3; <ref-ruling> E. 1 S. 169; 60 II 80 E. 1).
Dies bedeutet nach ständiger Rechtsprechung zu Art. 158 Ziff. 5 aZGB, dass die vor der Scheidung abgeschlossenen Vereinbarungen über die Nebenfolgen der Scheidung bei fehlender gerichtlicher Genehmigung keine Rechtswirkungen entfalten und folglich auch gegenüber den Parteien ihre bis dahin bestehende Verbindlichkeit verlieren, und zwar unabhängig davon, ob sie den disponiblen oder den nicht disponiblen Teil der scheidungsrechtlichen Auseinandersetzung betreffen (<ref-ruling> E. 3b; <ref-ruling> E. 2). Die gerichtliche Genehmigung der von den Parteien geschlossenen Scheidungskonvention ist daher Gültigkeitserfordernis. Alle von der Genehmigung nicht erfassten Abreden sind ungültig, und zwar unbesehen darum, ob dabei ein Mehr oder ein Weniger im Vergleich zu den genehmigten Abreden vereinbart worden ist.
c) Um rechtsverbindlich zu sein, hätte die Verzichtserklärung erst nach Eintritt der Rechtskraft des Scheidungsurteils abgegeben oder zumindest bestätigt werden müssen (Bühler/Spühler, Berner Kommentar, N. 166 zu Art. 158 aZGB). Insoweit stösst der Kläger mit seiner Auffassung ins Leere, wenn er fordert, der Beklagte hätte die nachträgliche Bestätigung des Verzichts durch Androhung einer Appellation erzwingen können. Abgesehen davon hätte auf eine Appellation des Klägers mangels Rechtsschutzinteresses nicht eingetreten werden können, da seine Anträge im Scheidungsurteil vollumfänglich gutgeheissen worden sind. Die für die Parteien unvorhergesehene Verschiebung des Urteilszeitpunktes konnte somit entgegen der Auffassung des Klägers keinerlei Einfluss auf die Ungültigkeit der Verzichtserklärung haben. Ausserdem wäre der Beklagte mangels rechtlicher Mittel zur Durchsetzung dieser Handlung objektiv ohnehin nicht zu verpflichten gewesen, da die Abgabe einer solchen Verzichtsbestätigung allein vom Willen und der Bereitschaft der Ehefrau des Klägers abhing.
d) Es handelt sich hierbei um von Lehre und Praxis einheitlich vertretenes, klares und damit nicht interpretationsbedürftiges Recht, dessen Kenntnis zu den Sorgfaltspflichten der Anwälte gehört (vgl. Fellmann, Berner Kommentar, N. 409 zu <ref-law>). Soweit der Beklagte diese klare Rechtslage zu Inhalt, Form und Rechtswirkungen einer Scheidungskonvention verkannte, ist entgegen der Auffassung des Appellationshofes von einer pflichtwidrigen Unkenntnis klaren Rechts seitens des Beklagten im Zeitpunkt der Errichtung von Scheidungskonvention und Verzichtserklärung auszugehen.
Von diesem Vorwurf kann er sich nicht dadurch befreien, dass zu jener Zeit selbst Richterinnen und Richter sowie zahlreiche Anwälte des Kantons Bern aufgrund einer langjährigen Übung auf die Rechtsverbindlichkeit einer entsprechenden, vor Erlass des Scheidungsurteils erteilten Verzichtserklärung vertrauten. Nach dem Grundsatz error iuris nocet schützt die subjektive Unkenntnis des Rechts oder ein Vertrauen auf die Rechtsgültigkeit nicht vor den entsprechenden Rechtsfolgen. Die Missachtung klaren Bundesrechts lässt sich mit dem Hinweis auf eine abweichende kantonale Übung nicht rechtfertigen (Fellmann, Berner Kommentar, N. 359 f. zu <ref-law>, m.w.H.). Für die Frage einer Sorgfaltspflichtverletzung ist hingegen unerheblich, dass der Beklagte eine Rente von monatlich Fr. 400.-- während acht Jahren in der Ehescheidungskonvention an Stelle der gemäss "Berner Praxis" üblichen einmaligen Fr. 1'000.-- oder der symbolischen Fr. 100.-- monatlich während eines Jahres festsetzte. Dieses Vorgehen entgegen der "Berner Praxis" hat lediglich Auswirkungen auf die Schadenshöhe.
e) Gemäss den verbindlichen Feststellungen des Appellationshofs sicherte der Beklagte dem Kläger zu, er werde die Rente nicht bezahlen müssen. Insoweit erübrigt sich zu prüfen, ob der Beklagte sich seiner Verantwortung durch hinreichende Aufklärung des Klägers über die rechtliche Ungültigkeit der Verzichtserklärung hätte entziehen und damit das entsprechende Risiko auf ihn übertragen können. Der Beklagte hat jedenfalls mangels Aufklärung seine anwaltlichen Sorgfaltspflichten verletzt.
4.- a) Der Beklagte bringt zu seiner Entlastung sinngemäss vor, der Kläger habe durch die Weigerung, eine Rückforderungsklage anhängig zu machen, seine Obliegenheit zur Schadensverhinderung verletzt.
b) Nach den tatsächlichen Feststellungen des Appellationshofs hatte der Beklagte dem Kläger eine staatsrechtliche Beschwerde oder mit "besseren Chancen" eine Rückforderungsklage im Sinne von <ref-law> vorgeschlagen. Der Beklagte war jedoch nicht bereit, für die gesamten Kostenfolgen eines weiteren Verfahrens aufzukommen, wie der Kläger dies forderte. Er bot ihm aber an, die staatsrechtliche Beschwerde auf seine Kosten zu verfassen, wenn der Kläger die Gerichtskosten übernehme. Mit Schreiben vom 7. August 1995 hatte der Beklagte ohne entsprechenden Auftrag bereits den Anwalt der geschiedenen Frau des Klägers angefragt, ob er im Hinblick auf die Rückforderungsklage auf einen Aussöhnungsversuch verzichte. In der Folge wurden in dieser Angelegenheit jedoch keine weiteren rechtlichen Schritte unternommen.
c) Mangels Rechtserheblichkeit kann hier offen bleiben, ob die Weigerung des Klägers, auf seine Kosten einen weiteren Prozess zu führen, eine Verletzung seiner Schadensminderungsobliegenheit darstellt. Denn einer staatsrechtlichen Beschwerde gegen den Rechtsöffnungsentscheid wäre mit Sicherheit, einer Rückforderungsklage mit an Sicherheit grenzender Wahrscheinlichkeit kein Erfolg beschieden gewesen. Angesichts der offensichtlichen Ungültigkeit der Verzichtserklärung hätte der Kläger sich in einer Rückforderungsklage einzig auf <ref-law> berufen und geltend machen können, die Ehefrau handle widersprüchlich oder sie habe in Folge langen Zuwartens die Rentenansprüche verwirkt.
aa) Die Annahme eines widersprüchlichen Verhaltens im Zeitpunkt der Verzichtserklärung stünde jedoch der völligen Ungültigkeit derselben mangels richterlicher Genehmigung diametral entgegen und liefe auf eine sachlich nicht gerechtfertigte Abschwächung der Rechtsfolgen von Art. 158 Ziff. 5 aZGB hinaus, wonach diejenige Scheidungspartei geschützt werden soll, die in Folge der noch bestehenden Ehe und der besonderen Situation im Scheidungsprozess zu unbilligen Zugeständnissen gezwungen werden kann (vgl. <ref-ruling> E. 3b; <ref-ruling> S. 13; <ref-ruling> E. 2; Bühler/Spühler, Berner Kommentar, N. 158 zu Art. 158 aZGB). An eine missbräuchliche Rechtsausübung zufolge eines venire contra factum proprium wäre höchstens zu denken, wenn die Ehefrau den Kläger im Zeitpunkt der Verzichtserklärung in Kenntnis der Ungültigkeit des Verzichts über ihren wahren Willen absichtlich getäuscht hätte, und der Kläger die rechtliche Unwirksamkeit des Verzichts weder kannte noch hätte kennen müssen (vgl. Merz, Berner Kommentar, N. 561 zu <ref-law>).
Da aber gerade der Kläger anwaltlich verbeiständet war, kann von einem rechtsmissbräuchlichen Verhalten auch in diesem Fall nicht die Rede sein.
bb) Von missbräuchlicher Geltendmachung von Forderungsansprüchen wegen Verwirkung kann innerhalb der gesetzlichen Verjährungsfristen im Allgemeinen nur die Rede sein, wenn weitere, ganz besondere Umstände hinzutreten, die das Zuwarten als Verstoss gegen Treu und Glauben erscheinen lassen (vgl. <ref-ruling> E. 2; <ref-ruling> E. 6b-c). Derartige Umstände sind vorliegend nicht ersichtlich. Dem Gläubiger steht frei, in welchem Zeitpunkt innerhalb der Verjährungsfristen er seinen Anspruch geltend machen will, und es geht nicht an, die gesetzlichen Verjährungsfristen auf dem Umweg über <ref-law> zu verkürzen (<ref-ruling> E. 2; <ref-ruling> E. 6b und c; so auch: Merz, Berner Kommentar, N. 513 zu <ref-law>). Das muss erst recht gelten, wenn es sich um eine relativ kurze - wie in casu fünfjährige - Verjährungsfrist handelt. Das Bundesgericht hat einen Untergang von Rechten wegen langen Zuwartens stets mit grosser Zurückhaltung und nur in Fällen angenommen, in denen die Rechtsausübung mit der früheren Untätigkeit in unvereinbarem Widerspruch stand. Dabei handelt es sich vorwiegend um Abwehr- und Unterlassungsansprüche im Bereich des Persönlichkeits-, Wettbewerbs- und Immaterialgüterrechts, für die gerade keine gesetzlichen Verjährungs- oder Verwirkungsfristen vorgesehen sind, und bei denen der Berechtigte eine Rechtsverletzung während langer Zeit widerspruchslos hingenommen hat (vgl.
BGE 117 II 575 E. 4 f.; <ref-ruling> E. 6c; <ref-ruling> E. 9; 79 II 305 E. 2a; ausführlich dazu: Merz, Berner Kommentar, N. 515 bis N. 539 zu <ref-law>).
d) Der Kläger hat daher seine Obliegenheit zur Schadensverhinderung nicht verletzt, so dass sich der Beklagte nicht entlasten kann.
5.- a) Zu den weiteren Voraussetzungen eines Schadenersatzanspruchs gegenüber dem beauftragten Anwalt gehören gemäss Art. 398 Abs. 2 i.V. mit <ref-law> der Nachweis eines Schadens sowie der objektiven Zurechnung. Dem Kläger obliegt somit der Beweis des Kausalzusammenhangs zwischen dem haftungsbegründenden Ereignis - der Sorgfaltspflichtsverletzung - und dem geltend gemachten Schaden. Dabei ist zu fragen, wie die Dinge ihren Lauf genommen und wie insbesondere das Vermögen des Mandanten sich entwickelt hätten, wenn der Anwalt die Pflichtverletzung nicht begangen hätte.
Demgegenüber obliegt dem Beklagten ein allfälliger Exkulpationsbeweis.
b) Das angefochtene Urteil enthält zur Frage des Schadens und der objektiven Zurechnung keine Angaben. Die Streitsache ist daher zur weiteren Abklärung des Sachverhalts an die Vorinstanz zurückweisen. Dabei wird der Appellationshof - sofern entsprechende Behauptungen und Beweisanträge prozesskonform aufgestellt worden sind - die Frage klären müssen, ob die Ehe des Klägers auch mit einem geringeren oder überhaupt keinem Unterhaltsbeitrag auf dem Weg der Konventionalscheidung hätte geschieden werden können, weil die geschiedene Frau des Klägers beispielsweise ohnehin über genügend Mittel oder eine anderweitige Abfindung verfügte, oder ob das Gericht die Scheidungskonvention bei Vereinbarung einer weit tieferen Unterhaltsrente nicht genehmigt hätte, wie der Beklagte in der Berufungsantwort erneut vorbringt. Nach den verbindlichen tatsächlichen Feststellungen des Appellationshofs hatten sich der Kläger und seine Ehefrau bereits anlässlich einer persönlichen Besprechung am 8. September 1986 auf die Vereinbarung einer der Höhe nach noch unbestimmten "Pro-Forma-Rente" mit entsprechendem Verzicht geeinigt. Der Beklagte hätte daher zu beweisen, dass das Gericht die Scheidungskonvention ohne oder mit nur geringer Rente nicht genehmigt hätte, so dass der Kläger das (teilweise) verwirklichte Risiko der Rentenzahlung ohnehin zu tragen hatte, weil eine für ihn günstigere Alternative zur getroffenen Lösung nicht möglich gewesen wäre. In diesem Fall hätte der Kläger keinen Schaden erlitten.
6.- Nach dem Gesagten erweist sich die Berufung teilweise als begründet. Die Streitsache ist zur weiteren Abklärung des Sachverhalts im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Dem Ausgang des Verfahrens entsprechend hat der Beklagte die Gerichtskosten zu tragen und den Kläger zu entschädigen.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird teilweise gutgeheissen, das Urteil des Appellationshofs des Kantons Bern (II. Zivilkammer) vom 7. September 2000 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.-Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beklagten auferlegt.
3.- Der Beklagte hat den Kläger für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien und dem Appellationshof des Kantons Bern (II. Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 28. Juni 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: