Sachverhalt:
A. A.a Im Jahre 1994 wurde die Kollektivgesellschaft X._ mit Sitz in T._ gegründet, bestehend aus den beiden Gesellschaftern H._ und R._. Am 12. Mai 2003 wurde die Gesellschaft infolge Austritts von H._ aufgelöst und im Mai 2003 im Handelsregister gelöscht. R._ führte das Geschäft unter der Einzelfirma S._ weiter. Am 8. Dezember 2005 wurde über diese Firma der Konkurs eröffnet und am 27. Januar 2006 mangels Aktiven eingestellt.
A.b Mit Verfügung vom 15. August 2007 und Einspracheentscheid vom 12. März 2008 forderte die Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) von H._ Schadenersatz für nicht bezahlte Sozialversicherungsbeiträge der Jahre 1998 bis 2003 (einschliesslich Verzugszinsen und Kosten) in der Höhe von Fr. 85'919.85.
B. Das Verwaltungsgericht des Kantons Bern wies die von H._ dagegen eingereichte Beschwerde mit Entscheid vom 12. Januar 2010 ab.
C. H._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass er nicht schadenersatzpflichtig sei.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) hat keine Vernehmlassung eingereicht.
Mit Verfügung des Instruktionsrichters vom 16. April 2010 wurde der Beschwerde aufschiebende Wirkung zuerkannt.

Erwägungen:
1. Fügt ein Arbeitgeber durch absichtliche oder grobfahrlässige Missachtung von Vorschriften der Versicherung einen Schaden zu, so hat er diesen zu ersetzen (<ref-law>). Die zuständige Ausgleichskasse macht den Schadenersatzanspruch durch Verfügung geltend (<ref-law>). Der Anspruch verjährt zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, jedenfalls fünf Jahre nach Eintritt des Schadens (<ref-law>). Der Schaden, der auf dem Wege von <ref-law> geltend gemacht wird, besteht darin, dass die geschuldeten Beiträge aus rechtlichen oder tatsächlichen Gründen nicht mehr erhoben werden können, sei es dass die Beitragsforderung verwirkt ist (<ref-law>), sei es weil der Arbeitgeber zahlungsunfähig geworden ist (<ref-ruling> E. 3.2 S. 263 f., 123 V 12 E. 5b S. 15, 113 V 256 E. 3c in fine S. 257 f., 112 V 156 E. 2 S. 157; Marco Reichmuth, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, S. 13).
2. 2.1 Der von der Beschwerdegegnerin geltend gemachte Schaden liegt darin, dass die Kollektivgesellschaft X._ die paritätischen Beiträge (Art. 5 und 12-14 AHVG) für die Jahre 1998 bis 2003 unvollständig bezahlt hat. Diese Beiträge wurden aufgrund einer Arbeitgeberschlusskontrolle und Nachkontrolle mit Verfügungen vom 28. November 2003 (vorsorglich zur Verjährungsunterbrechung) und 24. September 2004 veranlagt und blieben unbezahlt. Die Verfügungen ergingen an "X._, p.A. R._ in T._" bzw. an "X._, p.A. S._, R._ in T._". Der Beschwerdeführer macht geltend, diese Veranlagungsverfügungen seien ihm gegenüber nichtig, da er in dieses Verfahren nicht einbezogen worden sei; zudem sei die Forderung gemäss Art. 181 Abs. 2 i.V.m. <ref-law> verjährt.
2.2 Die Schadenersatzforderung ist von der Beitragsforderung zu unterscheiden (<ref-ruling> E. 3a und b S. 171 f., 121 III 382 E. 3c S. 385; SVR 2006 AHV Nr. 9 S. 35, H 162/01 E. 5.2.2; Urteil 9C_720/2008 vom 7. Dezember 2009 E. 5.5.1; Ueli Kieser, Alters- und Hinterlassenenversicherung, in: Soziale Sicherheit, SBVR Bd. XIV, 2. Aufl. 2007, S. 1292; Thomas Nussbaumer, Das Schadenersatzverfahren nach <ref-law>, in: Aktuelle Fragen aus dem Beitragsrecht der AHV, 1998, S. 97 ff., 101; Reichmuth, a.a.O., S. 33). Erstere entsteht erst, wenn Letztere nicht mehr erhoben werden kann (E. 1).
2.3 Nach der Rechtsprechung fällt die Kollektivgesellschaft mit ihrer Auflösung gegenüber der Ausgleichskasse als beitragsabrechnungs- und beitragsablieferungspflichtige Arbeitgeberin im Sinne von <ref-law> aus (<ref-ruling> E. 5c S. 397 f.). Das ändert aber nichts daran, dass die einzelnen Beitragsforderungen in analoger Anwendung der privatrechtlichen Regelungen auf eine allenfalls übernehmende Arbeitgeberin übergehen, diese somit für die von der Rechtsvorgängerin geschuldeten Beiträge einzustehen hat (<ref-ruling> E. 6b S. 399). Wird eine Kollektivgesellschaft aufgelöst und führt einer der bisherigen Gesellschafter das Unternehmen weiter, so sind dafür nach der hier massgebenden, vor dem Inkrafttreten des Bundesgesetzes vom 3. Oktober 2003 über Fusion, Spaltung, Umwandlung und Vermögensübertragung (FusG; SR 221.301) geltenden zivilrechtlichen Rechtslage zwei Formen möglich:
2.3.1 Der Übernehmende kann nach <ref-law> das Geschäft als Einzelfirma weiterführen; das Gesellschaftsvermögen geht in sein Alleinvermögen über und er haftet primär und persönlich für die Gesellschaftsschulden. Der Ausgeschiedene kann nur unter den Voraussetzungen von <ref-law> persönlich belangt werden; der Konkurs des ehemaligen Gesellschafters und nunmehrigen Einzelunternehmers wird dem Konkurs der Gesellschaft im Sinne von <ref-law> gleichgestellt (<ref-ruling> E. 2c und d S. 460 f.; Urteil 4A_591/2009 vom 18. März 2010 E. 4.1; 4A_67/2007 vom 15. Juni 2007 E. 2.1; Daniel Staehelin, Basler Kommentar, 3. Aufl. 2008, N. 2 zu <ref-law>; Handschin/Chou, Zürcher Kommentar, 2009, N. 21 ff. zu <ref-law>; Reto Vonzun, Rechtsnatur und Haftung der Personengesellschaften, Basel 2000, S. 259). Die Forderungen von Gesellschaftsgläubigern gegen den ausgeschiedenen Gesellschafter verjähren gemäss <ref-law> (Handschin/Chou, a.a.O., N. 34 zu Art. 591-593 OR mit weiteren Hinweisen).
2.3.2 Es können aber auch die Aktiven und Passiven nach <ref-law> auf den übernehmenden Gesellschafter übertragen werden (Handschin/Chou, a.a.O., N. 30 ff. zu <ref-law>). In Bezug auf die Aktiven hat das keine Universalsukzession zur Folge (Rudolf Tschäni, Basler Kommentar, 4. Aufl. 2007, N. 1 zu <ref-law>). Für die Passiven haftet der Übernehmende, sobald die Übernahme mitgeteilt oder in öffentlichen Blättern ausgekündigt worden ist; der ausgeschiedene Gesellschafter haftet noch solidarisch während zweier bzw. dreier Jahre (<ref-law> in der bis Ende Juni 2004 und in der ab 1. Juli 2004 geltenden Fassung; <ref-law>; Handschin/Chou, a.a.O., N. 31 zu Art. 591-593 OR).
2.4 In casu sind die Gesellschafter in der Vereinbarung zur Auflösung der Kollektivgesellschaft übereingekommen, dass R._ das Unternehmen nach <ref-law> als Einzelfirma weiterführt. In einem weiteren Abschnitt wurde vermerkt: "Die solidarische Haftbarkeit von H._ für bestehende Schulden besteht gegenüber Dritten nur noch während zwei Jahren (<ref-law>)". Scheint somit zwischen den Gesellschaftern eine gewisse Unklarheit bestanden zu haben, ob die Weiterführung des Geschäfts nach <ref-law> oder nach <ref-law> erfolgt, so entstand jedenfalls Klarheit durch den Eintrag im Handelsregister, welcher gegenüber gutgläubigen Dritten massgeblich ist (<ref-law>); dort wurde vermerkt, die Gesellschaft habe sich infolge Ausscheidens des Gesellschafters H._ aufgelöst; der Gesellschafter R._ führe das Geschäft gemäss <ref-law> als Einzelfirma fort. Demzufolge hatte primär der Einzelunternehmer R._ für die zuvor von der Kollektivgesellschaft geschuldeten Beitragsforderungen einzustehen (E. 2.3.1).
2.5 Bei dieser Sachlage hat die Beschwerdegegnerin die Nachtragsverfügungen vom 28. November 2003 und 24. September 2004 zutreffenderweise dem ehemaligen Partner, R._, eröffnet. Eine Zustellung an den Beschwerdeführer war, entgegen der von ihm vertretenen Auffassung, nicht erforderlich, da er für die Beitragsforderung nicht belangt werden konnte, solange R._ nicht in Konkurs gefallen war (E. 2.3.1). Die Beschwerdegegnerin war auch nicht verpflichtet, den Beschwerdeführer zu diesem Nachtragsverfahren beizuladen. Dessen Stellung im Schadenersatzverfahren wird dadurch nicht beeinträchtigt. Denn gerade weil er im Beitragsbezugsverfahren nicht beteiligt ist, kann er im nachfolgenden Schadenersatzverfahren die Begründetheit der Beitragsforderung uneingeschränkt überprüfen lassen (<ref-ruling>). Aus diesem Grunde ist unerheblich, ob der Beschwerdeführer dafür hätte sorgen sollen, dass ihn die Nachfolgefirma orientiert, wie die Vorinstanz annimmt und was der Beschwerdeführer bestreitet.
2.6 Auch in Bezug auf die Verjährung ist die Beitragsforderung von der Schadenersatzforderung zu unterscheiden. Die zwei- bzw. dreijährige Verjährungsfrist von <ref-law> (in Verbindung mit <ref-law>), auf welche sich der Beschwerdeführer beruft, gilt für Verbindlichkeiten der Gesellschaft, für welche der ausgeschiedene Gesellschafter haftet, in casu also allenfalls für die Beitragsforderung, soweit <ref-law> überhaupt anwendbar wäre (vorne E. 2.3.2 und 2.4 sowie hinten E. 4.3). Die Schadenersatzforderung nach <ref-law> ist demgegenüber eine eigenständige Forderung, die sich direkt gegen den Arbeitgeber persönlich (in casu den Beschwerdeführer als ehemaligen Gesellschafter) richtet und auch in Bezug auf die Verjährung ein eigenes, von der Beitragsforderung verschiedenes Schicksal hat (<ref-law>). Sie entsteht erst mit dem Eintritt des Schadens zufolge Verwirkung der Beiträge (<ref-law>) oder Zahlungsunfähigkeit des Arbeitgebers (<ref-ruling> E. 3.2 S. 264, 129 V 193 E. 2.2 S. 195, 123 V 12 E. 5c S. 16; SVR 2006 AHV Nr. 9 S. 35, H 162/01 E. 5.2.2; Reichmuth, a.a.O., S. 82 Rz. 336). In diesem Zeitpunkt beginnt die absolute fünfjährige Verjährungsfrist gemäss <ref-law> zu laufen, das heisst im Falle der Verwirkung der Beitragsforderung mit deren Eintritt und im Falle der Uneinbringlichkeit, sobald die Beiträge wegen der Zahlungsunfähigkeit des Arbeitgebers nicht mehr im ordentlichen Verfahren nach <ref-law> erhoben werden können, in der Regel mit der Ausstellung eines Pfändungsverlustscheins oder mit der Konkurseröffnung über den Arbeitgeber (<ref-ruling> E. 3.2 S. 264, 129 V 193 E. 2.2 S. 195, 123 V 12 E. 5b und c S. 15 f., 168 E. 2a S. 170, 113 V 256 E. 3c S. 257 f.; Reichmuth, a.a.O., S. 86 ff. Rz. 352 und 357). In casu wurde mit den Nachtragsverfügungen vom 28. November 2003 und 24. September 2004 gegenüber R._ die Verwirkungsfrist von <ref-law> gewahrt. In Frage steht somit nicht die Leistung von Schadenersatz wegen Verwirkung, sondern wegen Uneinbringlichkeit der Beitragsforderung; insoweit entstand die Schadenersatzforderung erst mit der Konkurseröffnung über R._ im Dezember 2005. Erst zu diesem Zeitpunkt begann die fünfjährige Verjährungsfrist, die mit der Schadenersatzverfügung vom 15. August 2007 bei weitem gewahrt ist. Es trifft zu, dass damit im Ergebnis der ausgeschiedene Gesellschafter unter Umständen während eines bedeutend längeren Zeitraums als der Verjährungsfrist gemäss Art. 591 oder 592 OR zur Rechenschaft gezogen werden kann. Das ergibt sich aber aus der gesetzlichen Regelung, welche den Schadenersatzanspruch nach <ref-law> als persönlichen öffentlichrechtlichen Anspruch gegen den (ehemaligen) Arbeitgeber konstituiert und von den Schulden der Gesellschaft (wozu auch die Beitragsforderung nach <ref-law> zählt) unterscheidet. Es steht dem Bundesgesetzgeber frei, im öffentlichen Recht Regelungen zu treffen, welche von den zivilrechtlichen Bestimmungen (unter anderem betreffend Verjährung) abweichen.
3. Sind somit die Rügen des Beschwerdeführers hinsichtlich Eröffnung der Nachtragsverfügung und Verjährung unbegründet, so ist die vorinstanzliche Betrachtung in anderer Hinsicht zu beanstanden: Die Haftung nach <ref-law> ist keine Kausalhaftung, sondern setzt ein grobfahrlässiges Verhalten voraus. Unter diesem Titel hat die Vorinstanz dem Beschwerdeführer angelastet, er habe es pflichtwidrig unterlassen, für die Bezahlung der Sozialversicherungsbeiträge zu sorgen. Eine derartige Unterlassung kann dem Beschwerdeführer indessen nur vorgeworfen werden in Bezug auf den Betrag, der bis zum Zeitpunkt seines Ausscheidens aus der Gesellschaft hätte bezahlt werden müssen. Nach den Feststellungen der Vorinstanz betrug der Saldo per 2. April 2003 - rund eineinhalb Monate vor dem Austritt des Beschwerdeführers aus der Gesellschaft (12. Mai 2003) - Fr. 8'213.30 zu Gunsten der Ausgleichskasse. Dass der in Rechnung gestellte Schadensbetrag schliesslich viel höher war (Fr. 85'919.85) ist darauf zurückzuführen, dass nach dem Ausscheiden des Beschwerdeführers mit Nachtragsverfügungen vom 28. November 2003 und 24. September 2004 erhebliche Nachforderungen in Rechnung gestellt wurden. In Bezug auf diesen, den Betrag von Fr. 8'213.30 übersteigenden Schaden kann das dem Beschwerdeführer vorwerfbare Verhalten nicht darin liegen, dass die nachträglich gestellten Rechnungen nicht bezahlt wurden, hatte er doch darauf keinen Einfluss mehr. Ein ihm vorwerfbares grobfahrlässiges Verhalten könnte mithin nur darin bestehen, dass die Gesellschaft unzutreffende Lohnmeldungen erstellt hat (vgl. etwa in <ref-ruling>, nicht jedoch in SVR 1999 AHV Nr. 13 S. 37 publ. E. 2 des Urteils H 303/97; ZAK 1992 S. 246). Darüber enthält der angefochtene Entscheid aber keine Feststellungen. Zu tiefe Lohnmeldungen werden zwar oft auf grobfahrlässiges Verhalten der Organe zurückzuführen sein, doch ist das nicht zwingend: Der Beschwerdeführer hat bereits in seiner Einsprache geltend gemacht, es seien verschiedene Geschäftsbereiche unterschieden worden und er sei in der Y._ GmbH tätig gewesen und habe dort Sozialversicherungsbeiträge abgerechnet. Aus den Akten geht sodann hervor, dass R._ gegen die Nachzahlungsverfügung vom 24. September 2004 Einsprache erhoben hatte, unter anderem mit der Argumentation, die betreffenden Arbeitnehmer hätten teilweise nicht für die Kollektivgesellschaft X._ gearbeitet. Wenn in guten Treuen in Bezug auf bestimmte Personen über die Abrechnungspflicht unterschiedliche Meinungen vertreten werden können, stellt die Unterlassung der Deklaration noch keine Grobfahrlässigkeit dar, selbst wenn sich nachträglich in einem Rechtsmittelverfahren ergibt, dass eine Abrechnungspflicht bestanden hat (SVR 2007 AHV Nr. 9 S. 25, H 8/07 E. 7.1; 2005 AHV Nr. 18 S. 59, H 86/02 E. 5.5.1; Urteil H 390/00 vom 13. Juni 2001 E. 6b). Mangels entsprechender Feststellungen im angefochtenen Entscheid und Angaben in den Akten lässt sich nicht ausschliessen, dass dem Beschwerdeführer als verantwortlichem Organ in diesem Zusammenhang kein Verschulden oder lediglich eine einfache Fahrlässigkeit zur Last gelegt werden kann (vgl. Urteil H 197/04 vom 19. Oktober 2005 E. 4.3). Die Sache geht daher an das kantonale Gericht zurück, damit es den Sachverhalt hinsichtlich der Verantwortlichkeit für die Unterlassung der Lohndeklarationen näher abkläre.
4. In Bezug auf die von der Vorinstanz zu treffenden Abklärungen ist vorab die von Amtes wegen zu prüfende Rechtsfrage (<ref-law>) zu entscheiden, ob der Beschwerdeführer nicht zunächst für die Beitragsschulden der Gesellschaft haftet, bevor sich die Frage nach der Schadenersatzpflicht stellt.
4.1 Die Kollektivgesellschafter haften subsidiär zum Gesellschaftsvermögen (<ref-law>) persönlich für alle Verbindlichkeiten der Gesellschaft solidarisch (<ref-law>; <ref-ruling> E. 5.1 S. 648). Führt wie hier einer der bisherigen Gesellschafter das Unternehmen gemäss <ref-law> als Einzelfirma weiter, so haftet der ausgeschiedene Gesellschafter unter den Voraussetzungen von <ref-law> für die Schulden der Gesellschaft (vorne E. 2.3.1). Diese persönliche Haftung gilt auch für öffentlichrechtliche Verbindlichkeiten (Urteil 2A.95/1999 vom 14. Juni 1999 E. 3c; Handschin/Chou, a.a.O., N. 43 zu Art. 568-569 OR; Wilhelm Hartmann, Berner Kommentar, 1943, N. 7 zu <ref-law>; Pestalozzi/Hettich, Basler Kommentar, 3. Aufl. 2008, N. 4 zu <ref-law>; Werner von Steiger, Handelsrecht, Schweizerisches Privatrecht, Bd. VIII, 1976, S. 536; Stefan Plattner, Die Haftung des Kollektivgesellschafters, 2003, S. 64), namentlich auch für Beitragsforderungen der AHV (MARLIES KNUS, Die Schadenersatzpflicht des Arbeitgebers in der AHV, Diss. Zürich 1989, S. 33 und 64 f.; in Bezug auf die einfache Gesellschaft auch ZAK 1981 S. 377, H 139/79 E. 4).
4.2 In <ref-ruling> E. 7 S. 400 f. wurde allerdings ausgeführt, die Gesellschafter einer aufgelösten Kollektivgesellschaft seien nicht - auch nicht subsidiär - beitragspflichtig (ebenso unter Hinweis auf diesen Entscheid Reichmuth, a.a.O., S. 85 Rz. 350). Diese Aussage wird jedoch nicht begründet. Sie steht in Widerspruch zu Gesetz und Lehre sowie Gerichtspraxis in den anderen Gebieten des öffentlichen Rechts. Ebenso wenig kann sie als eine feststehende Gerichtspraxis bezeichnet werden, wurde sie doch, soweit ersichtlich, nie explizit wiederholt, sondern nur implizit vorausgesetzt in den Urteilen H 376/01 vom 11. Oktober 2005 (E. 3.2) und H 137/94 vom 17. Februar 1995. Es leuchtet auch in der Sache nicht ein, weshalb der Kollektivgesellschafter in Bezug auf AHV-Beiträge anders zu behandeln sein soll als in Bezug auf alle anderen Gesellschaftsschulden. In Änderung von <ref-ruling> E. 7 S. 400 f. ist somit davon auszugehen, dass der ausgeschiedene Gesellschafter nach Massgabe von <ref-law> für die AHV-Beitragsschulden der bisherigen Kollektivgesellschaft haftet.
4.3 In casu haftet also der Beschwerdeführer für die Beitragsschulden der aufgelösten Kollektivgesellschaft, wobei diese Haftung nur unter der Voraussetzung von <ref-law> geltend gemacht werden konnte, d.h. erst nachdem R._ im Dezember 2005 in Konkurs gefallen war. Entgegen der in der Beschwerde vertretenen Auffassung richtet sich die Verjährung nicht nach Art. 592 Abs. 2 in Verbindung mit <ref-law>, sondern nach <ref-law>, da R._ - wie vorne in E. 2.4 dargelegt - die Gesellschaftstätigkeit nicht nach Massgabe von <ref-law>, sondern nach <ref-law> weitergeführt hat. Demnach verjährte die subsidiäre persönliche Haftung des Beschwerdeführers für die Beiträge fünf Jahre nach der Veröffentlichung des Ausscheidens im Handelsamtsblatt, sofern nicht wegen der Natur der Forderung eine kürzere Verjährungsfrist gilt. Da die fünfjährige Frist mit dem Ausscheiden beginnt, der Ausgeschiedene aber vor der Konkurseröffnung der Nachfolgefirma nicht belangbar ist, kann die Forderung unter Umständen verjährt sein, bevor sie gegenüber dem ausgeschiedenen Gesellschafter überhaupt geltend gemacht werden konnte (Staehelin, a.a.O., N. 4 f. zu <ref-law>; Handschin/Chou, a.a.O., N. 12 zu Art. 591-593 OR).
4.4 Nach <ref-law> erlischt die Beitragsforderung für die Beiträge der Jahre 1998 bis 2003 jeweils Ende der Jahre 2003 bis 2008. Die an R._ eröffneten Nachtragsverfügungen vom 28. November 2003 und 24. September 2004 konnten in Bezug auf die Forderung gegenüber dem Beschwerdeführer keine fristwahrende Wirkung haben. Frühestens die Verfügung vom 15. August 2007 konnte ihm gegenüber fristwahrend wirken. Allerdings hat die Beschwerdegegnerin mit dieser Verfügung nicht die Beiträge, sondern Schadenersatz verlangt. Es fragt sich, ob ihre Forderung in eine Beitragsforderung umgedeutet werden kann.
4.5 Der Streitgegenstand umfasst das durch die Verfügung geregelte Rechtsverhältnis, soweit dieses angefochten ist, nicht aber die rechtliche Begründung dafür (Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2. Aufl. 1998, S. 149). Demzufolge ist auch die Änderung der rechtlichen Begründung in oberer Instanz bis vor Bundesgericht möglich, ohne dass darin eine unzulässige Veränderung des Streitgegenstands oder ein unzulässiges Novum (<ref-law>) läge (vgl. Urteil 9C_115/2008 vom 23. Juli 2008 E. 6). Der Arbeitgeber schuldet der Ausgleichskasse die paritätischen Beiträge; können diese nicht mehr erhoben werden, entsteht die Schadenersatzforderung (vorne E. 1). Abgesehen von den Mahn- und Betreibungskosten ist der mit der Schadenersatzforderung geltend gemachte Geldbetrag indessen identisch mit der Beitragsforderung (Nussbaumer, a.a.O., S. 101). Im Ergebnis wirkt sich der Schadenersatzanspruch so aus, dass unter der zusätzlichen Voraussetzung der absichtlichen oder grobfahrlässigen Missachtung von Vorschriften die nicht bezahlten Beiträge unter einem anderen Rechtstitel noch einverlangt werden können. Es handelt sich damit (soweit sich die Forderung gegen den nämlichen Schuldner richtet) nicht um ein anderes Rechtsverhältnis, sondern um eine andere rechtliche Begründung der geltend gemachten Forderung. Hat somit die Ausgleichskasse Schadenersatz verlangt und zeigt sich, dass der Belangte bei richtiger Betrachtung noch Beiträge schuldet, so kann daher - auch noch in oberer Instanz - die Schadenersatzforderung in eine Beitragsforderung umgedeutet werden.
4.6 Mit der Verfügung vom 15. August 2007 konnten vom Beschwerdeführer als subsidiär haftendem Kollektivgesellschafter (vorne E. 4.3) die Beiträge für die Jahre 2002 und 2003 (bis zu seinem Ausscheiden aus der Gesellschaft) verlangt werden (<ref-law>). Für diese Beiträge haftet der Beschwerdeführer ungeachtet eines Verschuldens (<ref-law>), da auch die am 20. Mai 2003 beginnende fünfjährige Frist gemäss <ref-law> eingehalten ist. Die ausstehenden Beitragsforderungen für die Jahre 1998 bis 2001 sind demgegenüber erloschen. Der Beschwerdeführer haftet dafür nur unter dem Titel Schadenersatz, mit anderen Worten nur soweit ihm ein Verschulden gemäss <ref-law> vorgeworfen werden kann. Wie es sich damit verhält, wird die Vorinstanz abzuklären haben (E. 3). Des Weitern wird sie auch zu prüfen haben, welcher Anteil der ausstehenden Beiträge auf die Jahre 1998 bis 2001 und welcher auf die Jahre 2002 bis 2003 entfällt.
5. Der Beschwerdeführer obsiegt teilweise, denn er haftet nur für einen (von der Vorinstanz betraglich noch genau zu ermittelnden) Teil der ausstehenden Beiträge. Entsprechend diesem Prozessausgang sind die Gerichtskosten je zur Hälfte dem Beschwerdeführer und der Beschwerdegegnerin aufzuerlegen (<ref-law>). Des Weitern steht dem Beschwerdeführer eine reduzierte Parteientschädigung zu (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern vom 12. Januar 2010 und der Einspracheentscheid der Ausgleichskasse des Kantons Bern vom 12. März 2008 werden aufgehoben. Die Sache wird an das Verwaltungsgericht des Kantons Bern zurückgewiesen, damit es den vom Beschwerdeführer geschuldeten Betrag im Sinne der Erwägungen neu festsetze. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 4500.- werden dem Beschwerdeführer Fr. 2250.- und der Beschwerdegegnerin Fr. 2250.- auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann