Sachverhalt:
A. A.a A._ (Kläger) war während dreissig Jahren Kunde bei der Berner Zweigniederlassung der heutigen Bank X._ (Beklagte). Er unterhielt bei der Beklagten unter anderem ein Depot, das per 31. Dezember 2000 einen Gesamtwert von Fr. 2'106'726.-- aufwies. Im Rahmen seiner Anlagestrategie schloss er mit der Beklagten Lombardkreditverträge ab, wovon der erste vom 25. November 2000 datiert und über Fr. 1,2 Mio. lautet. Dieser wurde durch den Lombardkreditvertrag vom 19. August 2001 über Fr. 1,5 Mio. abgelöst. Dem Kläger standen jeweils feste Vorschüsse zur Verfügung; für Überzüge verwendete er sein Kontokorrent-Konto, während das Depot gemäss Faustpfandverschreibung vom 25. November 2000 als Sicherheit für den Kredit diente. Vom 9. August 1996 datieren zudem die vom Kläger unterzeichneten Bedingungen für die Vermittlung von Optionskontrakten.
Der Kläger ist Berufsmaturalehrer für Recht und Wirtschaft und als solcher ein Anleger mit Sachkenntnis. Einen Vermögensverwaltungsauftrag hat er nicht unterzeichnet. Er pflegte im Rahmen seiner Anlagestrategie auch derivative Instrumente (Short-Puts oder Calls) einzusetzen, wobei er seine Anlageentscheide stets selber traf, nachdem er sich jeweils ausführlich durch den zuständigen Anlageberater der Bank informieren liess.
A.b Am 11. September 2001 hatte die Beklagte den Kläger darauf angesprochen, dass sein Depot nicht mehr durch die von ihm verpfändeten Wertschriften gedeckt sei, ohne dabei genaue Zahlen zu nennen. Am 13. September 2001 fand eine Besprechung des Klägers mit seinem Anlageberater bei der Beklagten, B._, statt. Dabei ging es unter anderem darum, den dem Kläger bekannten Minussaldo auf seinem Kontokorrent zu bereinigen. Wie am 11. September 2001 bereits vereinbart, brachte der Kläger zur Besprechung einen Teil seiner Lebensversicherungen mit. Am 13. und 17. September 2001 verpfändete er diese an die Beklagte. Beide Parteien gingen davon aus, dass die Unterdeckung damit bereinigt sei. Weiter versuchte der Kläger, mittels auf den 14. September 2001 terminierter Verkäufe von Wertschriften, den Minussaldo auf dem Kontokorrent zu reduzieren. Da er gleichzeitig die Möglichkeit wahren wollte, an einem allfälligen Wiederaufschwung der Börsenkurse zu partizipieren, kaufte der Kläger am 14. September 2001 auf Hinweis von B._ 10 Futures auf den Swiss Market Index. Gleichentags verkaufte er 1000 Nestlé-Aktien, wodurch sich die Short-Position Nestlé Calls im Depot jedoch plötzlich als ungedeckt erwies. Beide Transaktionen lösten ein zusätzliches Deckungserfordernis aus.
Am 20. September 2001 teilte die Beklagte dem Kläger telefonisch mit, der Belehnungswert der Lebensversicherungen betrage nur rund Fr. 200'000.--, ohne den genauen Betrag der Unterdeckung zu benennen. Am 21. September 2001 fand eine weitere Besprechung zwischen dem Kläger und B._ statt. Der Kläger ging zu jenem Zeitpunkt davon aus, dass das Ziel der Besprechung sei, die im Hinblick auf seine Ferien nötigen Dispositionen zu tätigen. Demgegenüber beabsichtigte die Beklagte, die unter anderem aufgrund fallender Kurse eingetretene Unterdeckung von Fr. 373'000.-- mittels Verkäufen von Aktien bzw. Glattstellung von Short-Put-Positionen zu beheben und das Depot so zu positionieren, dass während der Ferien des Klägers keine weiteren Transaktionen notwendig sein würden. Anlässlich der Besprechung hat die Beklagte den Kläger auf das Deckungsproblem hingewiesen und ihm die Lösungsvarianten "light" und "heavy" vorgestellt. Nach Aussage von B._ musste dem Hauptsitz der Beklagten bis am Mittag mitgeteilt werden, was man zu unternehmen gedenke, andernfalls die Positionen glattgestellt würden. Noch am selben Tag wurden schliesslich Wertschriften im Umfang von ca. Fr. 600'000.-- verkauft und Short-Put-Positionen glattgestellt. Beim 21. September 2001 handelte es sich um einen sog. freaky friday oder triple witching day (dreifacher Hexensabbat). An solchen Tagen verfallen an den Terminbörsen gleichzeitig Optionen auf Aktien sowie Optionen und Futures auf Indizes, was zu starker Volatilität der Kurse führt.
Am 24. September 2001 teilte der Stellvertreter von B._ dem Kläger telefonisch mit, es sei noch eine weitere Unterdeckung zu bereinigen. Der Kläger schlug vor, Short-Put-Positionen in das Depot seiner Lebenspartnerin zu übertragen, was allerdings von der Beklagten als unrealisierbar eingeschätzt wurde. Somit wurden am 25. September 2001 weitere Verkäufe getätigt bzw. weitere Short-Put-Positionen eingedeckt.
Mit Schreiben vom 12. April 2002 kündigte der Kläger schliesslich die Geschäftsbeziehungen mit der Beklagten.
B. B.a Am 4. Juni 2003 erhob der Kläger gegen die Beklagte beim Handelsgericht des Kantons Bern Klage auf Bezahlung eines Fr. 30'000.-- übersteigenden Betrags nebst Zins. Mit Eingabe vom 9. Januar 2006 präzisierte er den eingeklagten Betrag mit Fr. 920'468.-- und reduzierte ihn im Schlussvortrag auf Fr. 607'739.--.
B.b Der Kläger hielt dafür, dass die Beklagte diverse Nebenpflichten, namentlich Sorgfalts-, Treue- und Aufklärungspflichten, verletzt habe, indem sie ihn nicht auf die seit Beginn des Jahres 2001 bestehende Unterdeckung hingewiesen hatte. Gemäss den Feststellungen des Handelsgerichts bestand bis zum 31. August 2001 keine bleibende Unterdeckung, die eine Schwelle von 5 % überstieg. Eine dem Kläger nicht kommunizierte Unterdeckung von über 5 % sei nur für die Periode vom 31. August 2001 bis 13. September 2001 nachgewiesen. Selbst wenn interne Richtlinien der Beklagten bestünden, wonach bei einer Unterdeckung von mehr als 5 % eine Meldung an den Kunden erfolgen müsste, könne der Kläger daraus keine Pflichtverletzung ableiten. Diese Deckungsvorschriften würden der Risikominimierung der Bank und nicht des Kunden dienen.
Die Beklagte habe allerdings die allgemeine Faustpfandverschreibung sowie die Bedingungen für die Vermittlung von Optionskontrakten verletzt, indem sie am 21. September 2001 zur Behebung der Unterdeckung Wertschriften im Umfang von ca. Fr. 600'000.-- verkauft und Short-Put-Positionen glattgestellt habe, ohne den Kläger vorher mittels eines Margin Call zur Nachdeckung aufgefordert zu haben.
Ziff. 5 der allgemeinen Faustpfandverschreibung vom 25. November 2001 lautet wie folgt:
"Die Bank ist berechtigt, den Schuldner aufzufordern, zusätzliche Deckung anzuschaffen, wenn der Wert der Pfänder sinkt oder wenn der Deckungsüberschuss ihrer Ansicht nach nicht mehr ausreichend ist. Wenn der Schuldner dieser Aufforderung nicht innerhalb der von der Bank angesetzten Frist Folge leistet oder die durch das Pfandrecht gesicherte Schuld nicht wie verlangt entsprechend abbezahlt, so werden sämtliche Forderungen der Bank gegenüber dem Schuldner von selbst fällig, und die Bank ist berechtigt, ohne weiteres und nach ihrem freien Ermessen die Faustpfänder freihändig zu verwerten (...).
Die Bank ist auch bei Fälligkeit ihrer Forderungen zur freihändigen Verwertung der Pfänder berechtigt, wenn dies dem Schuldner angedroht wurde. Die Pflicht, die Verwertung anzudrohen, entfällt im Notfall (starke Kursveränderungen usw.). (...)."
Ziff. 3.1. der Bedingungen für die Vermittlung von Optionskontrakten vom 9. August 1996 lautet zudem wie folgt:
"Erweist sich die Marge aufgrund aktueller Berechnung nach Ermessen der Bank als ungenügend, so ist der Kunde verpflichtet, der Margennachforderung der Bank sofort Folge zu leisten. Falls der Kunde der Margennachforderung nicht am darauf folgenden Arbeitstag nachkommt, ist die Bank ohne Ansetzung einer Nachfrist ermächtigt, aber nicht verpflichtet, die Position glattzustellen. Die Pflicht zur Margennachforderung entfällt im Notfall (starke Kursschwankungen etc.)."
Daraus leitete das Handelsgericht ab, dass angesichts des langjährigen Kundenkontakts mit dem Kläger, der Tolerierung von Unterdeckungen seit anfangs September 2001 und von Kontoüberzügen seit Monaten, sowie der Tatsache, dass vor dem 21. September 2001 kein Margin Call erfolgt ist, gestützt auf die Faustpfandverschreibung eine Fristansetzung von zwei bis drei Tagen und gestützt auf die Optionskontrakte immerhin noch von einem Tag angemessen gewesen wäre. Auf die Notfallklausel könne sich die Beklagte nicht berufen, da objektiv kein Notfall vorgelegen habe. Da am 24. bzw. 25. September 2001, d.h. im Zeitpunkt, in welchem die Bank frühestens eine Privatverwertung hätte vornehmen dürfen, die Kurse für den Kläger günstiger waren als am 21. September 2001, sei dem Kläger ein Schaden von Fr. 122'933.97 entstanden. Dafür habe die Beklagte einzustehen.
C. Gegen das Urteil des Handelsgerichts haben sowohl der Kläger (4A_521/2008) als auch die Beklagte (4A_523/2008) Beschwerde in Zivilsachen erhoben. Der Kläger beantragt dem Bundesgericht, das Urteil des Handelsgerichts sei aufzuheben und die Beklagte zu verurteilen, dem Kläger Schadenersatz von Fr. 607'739.-- nebst Zins und die Kosten für diverse Privatgutachten von Fr. 77'741.-- zu bezahlen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Demgegenüber beantragt die Beklagte, das Urteil sei aufzuheben und die Klage sei abzuweisen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Beide Parteien schliessen in ihren Vernehmlassungen je auf Abweisung der gegnerischen Beschwerde, soweit darauf eingetreten werden könne. Das Handelsgericht schliesst auf Abweisung beider Beschwerden.
Das Gesuch der Beklagten um aufschiebende Wirkung ihrer Beschwerde wurde mit Präsidialverfügung vom 11. Dezember 2008 abgewiesen.
Erwägungen:
1. Wenn - wie hier - an den Verfahren dieselben Parteien beteiligt sind und den Rechtsmitteln der gleiche Sachverhalt zu Grunde liegt, behandelt das Bundesgericht die verschiedenen Eingaben in der Regel gestützt auf Art. 71 BGG in Verbindung mit Art. 24 BZP in einem einzigen Urteil. Die Verfahren sind folglich zu vereinigen.
2. 2.1 Gegenstand des Verfahrens bildet eine Zivilsache (Art. 72 Abs. 1 BGG). Beide Parteien sind mit ihren Rechtsbegehren im kantonalen Verfahren nicht vollumfänglich durchgedrungen (Art. 76 Abs. 1 BGG), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. Art. 74 Abs. 1 lit. b BGG). Die Parteien haben die Beschwerdefrist eingehalten (Art. 100 Abs. 1 BGG).
2.2 Die Beschwerde in Zivilsachen ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (Art. 75 Abs. 1 BGG). Das Urteil des Handelsgerichts kann mit kantonaler Nichtigkeitsklage beim Plenum des Appellationshofs angefochten werden (Art. 359 i.V.m. Art. 7 ZPO/BE). Es ist daher insoweit nicht kantonal letztinstanzlich, als es vom Appellationshof überprüft werden kann. Dies ist namentlich der Fall, wenn einer Partei das vollständige rechtliche Gehör verweigert wurde (Art. 359 Ziff. 3 ZPO/BE), wobei sich dessen Mindestumfang nach Art. 29 Abs. 2 BV richtet (LEUCH ET AL., Die Zivilprozessordnung für den Kanton Bern, 5. Aufl. 2000, N. 6a zu Art. 359 ZPO/BE). Das angefochtene Urteil des Handelsgerichts stellt daher insoweit keinen kantonal letztinstanzlichen Entscheid dar, als sinngemäss geltend gemacht wird, das Handelsgericht habe den Anspruch der Parteien auf rechtliches Gehör verletzt. Soweit die Parteien dagegen übrige Bundesrechtsverletzungen rügen, ist das Urteil des Handelsgerichts als letztinstanzlicher Entscheid anfechtbar.
3. 3.1 Nach Art. 42 Abs. 2 BGG ist in der Beschwerdeschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Soweit das Bundesgericht das Recht von Amtes wegen anwendet (Art. 106 BGG), ist zwar eine ausdrückliche Nennung bestimmter Gesetzesartikel nicht erforderlich, falls aus den Vorbringen hervorgeht, gegen welche Regeln des Bundesrechts die Vorinstanz verstossen haben soll. Unerlässlich ist aber, dass auf die Begründung des angefochtenen Urteils eingegangen und im Einzelnen dargetan wird, worin eine Verletzung von Bundesrecht liegen soll (BGE 134 II 244 E. 2.1 S. 245 f; 134 V 53 E. 3.3 S. 60; 133 IV 286 E. 1.4). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhaltes kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2 S. 252). Der Beschwerdeführer, der die Sachverhaltsfeststellungen der Vorinstanz anfechten will, kann sich nicht damit begnügen, den bestrittenen Feststellungen eigene tatsächliche Behauptungen gegenüberzustellen oder darzulegen, wie die Beweise seiner Ansicht nach zu würdigen gewesen wären. Vielmehr hat er klar und substantiiert aufzuzeigen, inwiefern die gerügten Feststellungen bzw. die Unterlassung von Feststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen. Auf eine Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, ist nicht einzutreten (BGE 133 II 249 E. 1.4.3; 133 III 350 E. 1.3, 393 E. 7.1, 462 E. 2.4). Zu beachten ist, dass dem Sachgericht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zusteht (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. BGE 132 III 209 E. 2.1; 129 I 8 E. 2.1).
Willkür im Sinne von Art. 9 BV liegt nach ständiger Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür nur auf, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgrundsatz zuwiderläuft. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (BGE 134 II 124 E. 4.1 S. 133 mit Hinweisen).
Beschwerde des Klägers (4A_521/2008)
4. Der Kläger bringt diverse Rügen betreffend die Sachverhaltsfeststellung durch die Vorinstanz vor.
4.1 Zunächst wirft er dem Handelsgericht sinngemäss eine Verletzung des rechtlichen Gehörs vor, indem es das Privatgutachten von Dr. C._ zur Berechnung der Deckungsverhältnisse mit keinem Wort gewürdigt habe.
Darauf ist nicht einzutreten, da der kantonale Instanzenzug diesbezüglich nicht ausgeschöpft ist. Die Verletzung des rechtlichen Gehörs hätte der Kläger mit kantonaler Nichtigkeitsklage an das Plenum des Appellationshofes des Kantons Bern rügen können (Art. 359 Ziff. 3 ZPO/BE). Das Bundesgericht hat den angefochtenen Entscheid somit nicht auf Gehörsverletzungen hin zu überprüfen.
4.2 Weiter behauptet der Kläger, das Handelsgericht habe Art. 93 ZPO/BE willkürlich angewandt, indem es die Entschuldigungsgründe der Beklagten für die verspätete Einreichung neuer Beweismittel bezüglich der Andienung von 3'729 CSGN-Aktien als genügend erachtet habe.
Gemäss Art. 93 Abs. 1 ZPO/BE können nach den Parteivorträgen in der Hauptverhandlung bis zum Endurteil neue Angriffs- und Verteidigungsmittel nur gehört werden, wenn die Partei genügende Entschuldigungsgründe für die nachträgliche Geltendmachung glaubhaft macht oder der Richter die Anbringen gemäss Art. 89 von Amtes wegen berücksichtigt. Nach Art. 89 ZPO/BE kann der Richter in jedem Stadium des Prozesses von Amtes wegen zur Ergänzung oder wahrheitsgemässen Feststellung des Tatbestandes der von den Parteien behaupteten Rechte und Ansprüche die Einvernahme der Parteien anordnen und die ihm notwendig scheinenden Beweisverfügungen treffen. Daraus ergibt sich, dass das Handelsgericht sogar befugt gewesen wäre, von der Beklagten nachträglich eingereichte Unterlagen von Amtes wegen und unabhängig von Entschuldigungsgründen zu den Akten zu erkennen. Es handelt damit nicht willkürlich, wenn es nachträglich eingereichte Beweismittel selbst dann entgegennimmt, wenn die Entschuldigungsgründe nach Berner Zivilprozessrecht an sich ungenügend wären.
4.3 Für den Fall, dass die nachträglich eingereichten Beweismittel vom Handelsgericht berücksichtigt werden dürfen, rügt der Kläger eine offensichtlich falsche Beweiswürdigung.
Das Handelsgericht hat in Würdigung der von der Beklagten nachträglich zu den Akten gereichten Urkunden sowie gestützt auf Zeugenaussagen festgestellt, dass die Eurex der Beklagten am 13. September 2001 um 19.00 Uhr 1'643 Put-Optionen zu je 40 CSGN-Aktien (total 65'729 Stück) andiente. Dem Kläger seien aus diesem Los am 14. September 2001 um 08.23 Uhr 3'720 Stück zugeteilt und in sein Depot verbucht worden. Die Wertschriftenabrechnung der Beklagten sei missverständlich, weil sie das Datum vom 13. September 2001 trage, aber in Wahrheit die Zuteilung der Aktien vom 14. September 2001 um 08.23 Uhr belege. Gleichentags seien die Aktien auf Weisung des Klägers wieder verkauft worden, woraus sich ergebe, dass die Beklagte den Kläger unverzüglich über die Andienung informiert habe.
Demgegenüber wiederholt der Kläger in seiner Beschwerdeschrift die bereits vor Handelsgericht vorgetragene Auffassung, wonach die vom 13. September 2001 datierte Wertschriftenabrechnung belege, dass die Eurex die fraglichen Put-Optionen bereits am 12. September 2001 angedient habe. Daraus ergebe sich, dass die Beklagte dem Kläger die Andienung bereits am 13. September 2001 und nicht erst am 14. September 2001 hätte mitteilen sollen. Aus dieser angeblich verspäteten Mitteilung sei ihm ein Schaden erwachsen.
Die Ausführungen des Klägers erschöpfen sich in einer eigenen Würdigung einer einzelnen Beweisurkunde. Der Kläger vermag nicht aufzuzeigen, inwiefern die Beweiswürdigung des Handelsgerichts, die sich nicht nur auf die fragliche Urkunde, sondern auch auf Zeugenaussagen stützt, insgesamt eine willkürliche Sachverhaltsfeststellung zur Folge hat. Auf die entsprechende Rüge ist nicht einzutreten.
4.4 Weiter rügt der Kläger, sein Depot habe entgegen der Feststellung der Vorinstanz im Moment des Kaufs der 10 Futures auf den SMI eine hohe Unterdeckung aufgewiesen. Unter diesen Umständen sei die Kaufempfehlung durch die Beklagte vertragswidrig gewesen und habe zu einem Schaden geführt.
Der Kläger trägt im Wesentlichen eine eigene Berechnung der Unterdeckung vor. Dabei berücksichtigt er nicht, dass die Parteien gemäss den Feststellungen der Vorinstanz in diesem Moment subjektiv übereinstimmend von einer Deckungssituation ausgingen. Dass die Feststellung dieser inneren Tatsache willkürlich ist, behauptet der Kläger nicht, sondern versucht vielmehr aufzuzeigen, dass objektiv eine Unterdeckung vorhanden war. Dabei legt er nicht dar, inwiefern eine allenfalls objektiv vorhandene Unterdeckung, deren sich die Parteien beide nicht bewusst sind, für den Ausgang des Verfahrens entscheidend ist. Damit ist er mit dieser Rüge nicht zu hören.
4.5 Schliesslich wirft der Kläger dem Handelsgericht vor, es habe willkürlich den Beweis für gescheitert erachtet, wonach die bei der Lebenspartnerin und bei der Schwester des Klägers vorhandenen Vermögenswerte im Falle einer Fristansetzung durch die Beklagte auch als Sicherheiten eingebracht worden wären.
Auch hier erschöpfen sich die Ausführungen des Klägers in der Darstellung seiner eigenen Sicht der Dinge und zeigen nicht auf, weshalb die Beweiswürdigung der Vorinstanz geradezu unhaltbar ist. Auf diese Rüge kann ebenfalls nicht eingetreten werden.
5. In materieller Hinsicht wirft der Kläger dem Handelsgericht vor, es sei zu Unrecht zum Schluss gekommen, dass die Beklagte den Kläger nicht über die Unterdeckung habe informieren müssen. Aufgrund der unterbliebenen Information habe er seinen Wertschriftenbestand nicht rechtzeitig reduzieren können, woraus ihm ein Schaden erwachsen sei.
5.1 Das Handelsgericht hat das Rechtsverhältnis zwischen den Parteien zutreffend als Anlageberatung qualifiziert. Diese zeichnet sich in Abgrenzung von der reinen Konto-/Depot-Beziehung dadurch aus, dass der Kunde - wie hier - die Anlageentscheide zwar selber trifft, die Bank ihm jedoch dabei beratend zur Seite steht. Die Zuständigkeit des Kunden für den Anlageentscheid unterscheidet die Anlageberatung von der Vermögensverwaltung, bei der die Bank die auszuführenden Transaktionen im Rahmen der Sorgfalts- und Treuepflicht sowie der vereinbarten Anlagestrategie selbst bestimmt (Urteil 4A_168/2008 vom 11. Juni 2008 E. 2.1, mit Hinweisen auf Rechtsprechung und Lehre). Ein Anlageberatungsverhältnis setzt keine Grundlage in Form eines ausdrücklich geschlossenen Vertrags voraus. Es reicht aus, wenn sich aufgrund einer andauernden Geschäftsbeziehung zwischen der Bank und dem Kunden ein besonderes Vertrauensverhältnis entwickelt hat, aus welchem der Kunde nach Treu und Glauben auch unaufgefordert Beratung und Abmahnung erwarten darf (BGE 133 III 97 E. 7.2 S. 103).
5.2 Eine Deckungsmarge als Sicherheit gegen Kursrückgänge bei den belehnten Vermögenswerten dient in erster Linie dazu, das Risiko der Bank zu begrenzen (Urteil 4C. 298/2004 vom 26. Januar 2005 E. 3.2.; 4C.305/2003 vom 3. Mai 2004 E. 3.2.1; 4C.152/2002 vom 22. Juli 2002 E. 2.2). Deren Sicherungsrechte richten sich, abgesehen von zwingenden gesetzlichen Bestimmungen (BGE 108 Ib 186 E. 5a S. 192 f.), nach den vertraglichen Abmachungen in den jeweiligen Sicherungsvereinbarungen, den Allgemeinen Geschäftsbedingungen sowie den Depotreglementen. Ist die Bank nicht zur Vermögensverwaltung beauftragt, ist sie grundsätzlich nicht verpflichtet, sich aktiv um die Begrenzung des Verlustrisikos des Kunden zu kümmern (Urteil 4C.305/2003 vom 3. Mai 2004 E. 3.2.1; 4C.302/1994 vom 27. Dezember 1995 E. 3c/aa). Falls indessen die Auslegung der Margendeckungsabrede auf eine Schutzpflicht zu Gunsten des Kunden schliessen liesse, könnte dieser aus einer von der Bank abmachungswidrig geduldeten Unterschreitung der Deckung Rechte ableiten. Besteht zwischen der Bank und dem Kunden zudem ein besonderes Vertrauensverhältnis, aufgrund dessen die Bank in der Lage ist, die Vermögensverhältnisse des Kunden zuverlässig einzuschätzen, kann sich eine Informations- bzw. Warnpflicht auch aus Treu und Glauben ergeben. Dies ist namentlich der Fall, wenn eine Weisung des Kunden für die Bank erkennbar zu einer Unterdeckung in einer Grössenordnung führen kann, die der Kunde nach dem Kenntnisstand der Bank nicht mehr innerhalb einer angemessenen Nachdeckungsfrist abzubauen vermag.
5.3 Dass die Margendeckungsabrede auf eine Schutzpflicht schliessen liesse, hat der Kläger weder behauptet, noch ergibt sich Entsprechendes aus den Feststellungen der Vorinstanz. Ebensowenig ist ersichtlich, ob und inwiefern während der Zeit der ihm nicht mitgeteilten Unterdeckung Weisungen ausgeführt wurden, die eine Unterdeckung nach sich gezogen haben, die für den Kläger nicht mehr innerhalb einer nützlichen Nachdeckungsfrist hätte abgebaut werden können. Im Gegenteil ist erstellt, dass das Depot bis zum 11. September 2001 lediglich eine 5 % leicht übersteigende Unterdeckung aufwies. Das Handelsgericht hat damit kein Bundesrecht verletzt, wenn es eine Informationspflicht der Beklagten verneint hat.
6. Schliesslich rügt der Kläger, das Handelsgericht habe ihm willkürlich keinen Ersatz für die Kosten des Privatgutachters Dr. C._ zugesprochen. Er leitet einen entsprechenden Anspruch im Wesentlichen daraus ab, dass er die Beweislast für den Bestand eines Schadens trage.
Die Verteilung der prozessualen Parteikosten, d.h. solcher Parteikosten, die im Verlaufe oder bei der Einleitung des Prozesses entstehen und auf diesen zurückzuführen sind, wird ausschliesslich vom anwendbaren Verfahrensrecht geregelt (BGE 117 II 394 E. 3a S. 396, mit Hinweisen; dazu jüngst auch Ingeborg Schwenzer, Rechtsverfolgungskosten als Schaden?, in: Gauch et al. [Hrsg.], Mélanges en l'honneur de Pierre Tercier, 2008, S. 421, 425). Nach dem hier anwendbaren Berner Zivilprozessrecht werden Auslagen für Privatgutachten regelmässig nicht berücksichtigt, wobei Ausnahmen berechtigt sein können, so bei (notwendigem) Nachweis ausländischen Rechtes (Leuch et al., a.a.O., N. 3 zu Art. 58 ZPO/BE). Es ist damit in das Ermessen des Handelsgerichts gestellt, ob es einen Kostenersatz für die Erstellung von Privatgutachten zusprechen will.
Mit dem blossen Hinweis auf die ihm obliegende Beweislast und die Komplexität des Beweisthemas hat der Kläger noch nicht dargetan, weshalb das Handelsgericht sein Ermessen bei der Festsetzung des Parteikostenersatzes geradezu willkürlich ausgeübt haben soll. Auf die entsprechende Rüge ist nicht einzutreten.
Beschwerde der Beklagten (4A_523/2008)
7. Die Beklagte rügt, das Handelsgericht habe die Tatsache, dass die Beklagte dem Kläger am 21. September 2001 keine Nachfrist zur Leistung weiterer Deckung angesetzt habe, zu Unrecht als Vertragsverletzung qualifiziert.
7.1 Die Beklagte hält dafür, dass das Abgeben eines Margin Call ein Recht und keine Pflicht der Bank sei. Die Nachdeckungsaufforderung diene ausschliesslich dem Schutz der Bank vor drohenden Verlusten aus Lombardkrediten, Devisen- und Optionskontrakten. Die Beklagte müsse ihren Kunden nur dann einen formellen Margin Call mit der Aufforderung zur Nachdeckung innert 24 bzw. 48 Stunden zukommen lassen, wenn sie sich das Recht einräumen lassen wolle, anschliessend die Zwangsverwertung der Pfänder durchzuführen und die Positionen glattzustellen. Im Falle des Klägers als langjährigem Kunden mit häufigen Kontakten zu seinem Kundenberater habe die Beklagte "selbstverständlich" auf einen schriftlichen Margin Call verzichtet. Dennoch seien die vertraglichen Voraussetzungen eines Margin Calls im persönlichen und im Telefongespräch mit dem Kläger erfüllt worden. Die Beklagte habe anlässlich der Besprechungen vom 11., 13. und 20. September 2001 jeweils Nachdeckung verlangt. Am 21. September 2001 sei die Beklagte dann zu keinem weiteren Margin Call mehr verpflichtet gewesen, sondern habe den Kläger ultimativ zu Verkäufen auffordern dürfen.
7.2 Sowohl aus Ziff. 5 der Allgemeinen Faustpfandverschreibung wie auch aus Ziff. 3.1 der Bedingungen für die Vermittlung von Optionskontrakten ergibt sich, dass die Bank vor der freihändigen Verwertung der verpfändeten Wertschriften bzw. der Glattstellung der entsprechenden Positionen den Kunden zur Nachdeckung auffordern muss, wobei eine Frist von mindestens einem Arbeitstag anzusetzen ist.
Gemäss den Feststellungen der Vorinstanz gingen beide Parteien unmittelbar nach den Verpfändungen der Lebensversicherungen am 13. und 17. September 2001 davon aus, dass die Unterdeckung bereinigt war. Erst am 20. September 2001 teilte die Beklagte dem Kläger mit, der Belehnungswert der Lebensversicherungen betrage nur rund Fr. 200'000.--, weshalb nach wie vor eine Unterdeckung von rund Fr. 300'000.-- bestehe. Aus dem festgestellten Sachverhalt geht nicht hervor, dass die Beklagte dem Kläger zwischen dem 13. und 21. September 2001 eine Frist zur Nachdeckung angesetzt hätte. Wie die Vorinstanz zutreffend erkannte, ist die Privatverwertung am 21. September 2001 unter diesen Umständen vertragswidrig erfolgt.
8. Weiter rügt die Beklagte, die Vertragsverletzung sei für den eingetretenen Schaden nicht kausal, da weder die Beklagte noch der Kläger am 21. September 2001 die Kursentwicklung in der folgenden Woche vorhersehen konnten. Deshalb habe die Beklagte nicht für einen Schaden einzustehen, der aus Verkäufen am 21. statt erst am 24. und 25. September 2001 eingetreten ist. Zudem fehle es an der Adäquanz des Kausalzusammenhangs, da die Grundsätze über den Margin Call ausschliesslich dem Schutz der Bank dienen würden und folglich die verletzte Vertragspflicht den eingetretenen Schaden des Kunden nicht zu verhindern bezwecke.
8.1 Zwischen der pflichtwidrigen Handlung und dem eingetretenen Schaden muss ein natürlicher und adäquater Kausalzusammenhang bestehen. Die natürliche Kausalität ist gegeben, wenn ein Handeln Ursache im Sinne einer conditio sine qua non für den Eintritt eines Schadens ist. Dies ist eine Tatfrage. Vom Bundesgericht frei überprüfbare Rechtsfrage ist demgegenüber, ob zwischen der Ursache und dem Schadenseintritt ein adäquater Kausalzusammenhang besteht (BGE 132 III 715 E. 2.2 S. 718 mit Hinweisen). Als adäquate Ursache ist nach der Rechtsprechung ein Ereignis dann anzusehen, wenn es nach dem gewöhnlichen Lauf der Dinge und der allgemeinen Lebenserfahrung geeignet ist, einen Erfolg von der Art des eingetretenen herbeizuführen, der Eintritt dieses Erfolges also durch das Ereignis allgemein als begünstigt erscheint. Dabei ist von den tatsächlichen Auswirkungen auszugehen und rückblickend zu entscheiden, ob und inwiefern das Ereignis als wesentliche Ursache des Erfolgs zu betrachten ist (BGE 119 Ib 334 E. 5b S. 345; 96 II 392 E. 2 S. 396).
8.2 Es liegt in der Natur von Börsenwerten, dass ihre Kursentwicklung nur beschränkt vorhersehbar ist. Die Beklagte gibt in ihrer Beschwerdeschrift denn auch selbst zu, dass sie die Kursentwicklung nicht im Entferntesten habe vorhersehen können. Gerade deshalb war am 21. September 2001 nach der allgemeinen Lebenserfahrung nicht auszuschliessen, dass der Kurs am 24. bzw. 25. September 2001 für den Kläger günstiger stehen könnte. Die Beklagte legt unter Bezug auf HANS PETER WALTER (Prozessuale Aspekte beim Streit zwischen Kunden und Vermögensverwalter, ZSR I 2008, S. 115) zwar zutreffend dar, dass das allgemeine Kursrisiko den Kunden trifft, verkennt dabei aber, dass die Kursschwankungen dem Kunden nicht nur zum Nachteil, sondern auch zum Vorteil gereichen können. Die Tatsache, dass die Beklagte zu früh zur Privatverwertung geschritten ist, ist damit nicht nur natürlich, sondern auch adäquat kausal für den eingetretenen Schaden. Im Übrigen verkennt die Beklagte, dass nicht das Unterlassen des Margin Calls schlechthin, sondern die Privatverwertung ohne vorangehende Fristansetzung zur Nachdeckung die Vertragsverletzung begründet. Die Fristansetzung dient sehr wohl den Interessen des Klägers, da ein Kunde nur so in die Lage gestellt werden kann, eine für ihn möglicherweise ungünstige Privatverwertung abzuwenden.
9. Weiter wirft die Beklagte dem Handelsgericht diverse offensichtlich unrichtige Sachverhaltsfeststellungen vor. Zum einen sei die Feststellung unzutreffend, dass beide Parteien zwischen dem 14. und 20. September 2001 von einer ausreichenden Deckung ausgingen; vielmehr habe der Kläger von der Unterdeckung gewusst. Zum anderen verschweige das Handelsgericht, dass der Kläger bereits am 13. September 2001 diverse Verkaufsaufträge erteilt und Lebensversicherungspolicen verpfändet habe.
Die Beklagte zeigt nicht auf, inwiefern die Behebung der angeblichen Mängel in der Sachverhaltserhebung für den Ausgang des Verfahrens entscheidend ist. Selbst wenn der Kläger schon vor dem 20. September 2001 von der Unterdeckung gewusst hätte, ändert dies nichts daran, dass die Beklagte keine Nachfrist angesetzt hat, weshalb die Privatverwertung ohnehin vertragswidrig erfolgt wäre. Weiter ist unzutreffend, dass das Handelsgericht die Transaktionen vom 13. September 2001 verschweige. Auf S. 6 seines Urteils hält es vielmehr die Ereignisse rund um die Besprechung vom 13. September 2001 fest und führt unter anderem aus, dass der Kläger versucht habe, "mittels Verkauf von Wertschriften den Minussaldo auf dem Kontokorrent zu reduzieren". Beide Rügen sind demnach unbegründet, sofern darauf eingetreten werden kann.
10. Schliesslich rügt die Beklagte eine offensichtlich unrichtige Feststellung des Streitwertes und eine willkürliche Kostenliquidation. Der Kläger habe in der Eingabe vom 9. Januar 2003 sein Hauptbegehren mit Fr. 920'458.-- beziffert und erst später anlässlich des Schlussvortrags auf Fr. 607'739.-- reduziert. Die Streitwertbestimmung des Handelsgerichts auf rund Fr. 600'000.-- sei deshalb offensichtlich unrichtig. Zudem liege ein Teilabstand des Klägers im Umfang von Fr. 300'000.-- vor, der bei der Kostenverlegung gemäss Art. 57, 58 und 68 ZPO/BE zu berücksichtigen gewesen wäre. Indem das Handelsgericht dies nicht tat, habe es die entsprechenden Bestimmungen willkürlich angewendet. Deshalb seien die Ziff. 2 und 3 des angefochtenen Urteils (Kostenliquidation) aufzuheben und die Sache zu neuer Entscheidung über die Kostenverlegung zurückzuweisen.
10.1 Nach Art. 138 Abs. 1 ZPO/BE bestimmt sich der Streitwert nach dem, was der Kläger in seinem Klagebegehren fordert, ohne Hinzurechnung der Zinsen und Kosten. Bei einer Verbindung von Haupt- und Eventualbegehren ist auf den höheren bzw. den höchsten unterschiedlicher Streitwerte abzustellen (LEUCH ET AL., a.a.O., N. 1f zu Art. 138 ZPO/BE). Der Wert des (gleichen) Streitgegenstandes kann sich im Laufe des Verfahrens durch Parteierklärung (Klageänderung, teilweiser Verzicht oder Abstand) vermindern. Dies verändert jedoch den massgeblichen Streitwert nicht, da sich dieser nach der Lage im Zeitpunkt der Begründung der Rechtshängigkeit bestimmt (LEUCH ET AL., a.a.O., N. 2c zu Art. ZPO/BE). Wenn erst das Beweisverfahren die Grundlage für die genaue Bezifferung der Forderung abgibt, kann diese auch nachträglich erfolgen (VOGEL/SPÜHLER, Grundriss des Zivilprozessrechts, 8. Aufl. 2006, § 33 Rz. 5e). In diesem Fall ist der vom Kläger während der Rechtshängigkeit erstmalig bestimmt angegebene Betrag des Rechtsbegehrens für den Streitwert massgeblich. Eine Reduktion dieses Betrags zieht die Folgen eines Teilabstandes nach sich (LEUCH ET AL., a.a.O., N. 9 zu Art. 94 ZPO/BE).
Nach Art. 58 Abs. 1 ZPO/BE trägt in der Regel die unterliegende Partei die Prozesskosten. Hat die obsiegende Partei jedoch zu viel gefordert oder die Prozesskosten durch unnötige Weitläufigkeiten vermehrt oder ist teilweise auch zugunsten der anderen Partei entschieden worden, so kann der Richter je nach den Umständen eine verhältnismässige Teilung oder Wettschlagung der Kosten verfügen (Art. 58 Abs. 2 ZPO/BE). Die auf Überklagung gesetzte Kostenfolge kann auch bei Teilabstand eintreten (so LEUCH ET AL., a.a.O., N. 9 zu Art. 94 ZPO/BE). Der Richter hat bei der Anwendung dieser Regeln ein weites Ermessen, das nach der Praxis umso höher ist, wenn sich die Höhe der eingeklagten Forderung erst auf Grund eines Beweisverfahrens ermitteln lässt (vgl. LEUCH ET AL., a.a.O., N. 7a zu Art. 58 ZPO/BE). In dieses greift das Bundesgericht auf Willkürrüge hin nur ein, wenn der Kostenentscheid auf einer unhaltbaren Würdigung der Umstände beruht. Willkür liegt zudem nur vor, wenn nicht bloss die Begründung der Ermessensausübung, sondern auch das Ergebnis unhaltbar ist (vgl. BGE 134 II 124 E. 4.1 S. 133 mit Hinweisen).
10.2 Der Kläger forderte zunächst nur einen Fr. 30'000.-- übersteigenden Betrag. Am 9. Januar 2006 präzisierte er gestützt auf die Schadensberechnung des Experten C._ seine Rechtsbegehren und stellte ein Hauptbegehren über Fr. 920'458.-- und ein Eventualbegehren über Fr. 618'540.--. Damit hat der Kläger erstmals am 9. Januar 2006 während der Rechtshängigkeit ein den Bestimmtheitsanforderungen genügendes Rechtsbegehren gestellt. Der höhere Betrag von Fr. 920'458.-- ist für den Streitwert massgebend. Das Handelsgericht hat demgegenüber bei der Bestimmung der Kostenliquidation auf das reduzierte Klagebegehren von rund Fr. 600'000.-- abgestellt. Damit hat es den für die Kostenverlegung erheblichen Aspekt des Teilabstands ohne ersichtlichen sachlichen Grund ausser Acht gelassen. Dies führt im Ergebnis zu einer willkürlichen Kostenverlegung, denn wenn man das grundsätzlich massgebende Unterliegerprinzip (vgl. VOGEL/SPÜHLER, a.a.O., § 50 Rz. 24) zum Richtwert nimmt, müsste bei der Kostenverlegung von einem Verhältnis von 1 zu 7 ausgegangen werden. Die Vorinstanz hat die Kosten indessen im Verhältnis 1 zu 3 verlegt und ist damit in einem Ausmass vom Richtwert abgewichen, das sachlich nicht mehr haltbar ist.
10.3 Aus diesen Gründen sind die Ziff. 2 und 3 des angefochtenen Urteils aufzuheben und die Sache gestützt auf Art. 107 Abs. 2 BGG zu neuer Bestimmung und Verlegung der Prozesskosten an das Handelsgericht zurückzuweisen.
11. Nach dem Gesagten ist die Beschwerde des Klägers abzuweisen, soweit darauf einzutreten ist. Demgegenüber ist die Beschwerde der Beklagten teilweise gutzuheissen, die Ziff. 2 und 3 des angefochtenen Entscheids aufzuheben und die Sache zu neuem Kostenentscheid an das Handelsgericht zurückzuweisen. Bei diesem Ausgang des Verfahrens tragen die Parteien im Ausmass ihres Unterliegens die Gerichtskosten von insgesamt Fr. 13'000.-- und werden im gleichen Ausmass entschädigungspflichtig. Folglich sind dem Kläger ein Anteil an den Gerichtskosten von Fr. 8'000.-- und der Beklagten ein Anteil von Fr. 5'000.-- aufzuerlegen. Der Kläger hat der Beklagten eine reduzierte Parteientschädigung von Fr. 3'000.-- auszurichten.
Demnach erkennt das Bundesgericht:
1. Die Verfahren 4A_521/2008 und 4A_523/2008 werden vereinigt.
2. Die Beschwerde 4A_521/2008 wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde 4A_523/2008 wird teilweise gutgeheissen, soweit darauf einzutreten ist; die Ziffern 2 und 3 des Urteils des Handelsgerichts des Kantons Bern vom 15. April 2008 werden aufgehoben und die Sache zu neuer Entscheidung über die Kosten an die Vorinstanz zurückgewiesen.
4. Die Gerichtskosten von Fr. 13'000.-- werden im Betrag von Fr. 8'000.-- dem Kläger und im Betrag von Fr. 5'000.-- der Beklagten auferlegt.
5. Der Kläger hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
6. Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Bern schriftlich mitgeteilt.
Lausanne, 26. Februar 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni