Auftrag; hat sich ergeben:
A.- Am 19. September 1996 eröffnete Amnon Haber (Beklagter) bei der Genfer Niederlassung der Bank Hapoalim (Schweiz) AG (Klägerin) ein Konto. Gleichzeitig übergab er der Bank vier Aktienzertifikate zu je 1'000 Aktien der Royal Dutch Petroleum Company. Die Zertifikate waren 1973 für die Hilson & Co. ausgestellt worden und nicht mehr handelbar, weil 1981 und 1989 Aktiensplits stattgefunden hatten. Der Beklagte beauftragte deshalb die Klägerin, die Zertifikate in handelbare Aktien zu konvertieren. Die Klägerin beauftragte ihrerseits ihre amerikanische Depotbank, die Citibank N.A. mit Sitz in New York, unter Zusendung der Zertifikate mit deren Prüfung und Konversion in die an der New Yorker Börse kotierten Aktien der Royal Dutch Petroleum Company.
Mit Telefax vom 18. Dezember 1996 teilte die Citibank der Klägerin mit, dass sie die neuen Aktien erhalten habe und sie gleichentags ins Depot Nr. 090459 der Klägerin einliefern werde (..."will be posted to 090459". ..). Diese Meldung wurde über Swift am folgenden Tag bestätigt. Nach Erhalt der Meldungen buchte die Klägerin am 19. Dezember 1996 die Aktien in das Depot des Beklagten ein. Auf am gleichen Tag erfolgte telefonische Benachrichtigung hin begab sich dieser zur Klägerin und erteilte ihr den Auftrag, die 16'000 Royal Dutch Aktien sofort zu verkaufen. Diese beauftragte gleichentags die schweizerische Tochtergesellschaft der Prudential Securities Incorporated, New Jersey, mit dem Verkauf der Aktien. Den aus dem Verkauf erzielten Nettoerlös von 2'704'061. 33 US Dollar (USD) schrieb die Klägerin mit Valutadatum vom 24. Dezember 1996 dem Konto des Beklagten gut.
Am 23. und 27. Dezember 1996 wies der Beklagte die Klägerin an, aus seinem Konto die Beträge von USD 270'000.-- und USD 30'000.-- auf die Konten von Drittpersonen zu überweisen.
Diese Aufträge wurden von der Bank ausgeführt.
Am 27. Dezember 1996, einem Freitag, teilte die Citibank der Klägerin zuerst telefonisch und anschliessend per Telefax mit, dass der Aktientausch nochmals überprüft werden müsse, weil die Aktienzertifikate möglicherweise ungültig seien. Am folgenden Montag, dem 30. Dezember 1996, informierte die Klägerin den Beklagten telefonisch über das Problem. Mit Schreiben vom 31. Dezember 1996 teilte sie ihm sodann mit, dass die Transaktion betreffend die 16'000 Aktien Royal Dutch annulliert werden müsse, da die Aktienzertifikate anscheinend ungültig seien. Gleichzeitig forderte sie den Beklagten auf, den durch die Bezüge von seinem Konto verursachten Debitsaldo von USD 300'000.-- innerhalb von zehn Tagen zurück zu zahlen.
Mit Telefax vom 10. Januar 1997 stellte die Citibank der Klägerin ein Schreiben der JP Morgan & Co. zu, woraus hervorging, dass die vier Aktienzertifikate zum Zwecke der Vernichtung eingezogen worden waren. Die JP Morgan & Co.
ist die Börsenvertreterin der Royal Dutch Petroleum Company in New York, welcher die Citibank die Aktienzertifikate zur Konversion eingereicht hatte. Nachforschungen der Klägerin ergaben, dass die Zertifikate im Januar 1976 bei der Chase Manhattan Bank in New York als verloren gemeldet worden waren, worauf diese Bank die Royal Dutch Petroleum Company ersucht hatte, die Zertifikate als verloren vorzumerken und zu annullieren. Die Royal Dutch hatte mit Schreiben vom 4. März 1976 die Annullierung der Zertifikate bestätigt und die Bank ermächtigt, der an den Aktien berechtigten Hilson & Co. neue Zertifikate anstelle der als verloren gemeldeten auszustellen. Die neuen vier Zertifikate über je 1'000 Aktien waren der Hilson & Co. am 22. März 1976 ausgehändigt worden.
Am 4. März 1997 orientierte die Klägerin den Beklagten über diesen Sachverhalt und forderte ihn auf, ihr bis zum 14. März 1997 16'000 gültige Aktien der Royal Dutch Petroleum Company auszuhändigen. Nachdem der Beklagte dieser Aufforderung nicht nachkam und zudem mitteilte, dass er keine Veranlassung zu irgendwelchen Erfüllungshandlungen sehe, trat die Klägerin mit Schreiben vom 7. April 1997 vom Vertrag mit dem Beklagten zurück.
Damit die Klägerin ihre Verpflichtung als Verkäuferin der 16'000 Aktien Royal Dutch gegenüber der Prudential Securities Inc. einhalten konnte, tätigte sie einen entsprechenden Deckungskauf. Wegen des inzwischen gestiegenen Aktienkurses entstanden ihr Mehrkosten in der Höhe von USD 81'289.--. Dieser Betrag wurde dem Konto des Beklagten mit Valutadatum vom 31. Januar 1997 belastet.
B.- Im Oktober 1997 reichte die Klägerin beim Handelsgericht des Kantons Zürich Klage ein mit den Anträgen, den Beklagten zur Zahlung von USD 381'289.-- nebst 5 % Zins auf USD 300'000.-- seit 20. Januar 1997 und 5 % auf USD 81'289.-- seit 4. März 1997, eventuell von USD 300'000.-- nebst 5 % seit 20. Januar 1997 zu verpflichten.
Die Klägerin verkündete der Citibank N.A. den Streit, worauf diese als Nebenintervenientin auf deren Seite mit Antrag auf Gutheissung der Klage am Verfahren teilnahm.
Der Beklagte verkündete seinerseits der Royal Dutch Petroleum Company, der National Surety Corporation und der Fireman's Fund Insurance Company den Streit. Keine dieser Gesellschaften nahm am Verfahren teil.
Mit Urteil vom 14. April 2000 verpflichtete das Handelsgericht den Beklagten zur Zahlung von USD 300'000.-- nebst 5 % Zins seit 24. Januar 1997 und wies die Klage im Mehrbetrag ab (Dispositivziffer 1). Die Gerichtskosten auferlegte es der Klägerin zu 1/5 und dem Beklagten zu 4/5 (Dispositivziffer 3) und verpflichtete den Beklagten zur Zahlung einer reduzierten Parteientschädigung an die Klägerin (Dispositivziffer 4).
C.- Mit Berufung beantragt der Beklagte dem Bundesgericht, das Urteil des Handelsgerichts aufzuheben und die Sache zur weiteren Abklärung des Sachverhalts und zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Die Klägerin erhob Anschlussberufung mit den Anträgen, das Urteil des Handelsgerichts mit Bezug auf Dispositivziffer 1 insoweit aufzuheben, als ihre Forderung nicht im vollen Umfang von USD 381'289.-- nebst 5 % Zins auf USD 300'000.-- seit 24. Januar 1997 und 5 % auf USD 81'289.-- seit 4. März 1997 gutgeheissen wurde; zudem seien die Kosten in Abänderung der Dispositivziffern 3 und 4 vollumfänglich dem Beklagten aufzuerlegen und dieser sei zur Zahlung einer Prozessentschädigung von Fr. 36'666. 67 nebst 6.5 % MwSt auf dem Betrag von Fr. 17'000.-- und 7.5 % MwSt auf Fr. 19'666. 67 zu verpflichten.
Jede Partei schliesst auf Abweisung des Rechtsmittels der anderen. Die Nebenintervenientin Citibank N.A.
hat sich nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- Der Beklagte rügt, die Vorinstanz habe seinen zur Verrechnung gestellten Schadenersatzanspruch unter Verletzung von Bundesrecht abgewiesen. Er leitet diesen Anspruch aus dem Auftrag zur Umwandlung der Zertifikate in handelbare Aktien ab, welchen die Klägerin mangelhaft ausgeführt habe.
Keine Einwände erhebt er in diesem Zusammenhang gegen die Erwägung der Vorinstanz, wonach die Klägerin zur Substitution berechtigt war und bei der Wahl und Instruktion der Substitutin, der Citibank N.A., gehörige Sorgfalt aufgewendet hat. Daraus folgt, dass die Klägerin gemäss <ref-law> für allfälliges unsorgfältiges Vorgehen der Substitutin nicht haftet. Der Beklagte wirft dem Handelsgericht jedoch als Verletzung von <ref-law> vor, dass es die Einbuchung der umgewandelten Aktien auf sein Konto gestützt auf die Telefaxmitteilung der Citibank N.A. genügen liess und die Klägerin nicht für verpflichtet hielt, den Eingang der umgewandelten Aktien abzuwarten, bevor sie ihm diese gutschrieb.
a) Der Beauftragte haftet dem Auftraggeber für getreue und sorgfältige Ausführung des übertragenen Geschäftes (<ref-law>). Die Sorgfalt bemisst sich beim entgeltlichen Auftrag nach dem Verhalten einer gewissenhaften und sachkundigen Person, welche dem Standard ihres Berufes gerecht wird (Hofstetter, Der Auftrag und die Geschäftsführung ohne Auftrag, Schweizerisches Privatrecht, Bd. VII/6, Basel 2000, S. 128). Die Handlungen des Beauftragten haben dem berufsspezifischen Durchschnittsverhalten zu entsprechen (Fellmann, Berner Kommentar, N. 355 zu <ref-law>). Bestehen für einen Beruf oder ein bestimmtes Gewerbe allgemein befolgte Verhaltensregeln oder Usanzen, können sie zur Bestimmung des Sorgfaltsmasses herangezogen werden (<ref-ruling> E. 3a S. 64). Dabei ist nach Art des Auftrages zu differenzieren und auch den besonderen Umständen des Einzelfalles Rechnung zu tragen.
b) Nach der verbindlichen Feststellung der Vorinstanz (Art. 63 Abs. 2 OG) ist es im Bankenverkehr nicht üblich, ausländische und nicht an einer Schweizer Börse kotierte Aktien physisch - d.h. in Papier verkörpert - ins Depot des Kunden einzuliefern, sondern solche Aktien werden dem Depot als sogenannte Buchwerte gutgeschrieben. Die Vorinstanz hat daraus abgeleitet, dass die Klägerin unter dem Gesichtspunkt der auftragsrechtlichen Sorgfaltspflicht nicht gehalten war, den Eingang der umgewandelten Aktien abzuwarten, bevor sie diese dem Beklagten gutschrieb. In der Berufung des Beklagten wird nicht dargelegt, inwiefern die Vorinstanz damit die objektiv erforderliche Sorgfalt bei der Ausführung des Auftrags bundesrechtswidrig festgelegt haben soll. Dessen Ausführungen beschränken sich auf den Hinweis, die Vorinstanz habe in anderem Zusammenhang angenommen, dass die Klägerin hätte warten müssen, bis die Aktien in Papierform in ihren Besitz gelangt wären. Zudem bringt er vor, dass der Kunde sich auf die Mitteilung der Bank über den Eingang der Aktien müsse verlassen können.
c) Der Beklagte macht geltend, die Klägerin sei ihrer Prüfungspflicht bei der Einbuchung der umgewandelten Aktien in sein Depot mangelhaft nachgekommen. Sie habe pflichtwidrig unterlassen, das Ergebnis der Umwandlung zu überprüfen und sich über den Eingang der Aktien zu vergewissern.
Er bringt in diesem Zusammenhang zwar vor, die Klägerin hätte sich nicht auf die blosse Mitteilung ihrer Substitutin verlassen dürfen, nennt aber keine konkreten Gründe oder Umstände, welche die Klägerin hätten veranlassen müssen, an der Richtigkeit der Mitteilung der Citibank zu zweifeln.
Ohne derartige Gründe, welche die Klägerin zu einer vorsichtigeren Haltung hätten veranlassen müssen, hat sie ihre Sorgfaltspflicht jedoch nicht verletzt, wenn sie der Mitteilung ihrer Depotbank vertraute und usanzgemäss die Aktien als Buchwert dem Depot des Beklagten gutschrieb. Der Beklagte nennt im Übrigen abgesehen vom Zuwarten bis zu einer weiteren Bestätigung über den Eingang der Titel im Depot der Klägerin keine Massnahmen, mit denen die Klägerin die Ausführung des substituierten Auftrags tatsächlich hätte nachprüfen können. Damit erweist sich die Berufung des Beklagten in diesem Punkt als unbegründet.
d) Der Beklagte ist ferner der Meinung, die Klägerin habe ihre Aufklärungs- und Informationspflicht verletzt, indem sie ihm am 19. Dezember 1996 mitteilte, dass sie 16'000 Royal Dutch Aktien für ihn erhalten und in sein Depot eingeliefert habe. Diese Mitteilung war nach Ansicht des Beklagten falsch und unvollständig, weil sich die Aktien weder im Besitz der Klägerin noch in seinem Depot befunden hätten und die Klägerin ihn zudem nicht darüber aufgeklärt habe, dass die Einbuchung bloss auf einer von der Klägerin nicht verifizierten Ankündigung der Citibank beruhte.
Der Beklagte stellt nicht in Abrede, dass er - wären die Zertifikate gültig gewesen - über die umgewandelten Aktien nach der Mitteilung der Klägerin hätte verfügen können.
Er macht auch nicht geltend und nennt keine Umstände dafür, dass er habe annehmen dürfen, die Aktien befänden sich usanzwidrig in Papierform in seinem Depot. Er behauptet schliesslich nicht, dass er der Klägerin zu erkennen gegeben hätte, dass ihm ausnahmsweise die physische Verfügbarkeit der Aktien wichtig gewesen wäre. Bei dieser Sachlage ist nicht zu erkennen, welche Aufklärungspflicht die Klägerin über die Mitteilung hinaus hätte treffen können, dass die - nunmehr handelbaren - Aktien in das Depot des Beklagten eingeliefert worden seien.
e) Zusammenfassend ist festzuhalten, dass die Vorinstanz die vom Beklagten der Klägerin angelastete Verletzung der Sorgfaltspflicht bei der Erfüllung des Auftrags zur Umwandlung der Zertifikate in handelbare Aktien zu Recht verneint hat. Die Mitteilung der Klägerin, sie habe für den Beklagten 16'000 Royal Dutch Aktien erhalten und in sein Depot eingeliefert, ist nach Treu und Glauben nicht in dem Sinne zu verstehen, dass sie die Aktien in Papierform zugesandt erhalten habe; sie bedeutete nach den gegebenen Umständen, dass der Beklagte nach der Umwandlung der nicht handelbaren Zertifikate nun über die Aktien verfügen könne, weil sie ihm usanzgemäss buchmässig von der Klägerin auf seinem Depot gutgeschrieben worden seien. Da die Mitteilung in dieser Bedeutung dem Wissen der Klägerin entsprach und diese nach den im angefochtenen Urteil festgestellten Umständen keinen Anlass zu weiterem Zuwarten oder zu Zweifeln an der Richtigkeit der Nachricht ihrer Substitutin hatte, kann die Erteilung der Auskunft - die sich später als unzutreffend erwies - auch nicht als widerrechtlich im Sinne von <ref-law> betrachtet werden.
2.- Nach der Mitteilung der Klägerin an den Beklagten, dass die umgewandelten Aktien in sein Depot eingeliefert worden seien, wies der Beklagte die Klägerin am 19. Dezember 1996 an, die 16'000 Royal Dutch Aktien sofort zu verkaufen, worauf die Klägerin noch am selben Tag den Verkauf in die Wege leitete. Die Vorinstanz hat offen gelassen, ob die Vereinbarung der Parteien als Verkaufskommission oder zufolge Selbsteintritts der Klägerin als Kaufvertrag zu qualifizieren sei. Der Beklagte rügt in diesem Zusammenhang, die Vorinstanz hätte den Vertrag als Verkaufskommission qualifizieren müssen, woraus sich ergeben hätte, dass die Klägerin als Kommissionärin zur Abklärung der Verfügbarkeit der Aktien verpflichtet gewesen sei und für die Folgen unsorgfältiger Prüfung hafte.
a) Der Beklagte beruft sich auf <ref-law>.
Danach hat der Kommissionär im Fall, dass sich das zugesandte Kommissionsgut in einem erkennbar mangelhaften Zustand befindet, die Rechte gegen den Frachtführer zu wahren, für den Beweis des mangelhaften Zustandes und soweit möglich für Erhaltung des Gutes zu sorgen und dem Kommittenten ohne Verzug Nachricht zu geben. Nach <ref-law>, den der Beklagte ebenfalls als verletzt rügt, hat der Kommissionär dem Kommittenten die erforderlichen Nachrichten zu geben und von der Ausführung des Auftrages sofort Anzeige zu machen. Der Beklagte vertritt die Ansicht, die Klägerin habe ihre auftragsrechtlichen Treue- und Sorgfaltspflichten verletzt, indem sie die Aktien veräusserte, bevor diese in ihrem Besitz gewesen seien. Er legt freilich nicht dar, inwiefern die Klägerin konkret ihre sich aus den zitierten Artikeln ergebenden Pflichten verletzt haben soll. Er hält vielmehr dafür, die Klägerin habe als Kommissionärin die gleichen Sorgfaltspflichten wie als Beauftragte im Rahmen des Umwandlungsauftrages zu beachten und habe diese auch in ihrer Eigenschaft als Kommissionärin verletzt. Die in diesem Zusammenhang gegen das angefochtene Urteil vorgebrachten Einwände sind in den folgenden Erwägungen im Einzelnen zu prüfen.
b) Der Beklagte bringt vor, die Klägerin habe versäumt, sich über den ordnungsgemässen Eingang der angekündigten Aktienlieferung zu vergewissern. Sie wäre nach seiner Auffassung verpflichtet gewesen, die Aktien in Besitz zu nehmen und auf Mängel zu untersuchen, bevor sie den Auftrag zu deren Verkauf erteilte. Diese Vorbringen sind aus Gründen, die bereits erörtert wurden, haltlos. Da nach der Feststellung des Handelsgerichts im Bankgewerbe die Usanz besteht, Titel wie die hier in Frage stehenden dem Kunden bloss als Buchwerte gutzuschreiben, und auch der Beklagte nicht behauptet, der Besitz der Aktien in Papierform sei Voraussetzung für deren Verfügbarkeit gewesen, hat die Vorinstanz eine Verpflichtung der Klägerin zur Verschaffung des Besitzes an den Papieren bundesrechtskonform verneint.
c) Der Beklagte wirft der Klägerin sodann vor, sie habe jegliche Prüfung der Aktien auf Rechts- und Sachmängel unterlassen und ihm damit die Möglichkeit genommen, den Verkaufsauftrag rechtzeitig zu widerrufen. Er hält eine sorgfältige Prüfung besonders für angezeigt, weil die Aktien aus einer ungewöhnlichen Umwandlungstransaktion stammten, und er leitet daraus ab, die Klägerin hätte sich nicht auf die blosse Mitteilung der Substitutin verlassen dürfen.
Die Klägerin hat nach den Feststellungen der Vorinstanz von der Citibank sowohl eine Faxmitteilung wie auch eine Nachricht per Swift erhalten, mit denen ihr die Citibank mitteilte, sie habe die neuen Aktien erhalten und werde sie ins Depot der Klägerin einliefern. Diesen Mitteilungen der von ihr gehörig ausgewählten und instruierten Substitutin durfte die Klägerin vertrauen. Sie musste ohne besonderen Anlass weder die Aushändigung der Titel verlangen noch zuwarten, bis eine weitere Mitteilung über eine allfällige Einlieferung der in Papier verkörperten Aktien in ihr Depot eintraf. Im Übrigen ist festzuhalten, dass den vorinstanzlichen Feststellungen nicht entnommen werden kann, dass der Beklagte auf die nun in der Berufung behauptete Ungewöhnlichkeit der Umwandlungstransaktion hingewiesen und weitere Abklärungen verlangt hätte. Seine diesbezüglichen Vorbringen müssen deshalb als neu gelten und sind wegen des gemäss Art. 55 Abs. 1 lit. c OG im Berufungsverfahren geltenden Novenverbotes unbeachtlich.
d) Da die Klägerin aus der Mitteilung ihrer rechtmässig bestellten Substitutin ohne Verletzung der Sorgfaltspflicht schliessen durfte, die handelbaren Aktien befänden sich in deren Besitz und würden ins Depot der Klägerin eingeliefert, hatte sie keinen Anlass, an der Verfügbarkeit der Aktien zu zweifeln. Dem Beklagten kann daher nicht gefolgt werden, wenn er davon ausgeht, die Klägerin habe ihm Informationen verschwiegen, die sie selbst gehabt habe oder hätte haben müssen. Eine Verletzung der Informationspflicht durch die Klägerin scheidet damit aus. Die Vorinstanz hat somit die vom Beklagten angerufenen Normen des Bundesrechts nicht verletzt, wenn sie der Klägerin auch für den Fall, dass die Vereinbarung vom 19. Dezember 1996 als Verkaufskommission zu qualifizieren wäre, keinen Verstoss gegen die Sorgfaltspflicht angelastet hat.
3.- Die Vorinstanz ist zum Ergebnis gekommen, dass sich der Beklagte mit dem Verkaufsauftrag vom 19. Dezember 1996 zur Lieferung von 16'000 Royal Dutch Aktien an die Klägerin verpflichtet habe. Dieser Verpflichtung ist er gemäss dem angefochtenen Urteil auch nach entsprechender Nachfristansetzung durch die Klägerin nicht nachgekommen, weshalb die Klägerin gestützt auf <ref-law> zum Rücktritt vom Vertrag berechtigt gewesen sei und gemäss <ref-law> ihre eigene Leistung zurückfordern könne. Die Vorinstanz verpflichtete den Beklagten auf dieser rechtlichen Grundlage zur Rückzahlung von USD 300'000.--, entsprechend dem Negativsaldo, der sich auf dessen Konto ergeben hatte, nachdem die Gutschrift aus dem Aktienverkauf storniert worden war.
Der Beklagte erhebt dagegen für den Fall, dass seiner Auffassung über die Verletzung der Sorgfaltspflicht durch die Klägerin nicht gefolgt wird, keine Einwände und rügt insbesondere keinen Verstoss gegen Normen des Bundesrechts.
a) Die Klägerin verlangt dagegen mit der Anschlussberufung die Gutheissung ihrer Klage auch insoweit, als sie Ersatz für den Schaden aus dem Deckungskauf beansprucht. Sie weist - wie im Übrigen bereits der Beklagte in der Berufung - zutreffend darauf hin, dass die Erwägungen der Vorinstanz insoweit widersprüchlich sind, als diese ihr im hier interessierenden Zusammenhang vorwirft, die Aktien weiter verkauft zu haben, bevor sie in ihrem Besitz waren, im Zusammenhang mit der Frage der Sorgfaltspflicht der Klägerin dagegen zum Schluss kommt, dieser könne nicht vorgeworfen werden, dass sie auf die Mitteilungen der Citibank vom 18. und
19. Dezember 1996 über die Einlieferung der Aktien in ihr dortiges Depot abgestellt habe. Dieser Widerspruch ist zu berichtigen, indem auch bei der Beurteilung des von der Klägerin geltend gemachten Schadenersatzanspruches wegen des Deckungskaufs von der Bankenusanz ausgegangen wird, wonach ausländische, nicht an einer Schweizer Börse kotierte Aktien nicht physisch ins Depot des Kunden eingeliefert, sondern als blosse Buchwerte gutgeschrieben werden. Nach Auffassung des Beklagten haftet er aber auch auf dieser Grundlage nicht, weil ihn kein Verschulden für den der Klägerin erwachsenen Schaden treffe.
b) Wer vom Vertrag zurücktritt, hat gemäss <ref-law> Anspruch auf Ersatz des aus dem Dahinfallen des Vertrages erwachsenen Schadens, sofern der Schuldner nicht nachweist, dass ihm keinerlei Verschulden zur Last fällt.
Der Schuldner hat somit zu beweisen, dass er den Verzug in der Erfüllung seiner Leistung nicht zu vertreten hat; das Verschulden wird vermutet (Wiegand, Basler Kommentar, N. 8 zu <ref-law>; Weber, Berner Kommentar, N. 85 zu <ref-law>).
Die Vorinstanz führt den Schaden der Klägerin darauf zurück, dass sie sich über die Verfügbarkeit der Aktien im Irrtum befunden habe. Diesen Irrtum habe der Beklagte weder bewirkt noch zu vertreten, weil er mit der Umwandlung nicht befasst gewesen sei. Diese Beurteilung greift insofern zu kurz, als der Grund für die mangelnde Verfügbarkeit ausser Acht bleibt, der in der Ungültigkeit der vom Beklagten der Klägerin zur Konversion übergebenen Zertifikate lag.
Falls der Beklagte aber von der Ungültigkeit der Zertifikate wissen musste, hätte er sich schuldhaft verhalten. Er wäre nicht gutgläubig, denn guter Glaube ist unverschuldete Unkenntnis des Rechtsmangels (Baumann, Zürcher Kommentar, N. 2 ff. zu <ref-law>; Piotet, La bonne foi et sa protection en droit privé suisse, SJZ 64/1968, S. 81 ff., S. 86). Die Vorinstanz hat im angefochtenen Urteil ausdrücklich offen gelassen, ob der Beklagte gutgläubig war (S. 21), und insbesondere die Einwände der Klägerin nicht geprüft, mit welchen sie die Gutgläubigkeit des Beklagten bezüglich der Gültigkeit der Zertifikate bestritten hat (S. 9 f. und S. 12 f.).
Bei dieser Sachlage ist es dem Bundesgericht nicht möglich, zu prüfen und darüber zu entscheiden, ob der Beklagte nachweisen kann, dass ihm keinerlei Verschulden zur Last fällt.
Die Sache ist deshalb gestützt auf Art. 64 Abs. 1 OG zur Abklärung dieser Frage an die Vorinstanz zurückzuweisen.
4.- Die Berufung des Beklagten ist abzuweisen. Die Anschlussberufung der Klägerin ist dagegen teilweise gutzuheissen und die Sache zur Ergänzung des Sachverhalts und zu neuem Entscheid über das Schadenersatzbegehren der Klägerin betreffend den Deckungskauf an die Vorinstanz zurückzuweisen.
Die Klägerin hat im bundesgerichtlichen Verfahren praktisch vollständig obsiegt, weshalb die Gerichtskosten dem Beklagten aufzuerlegen sind und dieser der Klägerin eine Parteientschädigung zu zahlen hat (Art. 156 Abs. 1, Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung des Beklagten wird abgewiesen und das Urteil des Handelsgerichts des Kantons Zürich vom 14. April 2000 insoweit bestätigt, als der Beklagte verpflichtet wird, der Klägerin USD 300'000.-- nebst 5 % Zins seit 24. Januar 1997 zu bezahlen (Ziffer 1 Absatz 1).
2.- Die Anschlussberufung der Klägerin wird teilweise gutgeheissen, Ziffern 1 Absatz 2 und 2 - 4 des Urteils des Handelsgerichts des Kantons Zürich vom 14. April 2000 werden aufgehoben und die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
3.- Die Gerichtsgebühr von Fr. 9'000.-- wird dem Beklagten auferlegt.
4.- Der Beklagte hat die Klägerin für das bundesgerichtliche Verfahren mit Fr. 10'000.-- zu entschädigen.
5.- Dieses Urteil wird den Parteien und dem Handelsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 14. Dezember 2000
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: