(B 61006), hat sich ergeben:
A.- Das Arrondissementgericht von Rotterdam verur- teilte den niederländischen Staatsangehörigen Y._ am 19. März 1998 wegen Beteiligung an einer kriminellen Organisation und wiederholter Betäubungsmitteldelikte zu einer lebenslänglichen Freiheitsstrafe. Das Gericht stellte fest, dass der Verurteilte über die von ihm geleitete Firma C._ mehrfach Drogen von den Niederlanden nach England ausgeführt hatte. Die Staatsanwaltschaft führt gegen Y._ jetzt noch eine sog. strafrechtliche finanzielle Untersuchung, welche die Einziehung des aus den strafbaren Handlungen erlangten wirtschaftlichen Vorteils zum Gegenstand hat. Nach den bisherigen Ermittlungen soll ein grösserer Geldbetrag von der Bank A._ in Zürich auf ein Konto der H._ Investments Limited in Gibraltar überwiesen worden sein. Diese Summe habe als Anzahlung für ein Landhaus gedient, das die H._ Investments Limited für Y._ in Spanien erworben habe.
Die Staatsanwaltschaft Rotterdam ersuchte in dieser Angelegenheit die Schweizer Behörden am 2. April 1998 um Rechtshilfe. Die Bezirksanwaltschaft IV für den Kanton Zürich entsprach dem Gesuch am 24. August 1998 und ordnete die Herausgabe von Unterlagen über das Konto Nr. 1234 bei der Bank A._ an. Nach Auswertung der übermittelten Dokumente stellte die Staatsanwaltschaft am 11. November 1998 ein ergänzendes Rechtshilfebegehren. Die Bezirksanwaltschaft IV entsprach diesem am 30. November 1999 ebenfalls und verfügte die Herausgabe zahlreicher Unterlagen über das Bankkonto Nr. 5678 bei der Bank B._ sowie eines Protokolls der Zeugeneinvernahme eines Bankangestellten.
X._ wehrte sich als Inhaber des genannten Bankkontos gegen die Rechtshilfeleistung mit einem Rekurs an das Obergericht des Kantons Zürich. Dieses wies das Rechtsmittel am 16. Februar 2000 ab, soweit es darauf eintrat.
B.- X._ hat gegen den Entscheid des Obergerichts vom 16. Februar 2000 eine Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids und die vollumfängliche Abweisung des ergänzenden Rechtshilfeersuchens der niederländischen Behörden.
Die Bezirksanwaltschaft IV, die Staatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet.
Das Bundesamt für Polizeiwesen beantragt die Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Die Leistung von Rechtshilfe an die Niederlande richtet sich in erster Linie nach den Bestimmungen des Europäischen Übereinkommens über die Rechtshilfe in Strafsachen vom 20. April 1959 (EUeR; SR 0.351. 1). Lediglich soweit dieses Abkommen keine Regelung enthält, findet das Bundesgesetz über internationale Rechtshilfe in Strafsachen vom 20. März 1981 (IRSG; SR 351. 1) Anwendung.
Der Beschwerdeführer rügt, die angeordnete Rechtshilfeleistung sei unverhältnismässig. Es trifft zu, dass der Grundsatz der Verhältnismässigkeit bei allen Rechtshilfemassnahmen zu beachten ist (<ref-ruling> E. 3a S. 242).
Hingegen beruft sich der Beschwerdeführer zur Unterstützung der genannten Rüge zu Unrecht auf Art. 63 und 74 IRSG, denn für die vorliegend umstrittene Herausgabe von Beweismitteln sind nicht diese Bestimmungen, sondern Art. 3 ff. EUeR massgebend.
2.- a) Nach dem Grundsatz der Verhältnismässigkeit ist Rechtshilfe nur in dem Umfang zu leisten, in dem sie für ein Verfahren in strafrechtlichen Angelegenheiten im Ausland erforderlich erscheint. Es sind keine Rechtshilfehandlungen vorzunehmen, die von vornherein nicht geeignet sind, das Strafverfahren im Ausland voranzutreiben, und die nur als Vorwand für eine verpönte Beweisausforschung dienen. Welche Beweismittel im Rahmen eines Strafverfahrens erforderlich sind, haben jedoch in erster Linie die Behörden des ersuchenden Staates zu entscheiden. Namentlich bei komplexen Sachverhalten können die Behörden des ersuchten Staates nicht abschliessend beurteilen, welche Beweismittel zweckmässigerweise erhoben werden (<ref-ruling> E. 3a S. 242 f.; <ref-ruling> E. 5b S. 105; <ref-ruling> E. 4a S. 82 f.). Die schweizerischen Behörden sind daher verpflichtet, dem ersuchenden Staat alle diejenigen Aktenstücke zu übermitteln, die sich auf den im Rechtshilfebegehren dargelegten Verdacht beziehen können. Nicht zulässig wäre es, den ausländischen Behörden nur diejenigen Unterlagen zu überlassen, die den im Rechtshilfeersuchen dargestellten Sachverhalt mit Sicherheit beweisen (<ref-ruling> E. 2c S. 371).
b) Der Beschwerdeführer wirft den kantonalen Behörden zunächst vor, zu Unrecht einen Zusammenhang zwischen dem Einziehungsverfahren und seinem Bankkonto Nr. 5678 bei der Bank B._ bejaht zu haben. Tatsächlich werde im Rechtshilfeersuchen und seinen Ergänzungen nicht aufgezeigt, dass das genannte Konto einen Bezug zum Verfahren in den Niederlanden aufweise. Ausserdem ergebe sich auch aus der Zeugenaussage von Z._, dass ein solcher Bezug fehle. Die Herausgabe der Unterlagen über sein Konto werde daher von den niederländischen Behörden gar nicht benötigt und verstosse gegen den Grundsatz der Verhältnismässigkeit.
Diese Kritik ist insofern verständlich, als das ursprüngliche Rechtshilfebegehren vom 2. April 1998 lediglich Aufschluss über das Konto Nr. 1234 bei der Bank A._ verlangte und vom Konto Nr. 5678 nicht die Rede war. Der Beschwerdeführer übersieht jedoch, dass dieses Ersuchen bereits mit Verfügung vom 24. August 1998 abgeschlossen wurde (Verfahren REC 1998/RO246) und die Staatsanwaltschaft im Anschluss daran am 11. November 1999 ein ergänzendes Rechtshilfebegehren stellte. Darin wird nun um Auskunft über das Konto des Beschwerdeführers bei der Bank B._ ersucht, da das Konto Nr. 1234 am 4. November 1996 aufgehoben und der Saldo auf sein Konto umgebucht worden sei. Im ergänzenden Ersuchen wird damit ein Zusammenhang zwischen dem Einziehungsverfahren und dem Bankkonto des Beschwerdeführers hergestellt.
Die niederländischen Behörden haben angesichts des teilweise mit Mitteln des Kontos Nr. 1234 finanzierten Liegenschaftenkaufs in Spanien den Verdacht, dass auch die Mittel, die von diesem Konto auf dasjenige des Beschwerdeführers flossen, aus dem Drogenhandel stammen.
Das Obergericht weist im angefochtenen Entscheid ausserdem darauf hin, dass der Beschwerdeführer seinerzeit im Namen von W._ und Q._ das Konto Nr. 1234 bei der Bank A._ eröffnet habe und als Vermögensverwalter von Q._ tätig gewesen sei. Aus der Zeugeneinvernahme von Z._ geht zudem hervor, dass der Beschwerdeführer auch an der Auflösung der Kontos Nr. 1234 mitgewirkt und die Wertpapiere aus diesem Konto in sein eigenes neu eröffnetes Konto Nr. 5678 übernommen hat. Der Zeuge bestätigt somit einen Geldfluss vom Konto, auf dem sich nach Ansicht der ersuchenden Behörden Drogengelder befanden, auf jenes des Beschwerdeführers. Die Rüge, die Zeugeneinvernahme belege keinen Zusammenhang zwischen dem Konto Nr. 5678 und dem Einziehungsverfahren, ist daher unzutreffend.
Vielmehr liegt es auf der Hand, dass die Unterlagen über das Konto des Beschwerdeführers für das Einziehungsverfahren in den Niederlanden von Bedeutung sein können.
c) Der Beschwerdeführer bestreitet allerdings auch, dass überhaupt ein Geldfluss vom Konto Nr. 1234 auf sein Konto Nr. 5678 stattgefunden habe. Der Einwand ist insofern berechtigt, als entgegen der Darstellung in der Schlussverfügung der Betrag von CHF 104'007. 37 nicht vom Konto Nr. 1234 auf das Konto Nr. 5678 überwiesen wurde, sondern die Transaktion in umgekehrter Richtung stattfand. Die Überweisung des genannten Betrags erfolgte, um einen Sollsaldo auf dem Konto Nr. 1234 auszugleichen. Ihr stand aber die Übertragung der Wertschriften aus dem Konto Nr. 1234 auf jenes des Beschwerdeführers gegenüber, die wertmässig den überwiesenen Betrag deutlich überstieg. Auch wenn der Beschwerdeführer den Saldo in den Niederlanden durch eine Barzahlung an Q._ ausgeglichen hat und damit aus der Transaktion keinen Gewinn erzielte, ändert dies nichts an der Tatsache, dass von den ersuchenden Behörden als kriminell vermutete Mittel durch Transaktionen über sein Bankkonto weiterverschoben wurden. Es steht somit ein Fluss von Mitteln aus dem Konto Nr. 1234 auf das Konto des Beschwerdeführers zur Diskussion, zu deren näherer Untersuchung die verlangten Auskünfte erforderlich sind. Unter diesen Umständen verstösst die verfügte Herausgabe der Unterlagen über das Bankkonto des Beschwerdeführers nicht gegen den Grundsatz der Verhältnismässigkeit.
3.- Die Beschwerde erweist sich demnach als unbegründet und ist daher abzuweisen.
Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 4'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Bezirksanwaltschaft IV für den Kanton Zürich, der Staatsanwaltschaft und dem Obergericht (III. Strafkammer) des Kantons Zürich sowie dem Bundesamt für Polizeiwesen schriftlich mitgeteilt.
_
Lausanne, 16. Juni 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: