Rechtshilfe an die Ukraine (B 95375), hat sich ergeben: A.- Die Generalstaatsanwaltschaft der Ukraine führt eine Strafuntersuchung gegen P.L._, B._, A._ sowie gegen weitere Personen wegen Bestechung, Amtsmissbrauchs und Veruntreuung. P.L._ war vom September 1995 bis Juli 1997 erster Vizepremierminister bzw. Premierminister der Ukraine. P.L._ wird - zusammengefasst - im Wesentlichen vorgeworfen, er habe - von März 1992 bis Juni 1994 als Vertreter des Präsidenten der Ukraine für die Region Dnepropetrowsk, - von Juni 1994 bis Juli 1995 als Leiter des Gebietssowjets der Volksdeputierten der genannten Region, - von Juli 1995 bis September 1995 als Leiter der Gebietsadministration der genannten Region, - von September 1995 bis März 1996 als Erster Vizepremierminister der Ukraine, - von Mai 1996 bis Juli 1997 als Premierminister der Ukraine und - von Juli 1997 bis zu seiner Flucht vom 17. Februar 1999 als vollamtlicher Volksdeputierter beim ukrainischen Parlament kraft seiner Funktionen über die Untergeordneten die notwendigen Lizenzen, Genehmigungen und Vergünstigungen für die Ausfuhr von Rohstoffen, Ferrolegierungen und Walzgut, das in den staatlichen Werken der Region erzeugt worden sei, erteilt. Für diese Tätigkeit habe er sich in starkem Mass entschädigen lassen. Er habe seine Amtsstellung ausserdem dazu missbraucht, dass ukrainische Staatsunternehmungen Waren zu übersetzten Preisen eingekauft und Rohstoffe und Produkte zu untersetzten Preisen verkauft hätten. Dabei habe es sich um ein Netz internationaler Korruption gehandelt. Im Zusammenhang mit den den Angeschuldigten vorgeworfenen Delikten hat die Schweiz der Ukraine bereits wiederholt Rechtshilfe gewährt. So hat das Bundesgericht mit Urteil vom 24. Dezember 1999 eine von P.L._ erhobene Verwaltungsgerichtsbeschwerde abgewiesen, die eine teilweise Schlussverfügung der Genfer Behörden vom 16. April 1999 betraf. Mit dieser Schlussverfügung wurde einem mehrmals ergänzten Rechtshilfeersuchen vom 13. Januar 1998 entsprochen, soweit es ein Konto von P.L._ bei der Bank Y._ in Genf betraf. Gegenüber anderen Mitbeteiligten wurde demselben von den Genfer Behörden behandelten Rechtshilfeersuchen in Entscheiden des Bundesgerichts vom 25. Juni 1999 (teilweise in BGE 125 II 356 veröffentlicht) und vom 10. September 1999 i.S. M. entsprochen (vgl. auch BGE 125 II 238 betreffend die unaufgeforderte Übermittlung von Informationen im Verfahren gegen Mitbeteiligte). Am 6. März 1998 eröffnete der Generalstaatsanwalt des Kantons Genf ein Strafverfahren wegen Verletzung von Art. 305bis und 305ter StGB wegen der in den Rechtshilfeersuchen erwähnten Vorgänge in Genf. Daraufhin wurde P.L._ am 2. Dezember 1998 bei der Einreise in die Schweiz verhaftet und in Genf in Untersuchungshaft versetzt. Nach seiner Freilassung gegen Kaution wurde er am 19. Dezember 1999 in die Ukraine ausgeschafft. Mit inzwischen rechtskräftigem Urteil vom 28. Juni 2000 hat ihn das Polizeigericht Genf auf Grund von Vortaten in der Ukraine, die er anerkannte, wegen Geldwäscherei zu einer bedingten Gefängnisstrafe von 18 Monaten verurteilt. Nachdem das ukrainische Parlament seinem Mitglied P.L._ im Februar 1999 die Immunität entzogen hatte, floh dieser in die USA. Dort war er zuerst zwecks Auslieferung in die Schweiz inhaftiert und sitzt er jetzt in Untersuchungshaft wegen des Vorwurfs der Geldwäscherei. Mit einer ausführlichen Eingabe vom 20. Juni 1999 stellte die Generalstaatsanwaltschaft der Ukraine ein "umfassendes" Ersuchen bzw. ein "Gesamtrechtshilfeersuchen", das ihre früheren Ersuchen teilweise wiederholte. In diesem neuerlichen Ersuchen wird P.L._ u.a. vorgeworfen, seine amtliche Stellung dazu missbraucht zu haben, um den Besitzern und Leitern der Firmengruppe N._ unrechtmässige Vorteile verschafft und sich über diese auch noch selber persönlich bereichert zu haben. Das Unternehmen "N._" soll im Dezember 1994, als P.L._ Leiter des Gebietssowjets der Volksdeputierten dieser Region gewesen sei, mit Verfügung des Stadtrates der Volksdeputierten von Dnepropetrow gegründet worden sein. Deren Eigentümerin soll aber die Firma N._ in Dublin sein. Nachdem P.L._ als Ministerpräsident der Ukraine eine frühere Verfügung abgeändert habe, habe das Unternehmen N._ Mangan und Ferrolegierungen an russische Firmen verkauft. Es bestehe der Verdacht, dass Verkaufserlöse nicht dem Unternehmen zugeflossen seien. Das Unternehmen N._ soll ferner an Tauschgeschäften beteiligt gewesen sein, bei welchen gegen die Lieferung von Getreide und Produktionsgütern von Russland Erdgas erworben worden sei. Am 7. März 1995 seien 2,5 Mio US-$, die der Angeschuldigte A._, der Direktor des Staatsgutes F._, veruntreut habe, auf das Konto der Firma M._ bei der Bank X._ in Zug überwiesen worden. In der Folge sei von der in Zug domizilierten Firma N._ für P.L._ und dessen Ehefrau T.L._ ein Visum für die Schweiz beschafft worden. Am 3. Mai 1995 seien US-$ 349'977.-- von einem Konto der Firma N._ bei der ehemaligen Bank Y._ in Zug zugunsten des Angeschuldigten B._, eines Mittäters von P.L._, auf ein Konto der Firma Z._ bei der "Bank V._" überwiesen worden. Bereits am folgenden Tag habe B._ das Geld auf eine Bank in Wien weiter überwiesen. Das damalige Bundesamt für Polizeiwesen wies verschiedene Teile des Gesamtersuchens vom 20. Juni 1999 den Behörden des Kantons Zürich zur Behandlung zu. Mit Schlussverfügung vom 27. Januar 2000 ordnete die Bezirksanwaltschaft IV für den Kanton Zürich die Herausgabe verschiedener genau umschriebener Unterlagen von Konten von P.L._, der von ihm beherrschten und inzwischen aufgelösten Firma H._ sowie seiner Frau T.L._ an. Ferner ordnete sie die Übermittlung von Unterlagen zu Hotelaufenthalten von P.L._, zu seiner Einvernahme vom 18. Dezember 1998 in Zürich sowie über Einkäufe von T.L._ an. Diese Verfügung erging in teilweiser Gutheissung des Gesamtrechtshilfeersuchens sowie früherer Ergänzungen vom 28. Oktober 1998, 15. und 29. Dezember 1998 und vom 11. Januar 1999. Gegen die Verfügung vom 27. Januar 2000 rekurrierten P.L._ und T.L._. Das Obergericht des Kantons Zürich wies die Rekurse mit Beschluss vom 29. Mai 2000 ab. Eine von P.L._ und T.L._ hiergegen erhobene Verwaltungsgerichtsbeschwerde hat das Bundesgericht mit Urteil vom 19. September 2000 abgewiesen, soweit darauf eingetreten werden konnte (Verfahren 1A.212/2000). Damit die ukrainischen Behörden abklären können, wohin die vorstehend erwähnten, am 7. März 1995 auf das Konto Nr. XXXXXX-XX der Firma M._ bei der Bank X._ in Zug überwiesenen 2,5 Mio. US-$ geflossen sind, ersuchen sie um Herausgabe von Unterlagen zu diesem Konto. Damit sie ferner feststellen können, aus welchen Mitteln die erwähnte Überweisung von US-$ 349'977.-- (in der Belastungsanzeige der Bank Y._ US-$ 350'000.--) auf ein Konto der Firma Z._ erfolgt ist, verlangen sie auch Unterlagen über das Konto der Firma N._ bei der ehemaligen Bank Y._ (heute Bank X._) in Zug. Die ukrainischen Behörden haben den Verdacht, die Überweisung stamme aus den der Firma M._ überwiesenen 2,5 Mio. US-$. Sodann verlangen die ukrainischen Behörden, die Leiter und Besitzer der Firma N._ seien in Bezug auf die von dieser Firma abgeschlossenen Verträge und dabei allenfalls vereinbarten Provisionszahlungen zu befragen, ebenfalls über die Frage, ob weitere Überweisungen (offensichtlich gemeint: an die Angeschuldigten) vorgekommen sind. Ebenfalls wollen sie erfahren, wohin Erlöse aus Privatisierungen, die von einem Gehilfen des Premierministers P.L._ durchgeführt worden seien, hingekommen sind, sowie Erlöse aus Manganverkäufen, die über das dem Unternehmen N._ gehörende Unternehmen D._ abgewickelt worden seien. Ausserdem soll u.a. K._, der damals für das N._-Unternehmen in Zug tätig war, über Überweisungen, die von "den Firmen" N._ auf Privatkonten von P.L._ erfolgt sein sollen, befragt werden. In allgemeiner Weise verlangen die ukrainischen Behörden zudem noch die Herausgabe von Bankunterlagen zu anderen Konten, die mit der Sache etwas zu tun hätten. Die Bezirksanwaltschaft IV für den Kanton Zürich hatte bereits gestützt auf ein früheres Rechtshilfegesuch der Ukraine, dem ein Swift-Beleg einer polnischen Bank über eine von der Firma N._ veranlasste und über die Bank Y._ in Zug abgewickelte Überweisung von US-$ 349'977.-- beigelegt war, die Bank X._ in Zug als Rechtsnachfolgerin der Bank Y._ aufgefordert, Unterlagen zum Konto der auftraggebenden Firma N._ einzureichen. Weitere in Zürich getätigte Ermittlungen ergaben sodann, dass von einem Konto der Firma N._ bei der Bank Y._ in Zug rund 5 Mio. US-$ auf ein Konto von P.L._ bei der Bank W._ geflossen waren. Die Bezirksanwaltschaft Zürich ersuchte deshalb mit Schreiben vom 26. Februar 1999 die Bank X._ auch um die Einreichung von Bankunterlagen zum belasteten Konto der Firma N._. Die Bank X._ hat die geforderten Unterlagen am 19. März 2000 geliefert. Sie betreffen das Konto YYYYYY-YY, lautend auf die Firma N._, sowie das dazu gehörende Unterkonto YYYYYY-YY-Z. Ebenfalls bereits gestützt auf ein früheres Rechtshilfeersuchen befragte die Bezirksanwaltschaft am 31. März 1999 den in Zug wohnhaften K._ zu den Themen, wie sie erneut im zusammenfassenden Ersuchen vom 20. Juni 2000 aufgeführt sind. Mit Schlussverfügung vom 28. April 2000 ordnete die Bezirksanwaltschaft Zürich die Herausgabe des am 31. März 1999 verfassten Protokolls der Befragung von K._ an, ferner von Unterlagen zum Konto Nr. YYYYYY-YY der Firma N._ bei der Bank X._ in Zug. Hierbei handelte es sich insbesondere um Kontoauszüge für die Jahre 1995 bis 1998 sowie um Detailbelege über die am 3. Mai 1995 erfolgte Überweisung von US-$ 350'000.-- auf das Konto des Angeschuldigten B._ und um namentlich genannte Unterlagen zum Unterkonto Nr. YYYYYY-YY-Z und zum Hauptkonto YYYYYY-YY, die sich auf die zwischen dem 21. Februar und dem 21. August 1996 stattgefundenen neun Überweisungen von insgesamt ca. 5,4 Mio. US-$ auf das Konto VVVV. VVVV des P.L._ bei der Bank W._ beziehen. Auf diese Überweisungen war die Bezirksanwaltschaft bei den damals getätigten Ermittlungen gestossen. Zu Beginn von Ziff. 2 des Dispositivs der Schlussverfügung hielt die Bezirksanwaltschaft fest, die Unterlagen betreffend das Konto der Firma M._ bei der Bank X._ in Zug angesichts der Vielzahl der vorhandenen Dokumente nicht erhoben zu haben. Diese Unterlagen wurden somit von der Schlussverfügung nicht erfasst, d.h. die angeordnete Herausgabe bezieht sich nicht auf sie. Gegen die Schlussverfügung vom 28. April 2000 rekurrierten die Firma N._, Dublin, die Firma M._, Zug, und K._ an das Obergericht des Kantons Zürich. Sie beantragten im Wesentlichen, die Verfügung sei aufzuheben, und die Herausgabe der erhobenen Unterlagen sei zu verweigern; eventuell sei die Herausgabe von Unterlagen zeitlich und inhaltlich zu begrenzen (Detailbelege betreffend Überweisung von US-$ 350'000.-- vom 3. Mai 1995 [Serie 5.10.1, 090 bis 093], Einzelbelege für Überweisungen zu Gunsten von P.L._ auf das Konto Bank W._ [Serie 5.10.1, Einzelbelege ohne Kontoauszüge aus 094 bis 109]). Mit Beschluss vom 17. Juli 2000 wies die III. Strafkammer des Obergerichts den Rekurs ab, soweit er die Firma N._ und K._ betraf (Dispositiv- Ziff. 2). Auf den Rekurs der Firma M._ trat sie nicht ein (Dispo.-Ziff. 1), weil diese von der angefochtenen Schlussverfügung vom 28. April 2000 nicht betroffen wurde. Sodann auferlegte das Gericht die entstandenen obergerichtlichen Kosten, insgesamt ausmachend Fr. 3'374.--, den Rekurrenten unter solidarischer Haftbarkeit (Dispo.-Ziff. 3 und 4). B.- Mit Eingabe vom 25. August 2000 führen die Firma N._ und K._ Verwaltungsgerichtsbeschwerde an das Bundesgericht mit dem Antrag, Ziff. 2-4 des obergerichtlichen Beschlusses vom 17. Juli 2000 seien aufzuheben, und es sei die Rechtshilfe gegenüber der Generalstaatsanwaltschaft der Ukraine vollständig, eventualiter gemäss dem Eventualbegehren im vorinstanzlichen Verfahren teilweise zu verweigern, unter Kosten- und Entschädigungsfolgen zu Lasten des Kantons Zürich. Das Bundesamt für Justiz beantragt, die Beschwerde sei abzuweisen. Die Bezirksanwaltschaft, die Staatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet.