Sachverhalt: A. Die Staatsanwaltschaft I des Kantons Zürich (im Folgenden: Staatsanwaltschaft Zürich) übermittelte am 1. März 2012 den kolumbianischen Behörden unaufgefordert Informationen über die Geschäftsbeziehungen von drei Privatpersonen und einer Stiftung bei der Bank Credit Suisse AG (im Folgenden: CS AG), dies nachdem sie selbst von einer Meldung im Sinne von Art. 305ter Abs. 2 StGB der CS AG an die Meldestelle für Geldwäscherei informiert worden war. Das Schreiben der Staatsanwaltschaft Zürich bezog sich auf die Geschäftsbeziehungen von D._, A._, B._ und der Stiftung C._, Curaçao, Niederlande. Die Staatsanwaltschaft Zürich erkundigte sich bei den kolumbianischen Behörden, ob sie gestützt auf die Angaben ein Rechtshilfeersuchen an die Schweiz richten wollten. Sollte ein solches bzw. ein allfälliges Fristerstreckungsgesuch nicht bis zum 4. Juni 2012 eintreffen, gehe man indessen davon aus, dass auf Rechtshilfe verzichtet werde. Die Staatsanwaltschaft Zürich erstreckte die Frist in der Folge bis am 1. Oktober 2012. Am 18. Oktober 2012 erliess sie eine Nichtanhandnahmeverfügung. Zur Begründung führte sie aus, dass trotz der Fristverlängerung noch kein Rechtshilfeersuchen eingegangen sei und dass sich mangels Informationen über den Hintergrund der gemeldeten Transaktionen die deliktische Herkunft der in der Schweiz verwalteten Vermögenswerte nicht beweisen lasse. Daher falle auch Geldwäscherei (Art. 305bis StGB) als Nachtat ausser Betracht. Bezüglich des Tatbestands der Geldwäscherei fehle zudem die Zuständigkeit, da die Kontoeröffnung und die Anordnung der Transfers von Curaçao aus, im Auftrag des in Bogotá wohnhaften wirtschaftlichen Berechtigten D._, erfolgt sei. Die Untersuchung sei deshalb nicht anhand zu nehmen, wobei eine spätere Eröffnung bzw. Bearbeitung im Rahmen des Rechtshilfevollzugs vorbehalten bleibe. Zwei Tage zuvor, am 16. Oktober 2012, hatte die kolumbianische Botschaft den Schweizer Behörden ein Rechtshilfeersuchen der 7. Sonderstaatsanwaltschaft in Bogotá, Kolumbien, vom 11. Juli 2012 übermittelt, inklusive deutscher Übersetzung (diese datierend vom 24. September 2012). Darin ersuchte die Sonderstaatsanwaltschaft im Wesentlichen um Edition diverser Unterlagen zu den Geschäftsbeziehungen Nr. xxxx-5 (angeblich lautend auf D._) und Nr. yyyy-9 (lautend auf A._) bei der CS AG in Zürich. Mit Eintretensverfügung vom 22. März 2013 entsprach die Staatsanwaltschaft Zürich dem Rechtshilfeersuchen und wies die CS AG an, sämtliche Bankdokumente (namentlich Eröffnungsunterlagen, Konto- und Depotauszüge, Korrespondenzen, interne Aktennotizen, Kundengeschichte sowie Einzelbelege zu Ein- und Ausgängen) der erwähnten Geschäftsbeziehungen zu edieren. Mit Schreiben vom 5. April 2013 kam die CS AG der Anordnung nach. Dabei wies sie darauf hin, dass die Bankbeziehung unter der Stammnummer xxxx-5 nicht auf D._ laute, sondern auf die Stiftung C._. Mit ergänzender Editionsverfügung vom 12. April 2013 ersuchte die Staatsanwaltschaft Zürich die CS AG um Zustellung von Detailbelegen zu sechs spezifischen Transaktionen, welche die CS AG ebenfalls aufforderungsgemäss herausgab. Am 13. Mai 2013 erliess die Staatsanwaltschaft Zürich die Schlussverfügung. Sie ordnete die rechtshilfeweise Herausgabe der edierten Bankunterlagen zu Konto Nr. yyyy-92 (lautend auf A._) und Konto Nr. xxxx-52 (lautend auf die Stiftung C._) an. Gegen die Schlussverfügung erhoben A._, B._ und die Stiftung C._ Beschwerde ans Bundesstrafgericht. Mit Entscheid vom 25. Februar 2014 wies dieses das Rechtsmittel ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 10. März 2014 beantragen A._, B._ und die Stiftung C._, der Entscheid des Bundesstrafgerichts und die Schlussverfügung der Staatsanwaltschaft Zürich seien aufzuheben und das Gesuch um Rechtshilfe sei abzuweisen. Das Bundesstrafgericht verweist in seiner Vernehmlassung auf die Ausführungen im angefochtenen Entscheid. Die Staatsanwaltschaft Zürich hat auf eine Vernehmlassung verzichtet. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Justiz beantragt die Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest.