Sachverhalt: A. Mit Schreiben vom 22. April 2014 reichte A._ bei der Staatsanwaltschaft Winterthur/Unterland eine Strafanzeige gegen drei Mitarbeiter der Justizvollzugsanstalt Pöschwies ein. Es handelt sich bei diesen um einen Abteilungsleiter (B._, Beschwerdegegner 1), eine Assistenzärztin (C._, Beschwerdegegnerin 2) und den leitenden Arzt (D._, Beschwerdegegner 3). A._ wirft ihnen vor, dafür verantwortlich zu sein, dass Telefongespräche, die er während seines Aufenthalts in der Justizvollzugsanstalt Pöschwies mit seiner damaligen Ehefrau geführt hat, unerlaubterweise abgehört und aufgenommen worden seien. Die Staatsanwaltschaft leitete die Angelegenheit ans Obergericht des Kantons Zürich weiter, damit dieses über die Ermächtigung zur Durchführung einer Strafuntersuchung gegen die angezeigten Beamten entscheide. Sie beantragte, die Ermächtigung zu verweigern. Mit Beschluss vom 3. Juni 2014 verweigerte das Obergericht die Ermächtigung zur Strafverfolgung. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 26. Juni 2014 beantragt A._, der Beschluss des Obergerichts sei aufzuheben und dieses sei anzuweisen, die Ermächtigung zur Strafverfolgung zu erteilen. Zudem sei festzustellen, dass der angefochtene Entscheid Art. 1, 8, 13 und 14 EMRK verletze. Die Oberstaatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft und B._ beantragen die Abweisung der Beschwerde. Die beiden anderen Beschwerdegegner haben sich nicht vernehmen lassen. Der Beschwerdeführer hält in seiner Replik an seinem Standpunkt fest, ebenso B._ in seiner Duplik.