I New York hadde Fisk et forhold til Josie Mansfield, en «show-girl» og, ifølge mange kilder, en prostituert. Fisk huset Josie i en leilighet noen få skritt fra s-hovedkvarter på West 23rd Street og fikk bygget en overbygd passasje som koblet bakdøren til hovedkvarteret til hennes hus. Fisks forhold til Josie Mansfield var en skandale i New Yorks selskapsliv.