I 1816 gikk Polidori i lord Byrons tjeneste som hans personlige lege og fulgte Byron på en reise gjennom hele Europa. Ved Villa Diodati, et hus som Byron leide ved Genèvesjøen i Sveits, møtte de Mary Wollstonecraft Godwin og hennes kommende ektemann Percy Bysshe Shelley foruten deres følge Claire Clairmont.