Pronto ambos comenzaron una aventura, que se intensificó durante julio y agosto de 1964, y tras la vuelta de la esposa e hijo de Southern a East Canaan, el escritor y su amante se mudaron a una suite del hotel Chateau Marmont.