Къщата му става препълнена с гости и туристи и Хемингуей, започващ да става недоволен от живота там, се мести в Айдахо. През 1959 г. той купува дом с изглед към реката, извън Кетчум, и напуска Куба - въпреки че очевидно е останал в добри отношения с правителството на Кастро, казвайки на „Ню Йорк Таймс“, че е „възхитен“ от свалянето на Батиста от Кастро. Той е в Куба през ноември 1959 г., обаче същата година той и Мери решават да напуснат, след като чуват новината, че Кастро иска да национализира имущество, собственост на американци и други чуждестранни граждани. На 25 юли 1960 г. Хемингуей напуска Куба, оставяйки творби и ръкописи в банков трезор в Хавана. След нашествието в залива на прасетата през 1961 г. къщата му е отчуждена от правителството на Куба, заедно с колекцията му от „четири до шест хиляди книги“. Президентът Кенеди урежда Мери Хемингуей да пътува до Куба, където се запознава с Фидел Кастро и получава документите и ръкописите на съпруга си в замяна на даряването на недвижимото си имущество на Куба. През 1964 г. Мери се свърза с Жаклин Кенеди, за да предложи документите на Хемингуей на президентската библиотека и музей на Кенеди.