Fleming tenía por costumbre practicar golf y esquí y visitar algunos lugares del sur de Francia durante sus días de asueto, y era asiduo a la lectura —en 1936 estuvo afiliado a un club de lectores dirigido por Victor Gollancz, y también era responsable de publicar "London Book Collector"—.