许多美国作家都有往来，但他们之间并不都是相敬如宾的。在海明威的小说《乞力马扎罗的雪》的后续版本中，他修改了对考利的直接引用，而用这样的描述代替了他的名字:“那是一个美国诗人，他面前放着一堆碟子，而他土豆般的脸上挂着谈论达达主义运动时的愚蠢表情。”约翰·多斯·帕索斯的私人通信也揭示了他对考利的蔑视。但是当考利成为《新共和》的编辑后，一些谨慎的作家为了保护自己的职业生涯，便不再表现出个人对考利的轻蔑。尽管如此，《流放者归来》仍是第一批展现迁移欧洲的美国青年经历的带有自传性质的作品之一。虽然它第一次出版时的销量不