良い質問ですね！「American novel」で一つの用語となるので、ここで最も重要な形容詞は「American」です。それ以外の、名詞「novel」を説明する全ての形容詞は「American novel」の前に置かなければなりません。文における語順の規則はありませんが、この場合は「the great next American novel」だと不自然に聞こえます。これは「the next great」が新しく有名になる可能性のある、何か特定のもの（名詞）を紹介するのによく使われるフレーズだからです。そのためこの文脈では、「next」は「great」の前に置かなければなりません。