Seit Mitte der 1950er Jahre veröffentlichte Miller, neben einigen Kinderbüchern und einer mit Castro sympathisierenden Reportage aus dem Kuba nach der Revolution, mehrere Romane. Der erfolgreichste war der 1959 erschienene "The Cool World" (Kalte Welt) über den 14-jährigen Chef einer Straßengang in Harlem. James Baldwin nannte das Buch „einen der besten Romane über Harlem, die ich je gelesen habe“. Auf der Basis von "The Cool World" schrieb Miller gemeinsam mit Robert Rossen ein gleichnamiges Theaterstück, das am 22. und 23. Februar 1960 am Broadway, im Eugene O'Neill Theater aufgeführt wurde. Die unter der Regie von Shirley Clarke entstandene und von Frederick Wiseman produzierte Verfilmung "The Cool World" (deutscher Verleihtitel: Die lässige Welt), zu der Dizzy Gillespie den Soundtrack lieferte, wurde 1963 auf den Internationalen Filmfestspielen von Venedig uraufgeführt. Der Film wurde 1994 in das National Film Registry aufgenommen.