Den 28. juli 1837 utnevnte pave Gregor XVI ham til biskop av Nashville. Biskopen av Saint Louis, Joseph Rosati C.M., bispeviet ham i katedralen i Bardstown den 16. september 1838; medkonsekratorer var biskopen av Vincennes, Simon Bruté de Rémur S.J., og koadjutorbiskop av Bardstown, Guy Ignatius Chabrat P.S.S. Biskop Miles ankom alene til Nashville, og bodde først i et pensjonat der han nesten umiddelbart ble alvorlig febersyk. En tilfeldig gjennomreisende prest kom til, og bistod ham slik at han klarte seg gjennom sykdommen. Hans lille flokk katolikker bestod av om lag hundre familier, spredt rundt i hele delstaten. Biskop Miles reiste rundt på hesterygg for å besøke dem.