В 2004 году Байрон Скотт был назначен главным тренером клуба «Нью-Орлеан Хорнетс». Первые сезоны его работы в «Хорнетс» связаны с тяжёлыми для команды обстоятельствами: в 2004 году в связи с реорганизацией НБА клуб был переведён из Восточной конференции в Западную и оказался в одном дивизионе с сильными командами «Сан-Антонио Спёрс», «Хьюстон Рокетс» и «Даллас Маверикс». В 2005 году из-за разрушений в Новом Орлеане, вызванных ураганом Катрина «Хорнетс» на два сезона переехали в Оклахома-сити. Первые три сезона под руководством Скотта «Хорнетс» вели упорную борьбу за выход в плей-офф, но каждый раз она завершалась неудачно.