Сан-Диего Чарджерс
Клиффорд окончил старшую школу Брукс Каунти в Куитмене. Затем учился в Университете Троя в Алабаме. На драфте НФЛ 1998 года Айвори был выбран клубом «Сан-Диего Чарджерс» в шестом раунде под общим 155 номером. В чемпионате НФЛ за команду не выступал.