Потому что аллюзия подразумевает аналогию того, о чём идёт речь, и некоего "общеизвестного факта". А здесь никакой аналогии нет: речь изначально идёт о Дюке. Вот, например, фраза "Вы просто смОтрите со второго люка" в значении "Вы всё опошляете, видя то, чего нет" - аллюзия