Конечно, отказаться. Говорю и как врач, и как "счастливый" обладатель аллергии на животных. Аллергия начала проявляться через несколько месяцев, сначала внимания никто не обращал, а спустя 10 лет развилась астма. Пришлось отдавать взрослую собаку в хорошие руки. Рыдали все, но вариантов не было. Сейчас в квартирах с животными стараюсь не бывать. Вам повезло, что реакция проявилась уже сейчас, и вы не успели привязаться к котенку и приручить его.