А с Кавказа - по-русски? Тут, мне кажется, правила как таковые не работают. Есть сложившееся годами употребление предлогов, вот и все. С Кавказа, но из Крыма, с Дальнего Востока, но из Сибири. На Украину - нам привычнее. Но если говорить об отдельном государстве, то все же правильно "в".