Не переживайте. У меня есть одна знакомая здесь, ее дочка именно в 4 года в сад пошла, говорила только по русски. А сейчас уже по-английски говорит лучше чем мама и без акцента совершенно. У маленьких детей это все гораздо быстрее и легче происходит.