Что значит не пошел? Я была в такой же ситуации по приезду - с детьми и без разрешения на работу. Ездила на ESL курсы для взрослых по вечерам, учила язык с детьми, читала книги сначала детские на английском, потом подростковые и т.д. До получения разрешения на работу язык вполне подтянула до приемлемого уровня. Сейчас работаю и проблем с языком не испытываю. У вас просто желания не было и нет язык учить.