Работает только до определённого возраста. Потом все равно нужна грамматическая основа, на которую наложится разговорная практика. Иначе понимать-то научитесь, но речь будет на уровне "не понимай, насильника". Я знаю женщину, которая вот так на слух и учила в иммиграции, ни одного учебника, ни учителя. Уже почти 20 лет живёт, а иногда реально невозможно понять, что она хочет сказать. Поток слов, никак между собой не связанный.