После начала отступления частей ВСЮР осенью 1919 г. и оставления белыми Киева, Шульгин вернулся в Одессу, где сформировал «Отряд особого назначения». Он должен был стать боевой и идеологической единицей «Азбуки» в условиях подполья (на тот случай, если Одесса вновь будет занята советскими войсками). 8 февраля 1920 г. Красная армия заняла Одессу. Шульгин с остатками отряда ушёл из города к румынской границе. Одесская «Азбука» была распылена. Спустя несколько дней Шульгин, которому не удалось выйти на территорию Румынии, был вынужден нелегально вернуться в красную Одессу, где он начал восстанавливать организацию и налаживать её работу в условиях подполья. В городе начинает функционировать одна из ветвей «Азбуки» — «организация Ярошенко». Чекисты смогли выследить эту организацию. Летом 1920 г. было арестовано и расстреляно большое число членов этой группы, но Шульгину удалось незадолго до этого покинуть Одессу вместе со своими двумя сыновьями на вёсельной лодке и добраться до белого Крыма.