В 1904 году его ссылка закончилась, и Б. Авилов переехал в Харьков, работал статистиком Харьковского земства. Там он стал одним из руководителей образовавшейся в 1905 году большевистской группы «Вперёд». В качестве представителя этой группы участвовал в III Съезде РСДРП в качестве делегата с совещательным голосом, где занял примиренческую позицию по отношению к меньшевикам.