С 1903 года Бауман возглавлял Московскую организацию большевиков и Северное бюро ЦК партии. Работал в Московском комитете РСДРП. Был арестован, но бежал. Был делегатом II съезда РСДРП от Московской партийной организации, по всем обсуждавшимся вопросам поддержал Ленина и определился как большевик.