Ngày 22 tháng 9 năm 1940, quân Nhật bất ngờ tấn công Lạng Sơn. Quân Pháp đồn trú tại đây hoảng loạn đã tháo chạy qua châu Bắc Sơn. Nhân cơ hội này, ông lãnh đạo các đội tự vệ tấn công và cướp súng của tàn quân Pháp tại đèo Tam Canh để tự vũ trang cho mình.