家族，为当时知名炮术家南部春雍的次子。幼年丧母，因家境贫困进入商店做童工，20岁时进入军队服役，后考入日本士官学校2期炮兵科，明治24年（1891年）7月20日毕业。明治25年（1892年）3月21日，晋升炮兵中尉。1897年以28岁之龄升少佐并调入东京小仓兵工厂，在大佐有坂成章领导下对三十年式歩兵铳进行研制，后受命将三十年式步枪改造为三五式海军步枪。日后，南部麒次郎领命为日本军队研发制式半自动手枪，用以替代老旧性能不佳的二十六年式军用左轮手枪。1902年，南部麒次郎完成了手枪的设计工作，定名为南部