八年五月初七（1882年6月22日），冷遹生于江苏省丹徒县黄墟镇。1902年冷遹考入安庆武备学堂，化名“雨秋”秘密参加柏文蔚领导的“同学会”，并且和“岳王会”有联系。1905年冬毕业，分配到南京新编陆军第九镇第三十三标第二营任右队队官。第九镇内第二营管带赵声（后升任第三十三标标统）等革命党人活动积极，冷遹在赵的影响下于1906年加入中国同盟会。1907年秋，冷遹被第九镇解除军职，后来投奔安徽新军第31混成协，任管带。1908年与“岳王会”骨干熊成基等密谋利用太湖秋操之机，发动新军起义，冷遹被推为起义总指挥。