夏云杰1903年出生于山东省沂水县四十里堡镇，读了四年私塾后辍学参加劳动。1926年3月逃荒至黑龙江省汤原县，后迁居至太平川镇。1932年9月，夏云杰进入中共汤原中心县委组织的积极分子培训班学习共产主义，后经中共满洲省委巡视员冯仲云介绍，夏云杰加入中国共产党。
组建游击队.1933年8月，中共汤原中心县委召开第六次扩大会议，夏云杰当选为县委委员，主要负责军事工作。会后，夏云杰将汤原县各支义勇军组织成立为东北民众联合义勇军，下属3个大队，共550余人。8月14日，义勇军夜袭汤原县城，