渡江后攻取皖南、浙江等地，胡大海率兵把元朝将领杨完者打败，苗族将领蒋英、刘震、李福等归降，任江南行省参知政事，镇守浙江金华。胡大海军纪严明，曾说：“吾武人不知书，惟知三事，不杀人，不掠妇女，不焚毁庐舍。”。至正十八年（1358年），胡大海长子在婺州因酿酒，违背军令，被朱元璋处死，有人劝告朱元璋不要这样作，以避免胡大海兵变。朱元璋说：“宁可让胡大海造反，也不能让我的军令无法推行。”最后，朱元璋亲手杀了胡大海的长子。至正十九年（1359年），朱元璋命枢密院判事耿再成、参军胡大海率兵取处州。至正二十二