support multi gpu and remove some bug
#16
by
yuanzhoulvpi
- opened
- 支持多GPU训练，之前是不支持的（主要做的是修改了部分变量的device id）
- 在多卡并行的时候，会遇到（TypeError: 'NoneType' object is not subscriptable）。主要是因为
RotaryEmbedding的forward部分。已经把这个bug修改了。
yuanzhoulvpi
changed pull request status to
closed