opened
wting861006
username_0
程序运行到此处就不再往下运行了，没有报错
<img width="634" alt="image" src="https://user-images.githubusercontent.com/25969464/58548996-18129e00-823d-11e9-877b-9a1e283617d7.png">


sudo kill -9 27155强行kill进程时无效，系统直接死机。
我反复重装系统，确保没有其他干扰，尝试过cuda9.0+mxnet-cu90和cuda10.0+mxnet-cu100，都是同样的效果。
我在windows10下运行则一切正常，排除硬件故障。请问我应该如何做才能正常运行？
ubuntu18.04下运行train.py卡死
issue
created
wting861006
username_0
经过测试，发现单独使用一块显卡的时候不会卡死，这个现象在windows下不会出现。另外，我在ubuntu下使用darknet训练物体检测，使用4块gpu是能够正常工作的，是不是mxnet有bug？我使用的是1.4.1版本
comment
created
wting861006
username_0
windows下可以训练，为什么还要到ubuntu下训练？
我是新手，学习insightface有半个月了，聊一下我遇到的一些问题吧。
1、训练速度：
1.1、我看了一下其他人的反馈，用4块1080ti训练的per-batch-size设置成128可以正常运行，而我设置成60就会出现menory out，我设置成50.
1.2、我用4块gpu训练，得到的速度是200左右，我有看到其他人说把dataset放到ssd上能达到1000以上，我试过了没有什么效果。我还有一台电脑上有一块titanV的GPU，在这台机上训练速度能达到180左右，这种现象让我很困惑。4块1080ti的性能只比1块titanv快20？
2、acc、lossvalue、verification
使用--loss arcface，acc=0.98，lossvalue=0.4 verification（lfw，cfp-fp，age-db）=0.5左右
我使用--loss softmax，--pretrained加载arcface保存的model，acc=0,lossvalue=10,verification（lfw，cfp-fp，age-db）=0.5左右
基于以上两点，我开始怀疑是不是环境有问题。难道就我遇到这样的问题吗？
comment
created
nttstar
username_1
@username_0 尝试下编译安装mxnet, 数据尽量都放在SSD
comment
created
AmigoCDT
username_2
Res50在12G显存上batch大概可以设置为128，Res100的batch最大应该只能设置到64。。。你的batch是50，会不会是没有用`train_parall.py`或者没有做`cp train_parall.py train.py`？
comment
created
wting861006
username_0
我没有cp train_parall.py，用的是原来的那个train.py。1080ti batch最多设到52，再多就mem out了。
comment
created
AmigoCDT
username_2
可以试下train_parall.py，这个脚本对多卡做了优化，使用多卡的时候可以增大Batch_size。。。如果用train.py，数据集的类别越多，相同显存下可以设置的Batch_size越小。
comment
created
wting861006
username_0
好的，我编译安装一下mxnet后试试。谢谢你的热心回答
comment
created
mnikitin
username_3
@username_1 @username_2 Hello, guys! I have some issues with the batch size, too. 
Using my own dataset and running train_parall.py on 1080ti GPUs server, I can train resnet50 with per_batch_size=92. 
At the same time, I can set roughly the same per_batch_size for mxnet's Module.fit() which doesn't do any center matrix optimizattions. It works slower then parallel training, but memory consumption is the same.

Any ideas why train_parall.py doesn't let me use bigger batch_size?
comment
created
EtheneXiang
username_4
@username_2 
老哥，请教一个问题，我尝试了下，你说的parall这个文件，直接报错了。我就仅仅把命令行里面的train.py换成了train_parall.py，没做其他任何改动【使用方法全部安装官方的来的，用train.py就可以启动训练】我的训练命令如下：

export MXNET_CPU_WORKER_NTHREADS=24
export MXNET_CUDNN_AUTOTUNE_DEFAULT=0
export MXNET_ENGINE_TYPE=ThreadedEnginePerDevice
CUDA_VISIBLE_DEVICES='0,1,2,3,4,5,6,7' python2 -u train.py --dataset xxxx--network r100 --loss arcface 

错误信息如下：，求指点迷津。

Traceback (most recent call last):
File "train_parall.py", line 336, in 
main()
File "train_parall.py", line 333, in main
train_net(args)
File "train_parall.py", line 188, in train_net
assert False
AssertionError
下面是错误提示的地方
![image](https://user-images.githubusercontent.com/49241737/59846454-848f4180-9392-11e9-81be-6beb78c44f85.png)

关于这个问题，我看作者自己给的例子也是这样说的https://github.com/deepinsight/insightface/tree/master/recognition
Note: Replace train.py with train_parall.py in following examples if you want to use parallel acceleration.
comment
created
wting861006
username_0
@username_1 我重装了一个新系统，编译安装mxnet，在使用多gpu train.py或train_parall.py训练的时候依然卡死，对此你能给我一些建议来排查问题吗？谢谢！
comment
created
zfs1993
username_5
你好，train_parall.py，这个脚本不输出acc和loss，那我通过看什么指标来调节参数呀
comment
created
speshowBUAA
username_6
@username_0 
/home/wangting/.local/lib/python2.7/site-packages/mxnet/module/base_module.py:505: UserWarning: Optimizer created manually outside Module but rescale_grad is not normalized to 1.0/batch_size/num_workers (0.25 vs. 0.015625). Is this intended?
请问出现这句话是什么意思呢？需要解决吗？
comment