Add multithread

Signed-off-by: Fei Yang <feiy@nvidia.com>