Repository: mlcommons/inference
Issue: [Stable Diffusion Reference]: incorrect  system of units(`it/s` -> `s/it`) when experiments run
Root cause: Documentation Deficiency

When I run experiment I see progress bars with `system of units` like `4.13it/s`.

```
time python3 main.py --dataset "coco-1024" --dataset-path coco2014_full --profile stable-diffusion-xl-pytorch --model-path model/stable_diffusion_fp16/  --dtype fp16 --device cuda  --scenario SingleStream --model-name stable-diffusion-xl  --output results_SS --ids-path tools/sample_ids.txt --time 20
...
Keyword arguments {'safety_checker': None} are not expected by StableDiffusionXLPipeline and will be ignored.
Loading pipeline components...: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00,  9.36it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.13it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.92it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.93it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.94it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.93it/s]
INFO:main:starting TestScenario.SingleStream
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.92it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.91it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.90it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.90it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.90it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 20/20 [00:04<00:00,  4.89it/s]

```
According to `mlperf_log_summary.txt` we have `6 queries`
```
================================================
MLPerf Results Summary
================================================
SUT name : PySUT
Scenario : SingleStream
Mode     : PerformanceOnly
90th percentile latency (ns) : 4568023027
Result is : INVALID
  Min duration satisfied : Yes
  Min queries satisfied : NO
  Early stopping satisfied: NO
Recommendations:
 * The test exited early, before enough queries were issued.
   See the detailed log for why this may have occurred.
Early Stopping Result:
 * Only processed 6 queries.
 * Need to process at least 64 queries for early stopping.
...
```
And we have 6 progress bars after `INFO:main:starting TestScenario.SingleStream`.
 `4.13it/s` should mean time in seconds per iteration. 
Need to change `it/s` to `s/it`.


But what's the 20 shown in the progress bar? 

`20` is `num_inference_steps`
- https://github.com/mlcommons/inference/blob/master/text_to_image/backend_pytorch.py#L379
- https://github.com/mlcommons/inference/blob/master/text_to_image/backend_pytorch.py#L19

Thank you @maria-18-git. So, for each query, it does 20 steps in about 4s (as per the progress bar). So it/s is fine right? 

@arjunsuresh , I don’t have any question. It/s is right.
Thank you for your comments.