Videopose3Dを理解してみる1（すこし変えてみる）

Videopose3Dを眺め始めてから3カ月がたちましたが理解ができてないことに気づいたのでそれぞれの関数を調べて理解してみたいと思います。
（ぜんぜんPythonのライブラリについて知らない）
かなり理解不足なのでメモレベルから書き出してます、認識・理解間違いがあるなと思った方はぜひご指摘していただけるとありがたいです。

#まずVideopose3Dとは

facebookresearchが公開している動画の3D推定が行えるコードです。
Caffe2とDetectronを使用しています。

```3D human pose estimation in video with temporal convolutions and semi-supervised training```

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/391319/50787426-08b2-546a-f1c0-fecd55262af3.png)

くわしくは[こちら](https://github.com/facebookresearch/VideoPose3D)から
ちなみに有志の実装を利用してコードを実行しています。
それは[こちら](https://github.com/tobiascz/VideoPose3D)をチェックしてみてください。

#コードを理解する1

##infer_simple.py
/detectron_tools/infer_simple.py

このコードでは動画を切り出した写真から、Detectronを用いて2D推定を行ってVideopose3Dの入力になるような結果を出力しています。
この記事では、各命令が呼び出されたときにそれを定義しているコードに遷移してその内容を読み取り理解していきます。
そのため、少し読みずらいところも多いかと思いますが、許してください。

>infer_simple.pyの入力：
・動画を切り出した数フレーム（ファイル）
・COCOで検出したキーポイントを出力するための重みファイル
・e2e_keypoint_rcnn_R-101-FPN_s1x.yaml
infer_simple.pyの出力：
・2Dposeが書き込まれた画像集（ファイル）
・.npzファイル

このコード実行時の私のコマンド上での入力から理解のヒントにしていきましょう。

```shell:shell
 python infer_simple.py
 --cfg e2e_keypoint_rcnn_R-101-FPN_s1x.yaml
 --output-dir file0703/cheer1（出力するファイル）
 --image-ext jpg
 --wts model_final.pkl 
 cut0703(動画を分割した画像がたくさん入ってるファイル）
```


ちなみにyamlがわからなかったので、頭から失礼しますがすこしyamlについて。

###yamlって何？

>構造化されたデータを表現するのに便利なファイルの書き方ルールの一つの名前

引用：[yamlとは](https://wa3.i-3-i.info/word13801.html)

yaml型の例として、今回の入力のe2e_keypoint_rcnn_R-101-FPN_s1x.yamlの一部を紹介します。

```yaml:e2e_keypoint_rcnn_R-101-FPN_s1x.yaml
MODEL:
  TYPE: generalized_rcnn
  CONV_BODY: FPN.add_fpn_ResNet101_conv5_body
  NUM_CLASSES: 2
  FASTER_RCNN: True
  KEYPOINTS_ON: True
NUM_GPUS: 8
SOLVER:
  WEIGHT_DECAY: 0.0001
  LR_POLICY: steps_with_decay
  BASE_LR: 0.02
  GAMMA: 0.1
  MAX_ITER: 130000
  STEPS: [0, 100000, 120000]
FPN:
  FPN_ON: True
  MULTILEVEL_ROIS: True
  MULTILEVEL_RPN: True
FAST_RCNN:
  ROI_BOX_HEAD: head_builder.add_roi_2mlp_head
  ROI_XFORM_METHOD: RoIAlign
  ROI_XFORM_RESOLUTION: 7
  ROI_XFORM_SAMPLING_RATIO: 2
```

いろんなデータが書き込まれていますね。


それでは本題に戻ってコードを読んでいきたいと思います。
まずc2.py内のimport_detectron_ops命令が呼び出されています。

```python:infer_simple.py
import detectron.utils.c2 as c2_utils
c2_utils.import_detectron_ops()
```
遷移してみましょう。

```python:c2.py
def import_detectron_ops():
    """Import Detectron ops."""
#detectronのopsライブラリを取り入れます
#見つけたらprint('Found Detectron ops lib: {}'.format(ops_path))
    detectron_ops_lib = envu.get_detectron_ops_lib()

#caffe2にcustom operatersを含む動的ライブラリをロードする
　　dyndep.InitOpsLibrary(detectron_ops_lib) 
```

結果としては、caffe2にdetectronのopsライブラリをロードしてcaffe2内でdetectronを使えるようにしているようです！

（いろいろパッケージ入れてるところは省きました）
本コードに戻ります。


```python:infer_simple.py
# OpenCL may be enabled by default in OpenCV3; disable it because it's not
# thread safe and causes unwanted GPU memory allocations.
cv2.ocl.setUseOpenCL(False)
```
Opencv2でGPUを使えないようにしています。
使えるようにしても速度はあまり変わらなかった（先輩情報）ので、GPUが無駄にアクセスしないようにするためにやっていると考えられます。

次に最初の関数parse_argsの定義に入ります。
（関数内でも区切って紹介します。読みづらくてすみません！）


```python:infer_simple.py
def parse_args():
    parser = argparse.ArgumentParser(description='End-to-end inference')
```
parser知らないので調べました。

###parserって何？

[ArgumentParserの使い方を簡単にまとめた](https://qiita.com/kzkadc/items/e4fc7bc9c003de1eb6d0)
こちらを参考に理解してみます。

* Pythonの実行時にコマンドライン引数を取りたいときに有効
* 様々な形式で引数を指定できる

今回のinfer_simple.pyの引数多いんですが、これのおかげでそれを実現できてたのかと理解できました。

ちなみに・・・

* dest:サブコマンド名を格納する属性の名前です。デフォルトはNoneで値は格納されません。
* help:ヘルプ出力に表示されるサブパーサーグループのヘルプです。フォルトはNoneです。
* type：型指定
* default：初期値設定

それでは戻ります。

```python:infer_simple.py
    parser.add_argument(
        '--cfg',
        dest='cfg',
        help='cfg model file (/path/to/model_config.yaml)',
        default=None,
        type=str
    )
    parser.add_argument(
        '--wts',
        dest='weights',
        help='weights model file (/path/to/model_weights.pkl)',
        default=None,
        type=str
    )
    parser.add_argument(
        '--output-dir',
        dest='output_dir',
        help='directory for visualization pdfs (default: /tmp/infer_simple)',
        default='/tmp/infer_simple',
        type=str
    )
    parser.add_argument(
        '--image-ext',
        dest='image_ext',
        help='image file name extension (default: jpg)',
        default='jpg',
        type=str
    )
    parser.add_argument(
        '--always-out',
        dest='out_when_no_box',
        help='output image even when no object is found',
        action='store_true'
    )
    parser.add_argument(
        '--output-ext',
        dest='output_ext',
        help='output image file format (default: pdf)',
        default='pdf',
        type=str
    )
    parser.add_argument(
        '--thresh',
        dest='thresh',
        help='Threshold for visualizing detections',
        default=0.7,
        type=float
    )
    parser.add_argument(
        '--kp-thresh',
        dest='kp_thresh',
        help='Threshold for visualizing keypoints',
        default=2.0,
        type=float
    )
    parser.add_argument(
        'im_or_folder', help='image or folder of images', default=None
    )
    if len(sys.argv) == 1:
        parser.print_help()
        sys.exit(1)
    return parser.parse_args()
```

<font color="Red">一つ目の関数parse_args()では**入力をそれぞれのdestという属性に格納している**ことがわかりました。</font>


次はmain()をよく見ていきます。

```python:infer_simple
def main(args):
    glob_keypoints = []

    logger = logging.getLogger(__name__)
```

１行目でglob_keypointsという配列を用意しています。
loggingはコード実行中にログを書くためのモジュールのようです。
[Pythonでお手軽にかっこよくlogging](https://qiita.com/koshian2/items/e45d05405faebf770c22)を参考にしました。
logはこのコードの内容としては重要そうじゃないので軽い理解で済ませて次に！

```python:infer_simple
    merge_cfg_from_file(args.cfg)
    cfg.NUM_GPUS = 1
```
使うGPUの数を１に指定します。

ここではmerge_cfg_from_file関数が呼び出されています。
ここでの入力はargs.cfgつまり、e2e_keypoint_rcnn_R-101-FPN_s1x.yamlです。
detectron/core/config.py内で定義されています。

```python:config.py
"""
Most tools in the tools directory take a --cfg option to specify an override
file and an optional list of override (key, value) pairs:
 - See tools/{train,test}_net.py for example code that uses merge_cfg_from_file
 - See configs/*/*.yaml for example config files
Detectron supports a lot of different model types, each of which has a lot of
different options. The result is a HUGE set of configuration options.
"""

def merge_cfg_from_cfg(cfg_other):
    """Merge `cfg_other` into the global config."""
    _merge_a_into_b(cfg_other, __C)
```
ここでcfgファイルとは何なのか気になったので調べてみました。

###cfg fileって何？

* config fileのことで、設定ファイルのこと
* 変更するかもしれない値（設定値）が書いてあるファイルのこと

参考：[config fileとは？](https://wa3.i-3-i.info/word1686.html)

それではmerge_cfg_from_cfg関数に戻ると、_merge_a_into_bという関数が二つの引数cfg_other, __Cを取って呼び出されています。
ここのcfg_otherの入力はargs.cfgつまり、e2e_keypoint_rcnn_R-101-FPN_s1x.yamlです。＿Cはこの関数を定義しているconfig.py上で定義されています。

```python:config.py
__C = AttrDict()
# Consumers can get config by:
#   from detectron.core.config import cfg
cfg = __C
```
上のconfig.pyでCはAttrDictクラスだとわかります。
AttrDictクラスの初期設定（＿＿C)では、継承する仕組みをもっており、"＿dict__"がFalseになっています。詳しくはcollections.pyを読んでみましょう。
また、その後cfgに＿＿Cを代入しています。


```python:collections.py
class AttrDict(dict):

    IMMUTABLE = '__immutable__'

    def __init__(self, *args, **kwargs):
        super(AttrDict, self).__init__(*args, **kwargs)
        self.__dict__[AttrDict.IMMUTABLE] = False

    def __getattr__(self, name):
        if name in self.__dict__:
            return self.__dict__[name]
        elif name in self:
            return self[name]
        else:
            raise AttributeError(name)

    def __setattr__(self, name, value):
        if not self.__dict__[AttrDict.IMMUTABLE]:
            if name in self.__dict__:
                self.__dict__[name] = value
            else:
                self[name] = value
        else:
            raise AttributeError(
                'Attempted to set "{}" to "{}", but AttrDict is immutable'.
                format(name, value)
            )

    def immutable(self, is_immutable):
        """Set immutability to is_immutable and recursively apply the setting
        to all nested AttrDicts.
        """
        self.__dict__[AttrDict.IMMUTABLE] = is_immutable
        # Recursively set immutable state
        for v in self.__dict__.values():
            if isinstance(v, AttrDict):
                v.immutable(is_immutable)
        for v in self.values():
            if isinstance(v, AttrDict):
                v.immutable(is_immutable)

    def is_immutable(self):
        return self.__dict__[AttrDict.IMMUTABLE]
```

それではinfer_simple.pyに戻ります。

```python:infer_simple.py
    args.weights = cache_url(args.weights, cfg.DOWNLOAD_CACHE)
```
cache_urlの引数はこのとき
⇒第一引数：urlかfile, 第二引数：キャッシュディレクトリ（？）

なお、このときargs.weightはmodel_final.pklなので第一引数はcoco keypointsの重みファイルです。なのでファイルを返します。


```python:io.py
def cache_url(url_or_file, cache_dir):
    """Download the file specified by the URL to the cache_dir and return the
    path to the cached file. If the argument is not a URL, simply return it as
    is.
    """
    is_url = re.match(
        r'^(?:http)s?://', url_or_file, re.IGNORECASE
    ) is not None

    ★if not is_url:
        return url_or_file

    url = url_or_file
    assert url.startswith(_DETECTRON_S3_BASE_URL), \
        ('Detectron only automatically caches URLs in the Detectron S3 '
         'bucket: {}').format(_DETECTRON_S3_BASE_URL)

    cache_file_path = url.replace(_DETECTRON_S3_BASE_URL, cache_dir)
    if os.path.exists(cache_file_path):
        assert_cache_file_is_ok(url, cache_file_path)
        return cache_file_path

    cache_file_dir = os.path.dirname(cache_file_path)
    if not os.path.exists(cache_file_dir):
        os.makedirs(cache_file_dir)

    logger.info('Downloading remote file {} to {}'.format(url, cache_file_path))
    download_url(url, cache_file_path)
    assert_cache_file_is_ok(url, cache_file_path)
    return cache_file_path
```


結果的にURLではないのでそのままファイルを返します。

元のコードに戻ります。

```python:infer_simple.py
    assert_and_infer_cfg(cache_urls=False)
```

これはdetectron/core/config.py内で宣言されている関数でした。
config.pyを見てみたいと思います。

```python:config.py
def assert_and_infer_cfg(cache_urls=True, make_immutable=True):
    """Call this function in your script after you have finished setting all cfg
    values that are necessary (e.g., merging a config from a file, merging
    command line config options, etc.). By default, this function will also
    mark the global cfg as immutable to prevent changing the global cfg settings
    during script execution (which can lead to hard to debug errors or code
    that's harder to understand than is necessary).
    """
    if __C.MODEL.RPN_ONLY or __C.MODEL.FASTER_RCNN:
        __C.RPN.RPN_ON = True
    if __C.RPN.RPN_ON or __C.RETINANET.RETINANET_ON:
        __C.TEST.PRECOMPUTED_PROPOSALS = False
    if cache_urls:
        cache_cfg_urls()
    if make_immutable:
        cfg.immutable(True)
```

よって、cache_cfg_urls()とcfg.immutable(True)が呼び出されます

```python:config.py
def cache_cfg_urls():
    """Download URLs in the config, cache them locally, and rewrite cfg to make
    use of the locally cached file.
    """
    __C.TRAIN.WEIGHTS = cache_url(__C.TRAIN.WEIGHTS, __C.DOWNLOAD_CACHE)
    __C.TEST.WEIGHTS = cache_url(__C.TEST.WEIGHTS, __C.DOWNLOAD_CACHE)
    __C.TRAIN.PROPOSAL_FILES = tuple(
        cache_url(f, __C.DOWNLOAD_CACHE) for f in __C.TRAIN.PROPOSAL_FILES
    )
    __C.TEST.PROPOSAL_FILES = tuple(
        cache_url(f, __C.DOWNLOAD_CACHE) for f in __C.TEST.PROPOSAL_FILES
    )
```

global cfgをIMMUTABLE（不変）にしています。
簡単に変えられちゃうと都合が悪いんですね！

```python:infer_simple.py

    assert not cfg.MODEL.RPN_ONLY, \
        'RPN models are not supported'
    assert not cfg.TEST.PRECOMPUTED_PROPOSALS, \
        'Models that require precomputed proposals are not supported'

    model = infer_engine.initialize_model_from_cfg(args.weights)
    dummy_coco_dataset = dummy_datasets.get_coco_dataset()
```

最初の４行でモデルの形等を絞って例外を投げます。

modelにキャッシュファイルのパスを引数にとったinitinalize_model_from_cfg関数の戻り値を代入しています！
detectron/core/test_engine.py内の関数initialize_model_from_cfgを使っているので、test_engine.pyを見てみましょう。

少し長くなってしまったので[Detectronの中身を一部理解してみる](https://qiita.com/kwnbbnwk/items/027390f77b6a4b9d2f58)にまとめました。
データ並列性についても少し勉強していて、かなり長かったです。
結果としては、initialize_model_from_cfg関数によってmodelをDetectionModelHelperクラスに変更して、様々な値やフラグを初期化しているのだとわかりました。

それでは戻ります。
次の行では、dummy_coco_datasetにdummy_coco_datasetを代入します。

```python:infer_simple.py
   if os.path.isdir(args.im_or_folder):
        im_list = glob.iglob(args.im_or_folder + '/*' + '.png')
    else:
        im_list = [args.im_or_folder]
    im_list = sorted(im_list)
```

os.path.isdir()関数は、パス文字列を引数にとり、ディレクトリ（フォルダ）が存在するか否かをBoolean型で返します。
参考：[Pythonでファイル・ディレクトリの存在確認](https://note.nkmk.me/python-os-exists-isfile-isdir/)

ここでim_or_folderは動画を切り出した画像のフォルダになっているのでif文を実行します。

if文内ではglobモジュールの関数が使われています。

###globモジュールって何？

>ワイルドカード"*"などの特殊文字を使って条件を満たすファイル名・ディレクトリ名などパスの一覧をリストやイテレータで取得できるモジュール
glob()の基本的な使い方は、第一引数にパスの文字列を指定し、条件を満たすパスの文字列を要素とするリスト型が取得できるというもの。

引用：[Pythonで条件を満たすパスの一覧を再帰的に取得するglobの使い方](glob.iglob)

その中でも今回はイテレータで一覧を取得できるiglob()を使っています。

>これまでの例のようにglob()はパスのリストを生成する。
ファイルやディレクトリが少なければ特に気にする必要はないが、抽出したパスをfor文などで処理する場合は、リストではなくイテレータを使ったほうがメモリ使用量が抑えられる。
iglob()を使うとイテレータが返される。引数はglob()と同じでrecursiveも使える。

よってメモリ使用量を抑えるためにiglobを使っているが、基本的にはglob()と同様に条件を満たすパスの文字列を要素とするリスト型を取得することが目的です。

入力ファイルのパスを得ているということですね！

ここからfor文です。
複数の写真をそれぞれDetectronを用いて人や物体を検出してそのキーポイントやその物体の名前（例えば人や車）などを入力していくと予想できます。

それではfor文の中身に進みます。いざ！

```python:infer_simple.py
    for i, im_name in enumerate(im_list):
        out_name = os.path.join(
            args.output_dir, '{}'.format(os.path.basename(im_name) + '.' + args.output_ext)
        )
        logger.info('Processing {} -> {}'.format(im_name, out_name))
        im = cv2.imread(im_name)
        timers = defaultdict(Timer)
```

imにはcv2を用いて対象の画像を読み取って帰ってきた値を代入しています。このときGPUは使っていないため、最初にcv2でGPUを使用しないように設定しました。
ここでTimer型のクラスをdefaultdictに代入しています。
Timer型はtimer.pyで宣言されています。
まずはtimer型を見ていきましょう。

```python:timer.py
class Timer(object):
    """A simple timer."""

    def __init__(self):
        self.reset()

    def tic(self):
        # using time.time instead of time.clock because time time.clock
        # does not normalize for multithreading
        self.start_time = time.time()

    def toc(self, average=True):
        self.diff = time.time() - self.start_time
        self.total_time += self.diff
        self.calls += 1
        self.average_time = self.total_time / self.calls
        if average:
            return self.average_time
        else:
            return self.diff

    def reset(self):
        self.total_time = 0.
        self.calls = 0
        self.start_time = 0.
        self.diff = 0.
        self.average_time = 0.
```

次にdefaultdictの使い方について勉強します。
[Python defaultdictの使い方](https://qiita.com/xza/items/72a1b07fcf64d1f4bdb7)を読んで理解します。

>defaultdictの引数は関数で、複雑な関数をlambda: Timer()のように実行することができ、その値を返すことができます。（辞書の形に変形している）


それでは元のコードに戻ります。

```python:infer_simple.py
        #今の時間
        t = time.time()
        with c2_utils.NamedCudaScope(0):
            cls_boxes, cls_segms, cls_keyps = infer_engine.im_detect_all(
                model, im, None, timers=timers
            )
```

infer_engine.im_detect_allという命令が呼び出されており、cls_boxes, cls_segms, cls_keypsに代入されています。
長くなりそうなのでまたまた子記事作成しました。
長くなりませんように！！

[Detectronの中身を一部理解してみる2](https://qiita.com/kwnbbnwk/items/4d446aec43c98a9b59c6)
タイトルがわかりにくくてすみません！
戻ります。

```python:infer_simple.py
        logger.info('Inference time: {:.3f}s'.format(time.time() - t))
        for k, v in timers.items():
            logger.info(' | {}: {:.
3f}s'.format(k, v.average_time))
        if i == 0:
            logger.info(
                ' \ Note: inference on the first image will be slower than the '
                'rest (caches and auto-tuning need to warm up)'
            )

        vis_utils.vis_one_image(
            im[:, :, ::-1],  # BGR -> RGB for visualization
            im_name,
            args.output_dir,
            cls_boxes,
            cls_segms,
            cls_keyps,
            dataset=dummy_coco_dataset,
            box_alpha=0.3,
            show_class=True,
            thresh=args.thresh,
            kp_thresh=args.kp_thresh,
            ext=args.output_ext,
            out_when_no_box=args.out_when_no_box
        )
```
vis_one_imageはとても入力が多いですね。
そのため、関数の定義もとても長いです。vis.py内で宣言されています。
しかし関数名通り、写真にdetectronを通して検出した3つの内容を張り付ける関数です。
戻ります。次が**重要**です。


```python:infer_simple.py

        cls_boxes_np = np.asarray(cls_boxes)
       #確率だけを格納している
        cls_boxes_prob = cls_boxes_np[1][:,4]
        idx_max_prob = np.argmax(cls_boxes_prob)

        cls_keyps_max_prob = cls_keyps[1][idx_max_prob]
        pose_x_y_prob_after_softmax = cls_keyps_max_prob[[0,1,3]]
        glob_keypoints.append(np.transpose(pose_x_y_prob_after_softmax))

```

この場**idx_max_prob = np.argmax(cls_boxes_prob)**のコードから毎回cls_boxesのなかのindexが4の値が比較され、その中で一番大きい値をとるものが選択されているとわかります。

ここで私が実行したときのcls_boxesの値を毎回出力してみます。(一部）

```shell:shell

  ----

INFO infer_simple.py: 164:  | misc_bbox: 0.000s
[[], array([[5.7046942e+02, 1.8761989e+02, 7.7123297e+02, 6.3100037e+02,
        9.9947828e-01],
       [5.4458844e+02, 6.5797253e+02, 6.2466327e+02, 7.1828662e+02,
        9.0132654e-01],
       [9.4544727e+02, 5.9454633e+02, 1.0471920e+03, 7.1900000e+02,
        9.8554206e-01],
       [1.0529901e+03, 7.0750732e+02, 1.0926044e+03, 7.1900000e+02,
        9.7724348e-02],
       [6.3210559e+02, 1.6499963e+02, 6.8398071e+02, 2.4233069e+02,
        6.2936760e-02]], dtype=float32)]
INFO infer_simple.py: 154: Processing test_iou_old_cheer_0709_1/image_421.png ->                                 cheer/test_iou_0709/image_421.png.pdf
INFO infer_simple.py: 162: Inference time: 0.182s
INFO infer_simple.py: 164:  | im_detect_bbox: 0.120s
INFO infer_simple.py: 164:  | im_detect_keypoints: 0.004s
INFO infer_simple.py: 164:  | misc_keypoints: 0.058s
INFO infer_simple.py: 164:  | misc_bbox: 0.000s
[[], array([[5.5821161e+02, 1.9941788e+02, 7.8241473e+02, 6.3950916e+02,
        9.9955076e-01],
       [5.3427997e+02, 6.6528180e+02, 6.2090668e+02, 7.1759113e+02,
        7.5113767e-01],
       [9.3339331e+02, 5.9492816e+02, 1.0447667e+03, 7.1900000e+02,
        9.8391336e-01]], dtype=float32)]

```
ここから、検知したクラスを2段ずつ使って表して縦方向に接続していることがわかります。
各1段目はx0, y0, x1, y1の値で、2段目は各リストの最後の値のみ入っており確率を表しています。

##infer_simple.pyをIOUを用いる形に修正する

1文1文読むのを終えてプログラムの修正ができる段階まで来ました！
ちなみにIOUとは、、

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/391319/3b6d2f6f-e74e-acaf-7007-c7b55cb13ea7.png)

参考：[具体的に学ぶ数学](https://mathwords.net/iou)

上記のように評価指数の1種です。

私がVideopose3Dを動かしていて直面した問題は何人か動画に写ったときに、間違えて3D推定する対象が違う人に時々移ってしまうということでした。

（きっとしっかりPython勉強されてきた方はすぐにこの問題解決しているんだろうな、、、）（やっと勉強してます！）

ということで、idx_max_prob = np.argmax(cls_boxes_prob)このインデックスの取り方を変更したいと思います。