魚眼カメラでのセグメンテーションについて調査中

セグメンテーションを広角のカメラで実施するには、魚眼カメラを用いるという選択肢がある。
現状、ステレオカメラにしても、ToFカメラにしても視野角は魚眼カメラの視野におよぶことはない。
広い視野の中で、対象物への理解を深めようとしたら、セグメンテーションはその重要な手法の１つだ。

## 注意

- 魚眼も投影方式によって画像の見え方が違う。
- 車載を想定した前方カメラでも、点の高さによって画像の見え方が違う。
- 車載を想定した前方カメラでも、視野の中心の仰角もしくは俯角によって画像の見え方が違う。

そのため、ある学習済みモデルが、あなたのユースケースでの魚眼カメラ画像で精度がでるかは不明です。
それぞれのモデルの学習に使っているカメラの投影方式を調べて、それと同じ投影方式のレンズを使うと、既存のモデルが使える可能性が高まります。


## [RotInvMTL: Rotation Invariant MultiNet on Fisheye Images for AutonomousDriving Applications](https://openaccess.thecvf.com/content_ICCVW_2019/papers/ADW/Arsenali_RotInvMTL_Rotation_Invariant_MultiNet_on_Fisheye_Images_for_Autonomous_Driving_ICCVW_2019_paper.pdf)

![Screenshot from 2023-12-22 22-08-40.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/3d2bcaf4-b98d-5594-a152-f12e44b98eb0.png)

![Screenshot from 2023-12-22 22-12-05.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/6ca3c7f9-e270-91b2-7570-337d0d86b4fd.png)
[引用元](https://openaccess.thecvf.com/content_ICCVW_2019/papers/ADW/Arsenali_RotInvMTL_Rotation_Invariant_MultiNet_on_Fisheye_Images_for_Autonomous_Driving_ICCVW_2019_paper.pdf)

## [A comparative study of semantic segmentation of omnidirectional images from a motorcycle perspective](https://www.nature.com/articles/s41598-022-08466-9)

![Screenshot from 2023-12-20 13-40-25.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/94aaafdb-551e-4df8-93bc-0d5985601a80.png)
[引用元](https://www.nature.com/articles/s41598-022-08466-9)


## pdf [Real-Time Semantic Segmentation for Fisheye Urban Driving Images Based on ERFNet](https://www.researchgate.net/publication/330640061_Real-Time_Semantic_Segmentation_for_Fisheye_Urban_Driving_Images_Based_on_ERFNet)

![Screenshot from 2023-12-20 14-39-39.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/28774a38-8c13-da11-6531-92d1b2acbe54.png)
[引用元](https://www.researchgate.net/publication/330640061_Real-Time_Semantic_Segmentation_for_Fisheye_Urban_Driving_Images_Based_on_ERFNet)

## CVPR2023 pdf [FishDreamer: Towards Fisheye Semantic Completion via Unfied Image Outpainting and Segmentation](https://openaccess.thecvf.com/content/CVPR2023W/OmniCV/papers/Shi_FishDreamer_Towards_Fisheye_Semantic_Completion_via_Unified_Image_Outpainting_and_CVPRW_2023_paper.pdf)
魚眼カメラの周辺部の外挿をする方法らしい。

github [FishDreamer](https://github.com/MasterHow/FishDreamer)

## ECCV 2018 pdf [Semantic Segmentation of Fisheye Images](https://openaccess.thecvf.com/content_ECCVW_2018/papers/11129/Blott_Semantic_Segmentation_of_Fisheye_Images_ECCVW_2018_paper.pdf)

![Screenshot from 2023-12-22 22-18-42.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/9de0f5c8-64b6-3868-8456-b9f0515cfbd1.png)
[引用元](https://openaccess.thecvf.com/content_ECCVW_2018/papers/11129/Blott_Semantic_Segmentation_of_Fisheye_Images_ECCVW_2018_paper.pdf)

## CVPR 2021 pdf [Woodscape Fisheye Semantic Segmentation for Autonomous Driving — CVPR 2021 OmniCV Workshop Challenge](https://arxiv.org/pdf/2107.08246.pdf)

![Screenshot from 2023-12-20 15-34-32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/83761/de1bff91-944f-d16d-1356-069c66d2870e.png)

### [WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving](https://openaccess.thecvf.com/content_ICCV_2019/papers/Yogamani_WoodScape_A_Multi-Task_Multi-Camera_Fisheye_Dataset_for_Autonomous_Driving_ICCV_2019_paper.pdf)

github https://github.com/valeoai/WoodScape

WoodScapeデータセットである。


## [Fisheye Segmentation](https://github.com/Yaozhuwa/FisheyeSeg)

pdf [Universal Semantic Segmentation for Fisheye Urban Driving Images](https://arxiv.org/pdf/2002.03736.pdf)



## 関連記事 [画像セグメンテーションについて調査中](https://qiita.com/nonbiri15/items/3d10c52690024df82415)