翻訳：Perfect Guide to Shodan（Shodan公式レファレンス）

#はじめに
Shodanのレファレンスの抄訳です。
ちょうどいい感じのまとめ具合を心掛けます。
（レファレンスの最終更新2016年12月26日）

#導入
Shodanはインターネットに繋がった機器を対象にした検索エンジンです。
##Shodanが返すデータ
Shodanが返す検索結果の単位はバナー情報で、あるIPが複数のサービスを持っていればそれらは別々の検索結果として扱われます。
バナーの他に、位置情報やホスト名、OSなどのメタ情報も表示します。詳しくは付録Aを参照してください。
IPv6にも対応しています。
##SSL
SSLは重要なので、SSLが利用可能なサービスについてはSSL証明以外の情報も含めて収集しています。
あるサービスが、Heartbleed、FREAK、Lgojamのような脆弱性の影響を受けるかどうかも判ります。影響を受ける場合、opts.vulnの値が"CVE-2014-0160"のようになり、受けない場合"!CVE-2014-0160"のようになります。
クローラーはSSLv2、SSLv3、TLSv1.0、TLSv1.1、TLSv1.2で接続を試行し、対応しているバージョンを特定します。非対応のバージョンには"-"記号が付きます。
ssl.chainプロパティには証明チェーンの情報が含まれます。
##データ収集
クローラーは常時情報を収集しており、地理的な偏りを避けるためにアメリカ、中国、アイスランド、フランス、台湾、ベトナム、ルーマニア、チェコに分散しています。
ある時点の偏りを避けるためにクローラーは以下のアルゴリズムに従って情報を収集します。

1. 無作為なIPv4アドレスを生成
2. リストの中から無作為にポート番号を選択
3. バナー情報を収集
4. 1に戻る

#Webインターフェース
WebからShodanの情報を検索できます。
##検索クエリ
後述のフィルタ機能を使わない場合、クエリはバナー情報を対象に検索を実行し、メタ情報は参照しません。検索語をスペースで区切るとAND検索として扱われます。
フィルタ機能を用いてメタデータを検索できます。
##フィルタ機能
下の記法でメタデータを検索できます。
フィルタ名:値　※コロンの後にはスペース不要
スペースを含む文字列は、"San Diego"のようにして検索します。port: 23,1023のようにカンマ区切りで複数の値を取れるフィルタもあります。
-city:"San Diego"のようにすれば検索結果から除外することができます。
下記はよく使うフィルタの例です：

|フィルタ名|説明|例|
|---|---|---|
|category|ics, malwareなど||
|city|都市||
|country|国||
|net|指定されたIP範囲、CIDR記法|net: 190.30.40.0/|
|org|IPを所有する組織|org:” Verizon Wireless”|
全てのフィルタは付録Bを参照してください。

##Shodan検索エンジン
Shodan検索はhttps:// www.shodan.ioで利用可能です。
デフォルトでは過去30日間に収集したデータが検索対象です。
JSON、CSV、XML形式で検索結果をダウンロードできます。
JSONにはメタデータも含めてShodanが集めた情報がすべて含まれます。CSVには基本的な情報のみ含まれます。XMLの利用はお薦めしません。
検索結果のダウンロードには購入したポイントを消費する必要があります。
表や図で概要をまとめたレポートは無料で作成できます。このレポートはその時点でのスナップショットで、新たな情報が加わっても変更されません。定期的にレポートを作成し、あとから閲覧することが可能です。
他のユーザとの間でクエリを共有できます。公開したくないクエリは共有しないように注意してください。
##Shodan Maps
最大1,000件の検索結果を地図に表示することができます。全ての検索フィルタは地図上で利用可能です。
##Shodan Exploits
Shodan Exploitsでは脆弱性を検索できます。脆弱性情報はCVE、Exploit DB、Metasploit元にしています。
Shodanとは異なり、デフォルトでメタデータも対象にした検索を行います。
下記フィルタが利用可能です。

|フィルタ名|説明|
|---|---|
|author|脆弱性の著者|
|description|説明|
|platform|標的のプラットフォーム（OS、プログラミング言語、等）|
|type|脆弱性攻撃のタイプ（遠隔操作、DoS、等）|

##Shodan Images
Shodan Imagesは、Shodanが収集したスクリーンショットを閲覧することができます。
スクリーンショットは下記の4パターンで収集します。

- VNC
- RTSP
- Webcam
- X Windows

それぞれのポートからスクリーンショットを収集しているため、例えばWebcamの情報を見たい場合HTTPで、VNCならauthentication disabledで、RTSPならそのままRTSPで検索してください。
スクリーンショットはメインのShodan検索でhas_screenshot:trueフィルタを用いて検索することもできます。
##練習問題: Website
省略
#外部ツール
##Shodan Command-Line Interface
Shodanコマンドラインインターフェース（CLI）はShodanのためのPythonライブラリです。
easy_install shodanでインストール
shodan init YOUR_API_KEYで初期化
###alert
APIを使って作成したアラートを一覧表示、クリア、削除するコマンド
###convert
Shodanが作成したJSON形式のデータを様々な形式に変換するコマンド
###count
検索結果のレコード数を返すコマンド
例：shodan count microsoft iis
###download
検索結果をJSON形式で返すコマンド、デフォルトでは1,000件、それ以上必要な場合は--limit flagを使用。
###host
ホストの位置情報、開放しているポート、IPを保有している組織などの情報を取得するコマンド
例：shodan host 189.201.128.250
###info
クレジットの残りなど、APIアカウントの情報を取得するコマンド
例：shodan info
###myip
自分のIPを返すコマンド
例：shodan myip
###parse
downloadコマンドでダウンロードしたファイルをパースし、必要な情報をフィルタリングするコマンド
下の例は以前ダウンロードしたMicrosoft-IISのデータからIP、ポート、組織を抽出してCSV形式で出力するコマンド。
例：shodan parse --fields ip_str,posr,org --separator ,microsoft-data.json.gz
###scan
Shodanを使ってネットワークスキャンを実行するコマンド
例：shodan scan submit 202.69.165.20
###search
Shodan検索を実行し、結果を表示するコマンド
例：shodan search --fields ip_str,port,org,hostnames microsoft iis 6.0
###stats
フィルタ条件について上位10の値とレコード数を表示するコマンド
例：shodan stats --facets country apache
###stream
Shodanのクローラーが収集する情報をリアルタイムで返すコマンド。多くのフラグがあるが、-datadirと-limitが主。
-datadirはストリームデータを保存するディレクトリ。
例：shodan stream --datadir /var/lib/shodan/
-limitはダウンロードするレコード数。
例：shodan stream --limit 100
-portsはカンマ区切りで収集対象のポートを指定。
例：shodan stream --ports 80,8080

##Maltegoアドオン

Maltegoはオープンソースの情報分析アプリケーションです。様々な情報の関連を可視化することができます。
ShodanのMaltegoアドオンには2つのエンティティ（ServiceとExploit）と5つのトランスフォームがあります。

- searchShodan
- searchShodanByDomain
- searchShodanByNetblock
- toShodanHost
- searchExploits

##ブラウザプラグイン
ChromeとFirefoxにプラグインが提供されています。

##練習問題
省略
#開発者向けAPI
Shodanは開発者向けにAPI（https://developer.shodan.io/api ）を提供しています。
APIはREST APIとStreaming APIに分かれています。
REST APIはShodan検索、ホストの検索、サマリ情報取得および様々なユティリティメソッドを提供します。
Streaming APIはShodanが収集しているリアルタイムの生データを提供します。ストリーミングデータにはいくつかの購読可能なフィードがありますが、検索はできません。

##使用制限
プランによってAPIが制限を受けるパターンが3通りあります。
1. 検索クレジット制限／月
2. オンデマンドのスキャンクレジットの制限／月
3. APIのプランに応じたネットワークアラートのIP数の制限
検索クレジットおよびスキャンクレジットは毎月リセットされます。
##ファセット
ファセット機能はバナー情報の特定のフィールドのファセット情報を提供します。
利用可能なファセットは付録Cを参照してください。
##利用開始
ここで紹介する例はPythonコードですが、ほかの言語でも利用可能です。
Shodanライブラリをインストールするには下記コマンドを実行してください。
easy_install shodan
既にインストールしてあり、アップデートしたい場合は、
easy_install -U shodan
##初期化
まずはShodanオブジェクトを初期化する必要があります。
import shodan
api = shodan.Shodan('YOUR API KEY')
##検索
まずapiオブジェクトでShodan.search()を呼びます。
results = api.search('apache')
以下省略
##Hostの検索
shodan.host()関数を使って特定のIPで利用可能なShodanのデータを見ることができます。
host = api.host('217.140.75.46')
以下省略
##スキャン
Shodanは少なくとも月1回インターネットをクロールしますが、すぐにクロールさせたい場合オンデマンドでクロールさせることができます。
scan = api.scan('198.20.69.0/24')
##リアルタイムストリーム
Streaming APIはリアルタイムでShodanが収集した情報を返すHTTPベースのサービスです。
以下省略
##ネットワークアラート
ネットワークアラートはShodanが収集したデータのリアルタイムフィードです。ネットワークアラートは2つのステップで実行できます。
ネットワークアラートの作成
alert = api.create_alert('Production network', '198.20.69.0/24')
サブスクライブ
以下省略
##例：パブリックなMongoDBの情報
省略
#産業制御システム（Industrial Control System、ICS）
産業制御システムはオフィスの冷房や発電所のタービン、劇場の電灯、工場のロボットなどを制御するシステムです。
##略語
ICS関連の略語を知っておくと便利でしょう。

|略語|説明|
|---|---|
|BMS|ビル管理システム|
|DCS|分散制御システム|
|HMI|ヒューマンマシンインターフェイス|
|ICS|産業制御システム|
|PLC|プログラマブルロジックコントローラ|
|RTU|リモートターミナルユニット|
|SCADA|監視制御システム|
|VNC|ヴァーチャルネットワークコンピューティング|

##プロトコル
インターネット上でICSを検索するには2つの方法があります。
1つはICS環境で使用される非ICSプロトコルです。Shodanに含まれるICSの情報の大部分は、ウェブサーバやその他の一般的なプロトコルから収集された、直接ICSとは関連していないけれどICSネットワークで確認される情報です。例えば、HMI上で実行されるウェブサーバや、ICSへの接続中に非認証のリモートデスクトップを実行するWindowsマシンです。
もう1つはICSのプロトコルです。これは制御システムが使用する生のプロトコルです。固有のバナー以外に認証不要という共通点があります。
##ネットに接続したICSのセキュリティ
大多数のICSのバナーには位置情報や所有者の情報は含まれず、それ故セキュアに保つのが困難で、何年もインターネットに露出したままになっています。もし危険な制御システムを見つけたらICS-CERTに報告してください。
##ユースケース
アメリカのICSにアクセスしてみましょう。
以下のクエリはインターネット上でICSプロトコルを実行している機器を返します。
https:// www.shodan.io/ search? query = category% 3Aics +-http +-html +-ssh +-ident + country% 3Aus
以下省略
#付録 A: バナー情報の仕様
##一般的なプロパティ

|名称|説明|例|
|---|---|---|
|asn|自律システム番号|AS4837|
|data|メインのバナー情報|HTTP/1.1 200..|
|ip|IP（整数）|493427495|
|ip_str|IP（文字列）|199.30.15.20|
|ipv6|IPv6（文字列）|2001:4860:486|
|port|サービスのポート番号|80|
|timestamp|情報収集した日付|2014-01-15T05: 49: 56.283713|
|hostnames|IPのホスト一覧|[“ shodan.io”, “www.shodan.io”]|
|domains|IPのドメイン一覧|["shodan.io"]|
|link|ネットワークリンクタイプ|Ethernet or modem|
|location|機器の位置情報||
|opts|メインのバナー情報に含まれない補足情報||
|org|IPを保有する組織|Google Inc.|
|isp|IPを管理するISP|Verison Wireless|
|os|OS|Linux|
|uptime|アップタイム（分）|50|
|transport|バナー情報収集に使用したプロトコル（udp/tcp）|tcp|

##HTTP(S)プロパティ

|名称|説明|
|---|---|
|html|ウェブサイトのHTMLコンテンツ|
|title|ウェブサイトのtitle|

##位置情報のプロパティ
以下はlocationプロパティのサブプロパティ

|名称|説明|
|---|---|
|area_code|機器の位置のエリアコード|
|city|都市の名称|
|country_code|2文字の国コード|
|country_code3|3文字の国コード|
|country_name|国名|
|dma_code|Designated market area code（アメリカのみ）|
|latitude|緯度|
|longitude|経度|
|postal_code|郵便番号|
|region_code|リージョンコード|

##SSLプロパティ
サービスがSSLを利用している場合、Shodanは下記プロパティの情報を収集します。

|名称|説明|
|---|---|
|ssl.cert|パースしたSSL証明書|
|ssl.cipher|SSL接続の暗号スイート|
|ssl.chain|ユーザ証明書からルート証明書までの一連の証明書|
|ssl.dhparams|ディフィーヘルマンパラメータ|
|ssl.versions|サポートしているバージョン|

##特別なプロパティ
_shodanプロパティにはどのように情報が収集されたのかという情報が含まれています。

##例
省略

#付録 B: 検索フィルタ一覧
##一般的なフィルタ

|名称|説明|型|
|---|---|---|
|after|dd/mm/yyyyより後の結果を返す|string|
|asn|自律システム番号|string|
|before|dd/mm/yyyyより前の結果を返す|string|
|category|ics, malware|string|
|city|都市の名前|string|
|country|2文字の国コード|string|
|geo|2～4個のパラメータを取る、2：緯度、経度　3：緯度、経度、範囲　4：左上の緯度、左上の経度、右下の緯度、右下の経度|string|
|has_ipv6|True/False|boolean|
|has_screenshot|True/False|boolean|
|hostname|機器のホスト名|string|
|html|ウェブバナーのHTML|string|
|ip|netのエイリアス|string|
|isp|ネットブロックを管理するISP|string|
|net|CIDR記法のネットワーク範囲|string|
|org|ネットブロックを保有する組織|string|
|os|OS|string|
|port|ポート番号|string|
|postal|郵便番号（アメリカのみ）|string|
|product|製品名|string|
|region|地域/州の名前|string|
|state|regionのエイリアス|string|
|title|ウェブバナーのtitle|string|
|version|製品のバージョン|string|
|vuln|脆弱性のCVE ID|string|

##NTPフィルタ

|名称|説明|型|
|---|---|---|
|ntp.ip|monlistが返すIP|string|
|ntp.ip_count|monlistが返すIPの数|string|
|ntp.more|True/False、monlistで収集するIPが更にあるかどうか|string|
|ntp.port|monlistのIPが使用しているポート|string|

##SSLフィルタ

|名称|説明|型|
|---|---|---|
|has_ssl|True/False|boolean|
|ssl|全てのSSLデータ|string|
|ssl.alpn|HTTP/2のようなプロトコル|string|
|ssl.chain_count|チェーンに含まれる証明書の数|integer|
|ssl.version|SSLv2/SSLv3/TLSv1.1/TLSv1.2|string|
|ssl.cert.alg|証明書のアルゴリズム|string|
|ssl.cert.expired|True/False|boolean|
|ssl.cert.extension|証明書の拡張子|string|
|ssl.cert.serial|整数/16新数のシリアル番号|integer/string|
|ssl.cert.pubkey.bits|パブリックキーのビット数|integer|
|ssl.cert.pubkey.type|パブリックキーのタイプ|string|
|ssl.cipher.version|暗号スイートのSSLバージョン|string|
|ssl.cipher.bits|暗号スイートのビット数|integer|
|ssl.cipher.name|暗号スイートの名称|string|

##Telnetフィルタ
|名称|説明|型|
|---|---|---|
|telnet.option|全てのオプションを検索|string|
|telnet.do|クライアントにサポートを要求するオプション|string|
|telnet.dont|クライアントに非サポートを要求するオプション|string|
|telnet.will|サーバがサポートするオプション|string|
|telnet.wont|サーバがサポートしないオプション|string|

#付録 C:　検索ファセット
説明は検索フィルタと一緒なので省略
##一般的なファセット
|名称|説明|
|---|---|
|asn||
|city||
|country||
|domain||
|as_screenshot||
|isp||
|link||
|org||
|os||
|port||
|postal||
|product||
|region||
|state||
|uptime||
|version||
|vuln||

##NTPファセット
|名称|説明|
|---|---|
|ntp.ip||
|ntp.ip_count||
|ntp.more||
|ntp.port||

##SSHファセット
|名称|説明|
|---|---|
|ssh.cipher||
|ssh.fingerprint|機器のフィンガープリント|
|ssh.mac|MACアルゴリズムの名称|
|ssh.type|認証キーのタイプ|

##SSLファセット
|名称|説明|
|---|---|
|ssl.version||
|ssl.alpn||
|ssl.chain_count||
|ssl.cert.alg||
|ssl.cert.expired||
|ssl.cert.serial||
|ssl.cert.extension||
|ssl.cert.pubkey.bits||
|ssl.cert.pubkey||
|ssl.cipher.bits||
|ssl.cipher.name||
|ssl.cipher.version||

##Telnetファセット
|名称|説明|
|---|---|
|telnet.option||
|telnet.do||
|telnet.dont||
|telnet.will||
|te.net.wont||

#付録 D: ポート一覧

|ポート|サービス|
|---|---|
|7|Echo|
|11|Systat|
|13|Daytime|
|15|Netstat|
|17|今日の一言|
|19|文字列生成（CHARGEN）|
|21|FTP|
|22|SSH|
|23|Telnet|
|25|SMTP|
|26|SSH|
|37|rdate|
|49|TACAS+|
|53|DNS|
|67|DHCP|
|69|TFTP, BitTorrent|
|79|Finger|
|80|HTTP, マルウェア|
|81|HTTP, マルウェア|
|82|HTTP, マルウェア|
|83|HTTP|
|84|HTTP|
|88|Kerberos|
|102|Siemens S7|
|110|POP3|
|111|Portmapper|
|119|NNTP|
|123|NTP|
|129|Password generator protocol|
|137|NetBIOS|
|143|IMAP|
|161|SNMP|
|175|IBM Network Job Entry|
|179|BGP|
|195|TA14-353a|
|311|OS X Server Manager|
|389|LDAP|
|443|HTTPS|
|444|TA14-353a, Dell SonicWALL|
|445|SMB|
|465|SMTPS|
|500|IKE (VPN)|
|502|Modbus|
|503|Modbus|
|515|Line Printer Daemon|
|520|RIP|
|523|IBM DB2|
|554|RTSP|
|587|SMTP mail submission|
|623|IPMI|
|626|OS X serialnumbered|
|666|Telnet|
|771|Realport|
|789|Redlion Crimson3|
|873|rsync|
|902|VMWare authentication|
|992|Telnet (secure)|
|993|IMAP with SSL|
|995|POP3 with SSL|
|1010|malware|
|1023|Telnet|
|1025|Kamstrup|
|1099|Java RMI|
|1177|malware|
|1200|Codesys|
|1234|udpxy|
|1434|MS-SQL monitor|
|1604|Citrix, malware|
|1723|PPTP|
|1833|MQTT|
|1900|UPnP|
|1911|Niagara Fox|
|1962|PCworx|
|1991|malware|
|2000|iKettle, MikroTik bandwidth test|
|2082|cPanel|
|2083|cPanel|
|2086|WHM|
|2087|WHM|
|2123|GTPv1|
|2152|GTPv1|
|2181|Apache Zookeeper|
|2222|SSH, PLC5, EtherNet/ IP|
|2323|Telnet|
|2332|Sierra wireless (Telnet)|
|2375|Docker|
|2376|Docker|
|2404|IEC-104|
|2455|CoDeSys|
|2480|OrientDB|
|2628|Dictionary|
|3000|ntop|
|3306|MySQL|
|3386|GTPv1|
|3388|RDP|
|3389|RDP|
|3460|malware|
|3541|PBX GUI|
|3542|PBX GUI|
|3689|DACP|
|3780|Metasploit|
|3787|Ventrilo|
|4000|malware|
|4022|udpxy|
|4040|Deprecated Chef web interface|
|4063|ZeroC Glacier2|
|4064|ZeroC Glacier2 with SSL|
|4369|EPMD|
|4443|Symantec Data Center Security|
|4444|malware|
|4500|IKE NAT-T (VPN)|
|4567|Modem web interface|
|4911|Niagara Fox with SSL|
|4949|Munin|
|5006|MELSEC-Q|
|5007|MELSEC-Q|
|5008|NetMobility|
|5009|Apple Airport Administration|
|5060|SIP|
|5094|HART-IP|
|5222|XMPP|
|5269|XMPP Server-to-Server|
|5353|mDNS|
|5357|Microsoft-HTTPAPI/2.0|
|5432|PostgreSQL|
|5577|Flux LED|
|5632|PCAnywhere|
|5672|RabbitMQ|
|5900|VNC|
|5901|VNC|
|5984|CouchDB|
|6000|X11|
|6379|Redis|
|6666|Voldemort database, malware|
|6667|IRC|
|6881|BitTorrent DHT|
|6969|TFTP, BitTorrent|
|7218|Sierra wireless (Telnet)|
|7474|Neo4j database|
|7548|CWMP (HTTPS)|
|7777|Oracle|
|7779|Dell Service Tag API|
|8010|Intelbras DVR|
|8060|Roku web interface|
|8069|OpenERP|
|8087|Riak|
|8090|Insteon HUB|
|8099|Yahoo SmartTV|
|8112|Deluge (HTTP)|
|8139|Puppet agent|
|8140|Puppet master|
|8181|GlassFish Server (HTTPS)|
|8333|Bitcoin|
|8334|Bitcoin node|
|8334|Bitcoin node dashboard (HTTP)|
|8443|HTTPS|
|8554|RTSP|
|8880|Websphere SOAP|
|8888|HTTP, Andromouse|
|8889|SmartThings Remote Access|
|9001|Tor OR|
|9002|Tor OR|
|9051|Tor Control|
|9100|Printer Job Language|
|9151|Tor Control|
|9160|Apache Cassandra|
|9191|Sierra wireless (HTTP)|
|9443|Sierra wireless (HTTPS)|
|9595|LANDesk Management Agent|
|9600|OMRON|
|10001|Automated Tank Gauge|
|10243|Microsoft-HTTPAPI/2.0|
|11211|Memcache|
|17185|VxWorks WDBRPC|
|12345|Sierra wireless (Telnet)|
|13579|Media player classic web interface|
|14147|Filezilla FTP|
|16010|Apache Hbase|
|18245|General Electric SRTP|
|20000|DNP3|
|20547|ProconOS|
|21025|Starbound|
|21379|Matrikon OPC|
|23023|Telnet|
|23424|Serviio|
|25105|Insteon Hub|
|25565|Minecraft|
|27015|Steam A2S server query, Steam RCon|
|27017|MongoDB|
|28017|MongoDB (HTTP)|
|30718|Lantronix Setup|
|32400|Plex|
|37777|Dahuva DVR|
|44818|EtherNet/ IP|
|47808|Bacnet|
|49152|Supermicro (HTTP)|
|49153|WeMo Link|
|50070|HDFS Namenode|
|51106|Deluge (HTTP)|
|54138|Toshiba PoS|
|55553|Metasploit|
|55554|Metasploit|
|62078|Apple iDevice|
|64738|Mumble|
#付録 E: SSLバナーのサンプル
省略
#練習問題の解答
省略