(57)【要約】本発明はピクチャーのシーンの判定方法、装置及びサーバに関し、方法は少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、上記処理しようとするピクチャーをそれぞれ識別し、上記処理しようとするピクチャーに対応するシーンを決定し、上記処理しようとするピクチャーに対応するシーンを用いて、上記処理しようとするピクチャーをマークすることを含む。これにより、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させる。【選択図】図１
2017536635.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャーのシーンの判定方法であって、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得すること、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定すること、及び
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることを含むことを特徴とするピクチャーのシーンの判定方法。
【請求項２】
前記ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する前に、
各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得すること、及び
前記各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得ることを更に含むことを特徴とする請求項１に記載のピクチャーのシーンの判定方法。
【請求項３】
各シーンに対応するテストピクチャーを含むテストサンプルセットを取得すること、
前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得ること、及び
前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定することを更に含むことを特徴とする請求項２に記載のピクチャーのシーンの判定方法。
【請求項４】
前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定した後に、
前記分類正確率が所定閾値より小さい場合に、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
前記トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前記の前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定することを更に含むことを特徴とする請求項３に記載のピクチャーのシーンの判定方法。
【請求項５】
各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定すること、及び
前記最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定することを更に含むことを特徴とする請求項４に記載のピクチャーのシーンの判定方法。
【請求項６】
前記ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する前に、
所定サイズに応じて前記処理しようとするピクチャーを規格化処理し、前記処理しようとするピクチャーに対応する所定サイズのピクチャーを得ることを更に含み、
それに対応して、前記のピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定することは、
ピクチャーシーン識別モデルを用いて、前記所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得ることを含むことを特徴とする請求項１に記載のピクチャーのシーンの判定方法。
【請求項７】
各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得ること、及び
各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークすることを更に含むことを特徴とする請求項１に記載のピクチャーのシーンの判定方法。
【請求項８】
各分類アルバムに対して、前記分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記分類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記分類アルバムに対応する少なくとも１つのサブ分類アルバムを得ること、及び
各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークすることを更に含むことを特徴とする請求項７に記載のピクチャーのシーンの判定方法。
【請求項９】
ピクチャーのシーンの判定装置であって、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得する第１取得モジュールと、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する第１識別モジュールと、
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークする第１マークモジュールと、を備えることを特徴とするピクチャーのシーンの判定装置。
【請求項１０】
各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得する第２取得モジュールと、
前記各シーンに対応するトレーニングピクチャーを前記初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得る入力モジュールと、を更に備えることを特徴とする請求項９に記載のピクチャーのシーンの判定装置。
【請求項１１】
各シーンに対応するテストピクチャーを含むテストサンプルセットを取得する第３取得モジュールと、
前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得る第２識別モジュールと、
前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定する第１決定モジュールと、を更に備えることを特徴とする請求項１０に記載のピクチャーのシーンの判定装置。
【請求項１２】
前記分類正確率が所定閾値より小さい場合に、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
前記トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前記の前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定する繰り返し処理モジュールを更に備えることを特徴とする請求項１１に記載のピクチャーのシーンの判定装置。
【請求項１３】
各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定する第２決定モジュールと、
前記最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定する第３決定モジュールと、を更に備えることを特徴とする請求項１２に記載のピクチャーのシーンの判定装置。
【請求項１４】
所定サイズに応じて前記処理しようとするピクチャーを規格化処理し、前記処理しようとするピクチャーに対応する所定サイズのピクチャーを得る処理モジュールを更に備え、
それに対応して、第１識別モジュールは、
ピクチャーシーン識別モデルを用いて、前記所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得る識別ユニットを備えることを特徴とする請求項９に記載のピクチャーのシーンの判定装置。
【請求項１５】
各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得る第１記憶モジュールと、
各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークする第２マークモジュールと、を更に備えることを特徴とする請求項９に記載のピクチャーのシーンの判定装置。
【請求項１６】
各分類アルバムに対して、前記分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記分類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記分類アルバムに対応する少なくとも１つのサブ分類アルバムを得る第２記憶モジュールと、
各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークする第３マークモジュールと、を更に備えることを特徴とする請求項１５に記載のピクチャーのシーンの判定装置。
【請求項１７】
サーバであって、
処理部と、
前記処理部により実行可能な指令を記憶するためのメモリーと、を備え、
前記処理部は、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識  別し、前記処理しようとするピクチャーに対応するシーンを決定し、
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることを特徴とするサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出願番号がＣＮ２０１５１０４６３２７１．５であり、出願日が２０１５年０７月３１日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容をここで参照として本願に援用される。
【０００２】
本発明は通信技術分野に関し、特にピクチャーのシーンの判定方法、装置及びサーバに関する。
【背景技術】
【０００３】
現在、スマートフォンの普及度がますます高くなり、いつでも、どこでも携帯電話のカメラでピクチャーを撮ることはますます人気となっている。携帯電話のフォトギャラリーにおける大量のピクチャーに対して、関連技術において、ユーザはある時間帯内又はある位置で撮られたピクチャーを確認できるように、ピクチャーを撮る際の時間又は位置でピクチャーに対してマークを付ける。
【発明の概要】
【０００４】
本発明の実施例はピクチャーのシーンの判定方法、装置及びサーバを提供する。
【０００５】
前記技術案は、以下のとおりであり、
本発明の実施例により示された第１態様によれば、ピクチャーのシーンの判定方法を提供しており、該方法は、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得すること、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定すること、及び
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることを含む。
【０００６】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることにより、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【０００７】
更に、前記ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する前に、
各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得すること、及び
前記各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得ることをさらに含む。
【０００８】
本発明の実施例により示された技術的解決手段は、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得し、前記各シーンに対応するトレーニングピクチャーを前記初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得ることにより、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させるという有益な効果を有し得る。
【０００９】
更に、前記方法は、
各シーンに対応するテストピクチャーを含むテストサンプルセットを取得すること、
前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得ること、及び
前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定することを更に含む。
【００１０】
更に、前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定した後に、
前記分類正確率が所定閾値より小さい場合に、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
前記トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前記の前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定することを更に含む。
【００１１】
更に、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定し、
前記最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定する。
【００１２】
本発明の実施例により示された技術的解決手段は、各シーンに対応するテストピクチャーを含むテストサンプルセットを取得し、前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、前記ピクチャーシーン識別モデルに対応する分類正確率を取得し、前記分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、更新後のトレーニングサンプルセットを用いて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定し、最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定することにより、ピクチャーシーン識別モデルの分類正確率を向上させ、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる、という有益な効果を有し得る。
【００１３】
更に、前記ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する前に、
所定サイズに応じて前記処理しようとするピクチャーを規格化処理し、前記処理しようとするピクチャーに対応する所定サイズのピクチャーを得ることをさらに含み、
それに対応して、前記のピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定することは、
ピクチャーシーン識別モデルを用いて、前記所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得ることを含む。
【００１４】
本発明の実施例により示された技術的解決手段は、所定サイズに応じて処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得て、ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得る。処理しようとするピクチャーサイズへの規格化処理が、ピクチャーシーン識別モデルの処理しようとするピクチャーへの識別速度を向上させて、処理しようとするピクチャー識別の効率を向上させるという有益な効果を有し得る。
【００１５】
更に、前記方法は、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得ること、及び
各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークすることを更に含む。
【００１６】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークすることにより、ユーザが各分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００１７】
更に、前記方法は、各分類アルバムに対して、前記分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記分類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記分類アルバムに対応する少なくとも１つのサブ分類アルバムを得ること、及び
各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークすることを含む。
【００１８】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対して、前記分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記分類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記分類アルバムに対応する少なくとも１つのサブ分類アルバムを得て、各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークすることにより、ユーザが各分類アルバム又はサブ分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００１９】
本発明の実施例により示された第２態様によれば、ピクチャーのシーンの判定装置を提供しており、該装置は、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得する第１取得モジュールと、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定する第１識別モジュールと、
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークする第１マークモジュールと、を備える。
【００２０】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることにより、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００２１】
更に、前記装置は、
各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得する第２取得モジュールと、
前記各シーンに対応するトレーニングピクチャーを前記初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得る入力モジュールと、を更に備える。
【００２２】
本発明の実施例により示された技術的解決手段は、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得し、前記の各シーンに対応するトレーニングピクチャーを前記初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、前記ピクチャーシーン識別モデルを得ることにより、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させるという有益な効果を有し得る。
【００２３】
更に、前記装置は、
各シーンに対応するテストピクチャーを含むテストサンプルセットを取得する第３取得モジュールと、
前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得る第２識別モジュールと、
前記各テストピクチャーに対応するシーン分類結果に基づいて、前記ピクチャーシーン識別モデルに対応する分類正確率を決定する第１決定モジュールと、を更に備える。
【００２４】
更に、前記装置は、
前記分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
前記トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前記の前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定する繰り返し処理モジュールを更に備える。
【００２５】
更に、前記装置は、
各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定する第２決定モジュールと、
前記最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定する第３決定モジュールと、を更に備える。
【００２６】
本発明の実施例により示された技術的解決手段は、各シーンに対応するテストピクチャーを含むテストサンプルセットを取得し、前記ピクチャーシーン識別モデルを用いて、前記テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、前記ピクチャーシーン識別モデルに対応する分類正確率を取得し、前記分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、更新後のトレーニングサンプルセットを用いて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定し、最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定することにより、ピクチャーシーン識別モデルの分類正確率を向上させ、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる、という有益な効果を有し得る。
【００２７】
更に、前記装置は、
所定サイズに応じて前記処理しようとするピクチャーを規格化処理し、前記処理しようとするピクチャーに対応する所定サイズのピクチャーを得る処理モジュールを更に備え、
それに対応して、第１識別モジュールは、
ピクチャーシーン識別モデルを用いて、前記所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得る識別ユニットを備える。
【００２８】
本発明の実施例により示された技術的解決手段は、所定サイズに応じて処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得て、ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、前記処理しようとするピクチャーに対応するシーンを得る。処理しようとするピクチャーサイズへの規格化処理が、ピクチャーシーン識別モデルの処理しようとするピクチャーへの識別速度を向上させて、処理しようとするピクチャー識別の効率を向上させるという有益な効果を有し得る。
【００２９】
更に、前記装置は、
各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得る第１記憶モジュールと、
各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークする第２マークモジュールと、を更に備える。
【００３０】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対応するシーンを用いて、前記分類アルバムをマークすることにより、ユーザが各分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００３１】
更に、前記装置は、
各類アルバムに対して、前記類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記類アルバムに対応する少なくとも１つのサブ分類アルバムを得る第２記憶モジュールと、
各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークする第３マークモジュールと、を更に備える。
【００３２】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対して、前記分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、前記分類アルバムにおける各処理しようとするピクチャーを分類記憶し、前記分類アルバムに対応する少なくとも１つのサブ分類アルバムを得て、各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、前記サブ分類アルバムをマークすることにより、ユーザが各分類アルバム又はサブ分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００３３】
本発明の実施例の第３態様によれば、サーバを提供しており、
処理部と、
前記処理部により実行可能な指令を記憶するためのメモリーと、を備え、
そのうち、前記処理部は、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、
ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、
前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークする。
【００３４】
本発明の実施例により示された技術的解決手段は、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、前記処理しようとするピクチャーをそれぞれ識別し、前記処理しようとするピクチャーに対応するシーンを決定し、前記処理しようとするピクチャーに対応するシーンを用いて、前記処理しようとするピクチャーをマークすることにより、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させるという有益な効果を有し得る。
【００３５】
以上の一般的な説明及び後述する詳細な説明は例示的で解釈的なものに過ぎず、本発明を限定するためのものではないことが理解可能である。
【図面の簡単な説明】
【００３６】
この図面は明細書に合併されて本明細書の一部を構成し、本発明に適合する実施例を示し、明細書と共に本発明の原理を解釈するためである。
【００３７】
【図１】図１は一例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図２】図２は畳み込みニューラルネットワークのネットワーク構造である。
【図３】図３は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図４】図４は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図５】図５は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図６】図６は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図７】図７は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。
【図８】図８は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図９】図９は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図１０】図１０は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図１１】図１１は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図１２】図１２は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図１３】図１３は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である。
【図１４】図１４は別の例示的な実施例により示されたサーバのブロック図である。
【００３８】
上記図面により、本発明の明確な実施例を示しており、後に詳述する。これらの図面及び文字による説明はいずれかの方法で本発明の思想の範囲を限定するものではなく、特定な実施例を参照しながら当業者に対して本発明の概念を説明するためのものである。
【発明を実施するための形態】
【００３９】
ここで例示的な実施例について詳しく説明し、その実例は図面に示す通りである。下記の説明が図面に関わる時、別途に表示されない限り、異なる図面における同じ数字は同じ又は類似する要素を示す。以下の例示的な実施例に説明される実施形態は本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは特許請求の範囲に詳細に記載された本発明の一部の態様と一致する装置と方法の例に過ぎない。
【００４０】
図１は一例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートであり、当該ピクチャーのシーンの判定方法はピクチャーのシーンの判定装置により実行することができ，ピクチャーのシーンの判定装置は具体的に携帯電話端末、ＰＡＤ等のインテリジェント端末に対応するサーバ又はサーバにインストールされるアプリケーションａｐｐであってもよい。ピクチャーのシーンの判定装置は携帯電話端末、ＰＡＤ等のインテリジェント端末又はインテリジェント端末にインストールされるアプリケーションａｐｐであってもよい。本例示的な実施例により示されたピクチャーのシーンの判定方法は以下のいくつかのステップを含んでもよい。
【００４１】
ステップ１０１では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得する。
【００４２】
本実施例では、サーバがユーザ端末のフォトギャラリーを取得する前に、ユーザ端末は手動又は自動モードでフォトギャラリーを更新し、又はクラウドサーバーにアップロードすることができる。
【００４３】
ステップ１０２では、ピクチャーのシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定する。
【００４４】
本実施例では、畳み込みニューラルネットワークを用いてピクチャーシーン識別モデルを構築する。畳み込みニューラルネットワークは人工ニューラルネットワークの１種であり、現在の音声分析及び画像識別分野の研究のホットスポットとなっている。その重み共有ネットワーク構造は、より生物の神経回路に類似させ、ネットワークモデルの複雑さを低減し、重みの数を減少させる。該利点は、ネットワークの入力が多次元画像である場合、より明らかになり、画像を直接にネットワークの入力とさせることができ、従来の識別アルゴリズムにおける複雑な特徴抽出及びデータの再構築の過程を避ける。
【００４５】
畳み込みニューラルネットワークのネットワーク構造は、図２に示すものである。畳み込みニューラルネットワークは１つの多層のニューラルネットワークであり、各層は複数の２次元平面からなり、各平面は複数の独立したニューロンからなる。本実施例では、畳み込みニューラルネットワークに基づいて取得したピクチャーシーン識別モデルがＮ層の構造を有すると仮定し、隣接する両層の隠れ層ノードの間の各接続された重み付け係数がトレーニングサンプルセットによりトレーニングして決定され、説明の便宜上、本発明の実施例で隠れ層ノードの間の接続された重み付け係数を特徴係数と称し、従って、ピクチャーシーン識別モデルはＮ層の特徴係数を有する。
【００４６】
本実施例では、ピクチャーシーン識別モデルの入力は処理しようとするピクチャーであり、出力は処理しようとするピクチャーのシーン分類結果であってもよい。処理しようとするピクチャーに対応するシーンは、パーティーシーン、風景のシーン、砂浜のシーン、他のシーン等を含んでもよい。処理しようとするピクチャーをピクチャーシーン識別モデルに入力してから、出力された処理しようとするピクチャーのシーン分類結果に応じて、処理しようとするピクチャーに対応するシーンが上記シーンのうちのどれであるかを確定することができる。
【００４７】
ステップ１０３では、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークする。
【００４８】
本実施例では、処理しようとするピクチャーはユーザ端末のフォトギャラリーにおけるピクチャーに限定されなくてもよく、他の方式で又は他の供給源から取得したピクチャーであってもよく、ここで処理しようとするピクチャーの取得方式は限定されず、必要に応じて設定することができる。
【００４９】
本実施例の実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを確定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークすることで、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させる。
【００５０】
図３は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。図３に示すように、上記方法は、図１に示す例示的な実施例の上で、ステップ１０２の前に、以下のステップを含んでもよい。
【００５１】
ステップ１０４では、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得する。
【００５２】
本実施例では、トレーニング効果を保証するために、トレーニングサンプルセットにおける各シーンに対応するトレーニングピクチャーの数量が第１所定数より大きくてもよい。例えば、パーティーシーンに対応するトレーニングピクチャーの数量は１０万枚であってもよく、風景のシーンに対応するトレーニングピクチャーの数量は１０万枚であってもよく、砂浜のシーンに対応するトレーニングピクチャーの数量は１０万枚であってもよく、他のシーンに対応するトレーニングピクチャーの数量は２０万枚、又はそれ以上であってもよい。
【００５３】
ステップ１０５では、各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、ピクチャーシーン識別モデルを得る。
【００５４】
本実施例では、サーバは、各トレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにより出力されたシーン分類結果と入力されたトレーニングピクチャーに対応するシーンを比較することにより、現在のピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を調整する必要があるか否かを確定することができる。ただし、このようなトレーニング方式は、前の１枚のトレーニングピクチャーを利用して、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を正方向調整した後、後の１枚のトレーニングピクチャーを利用して、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を逆方向調整する可能性があるため、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を頻繁に調整する必要があるようになってしまうという問題が存在する恐れがある。
【００５５】
このために、本実施例では、サーバは更に１ロットのトレーニングピクチャーを初期ピクチャーシーン識別モデルに順に入力し、初期ピクチャーシーン識別モデルから出力されたこの１ロットのトレーニングピクチャーのシーン分類結果に基づいて、現在のピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を調整する必要があるか否かを決定することもできる。次に、次のロットのトレーニングピクチャーを初期ピクチャーシーン識別モデルに順に入力する。
【００５６】
本例示的な実施例では、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得し、各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、ピクチャーシーン識別モデルを得ることにより、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる。
【００５７】
上記例示的な実施例のトレーニングによってピクチャーシーン識別モデルを得た後、ピクチャーシーン識別モデルの分類正確率が必ずしも所定閾値を満たさないので、ピクチャーシーン識別モデルの分類正確率に所定閾値を満たせるように、図４を参照し、サーバは、ステップ１０５の後、以下のステップを行ってもよい。
【００５８】
ステップ１０６では、各シーンに対応するテストピクチャーを含むテストサンプルセットを取得する。
【００５９】
本実施例では、テスト効果を向上させるために、テストサンプルセットに含まれる各シーンに対応するテストピクチャーの数は第２所定数より大きくてもよい。例えば、パーティーシーンに対応するテストピクチャーの数は１万枚であってもよく、風景のシーンに対応するテストピクチャーの数は１万枚であってもよく、砂浜のシーンに対応するテストピクチャーの数は１万枚であってもよく、他のシーンに対応するテストピクチャーの数は２万枚、又はそれ以上であってもよい。
【００６０】
ステップ１０７では、ピクチャーシーン識別モデルを用いて、テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得る。
【００６１】
ステップ１０８では、各テストピクチャーに対応するシーン分類結果に基づいて、ピクチャーシーン識別モデルに対応する分類正確率を決定する。
【００６２】
本実施例では、テストピクチャーに対応するシーン分類結果が該テストピクチャーに対応するシーンと同じである場合に、分類が正確であり、テストピクチャーに対応するシーン分類結果が該テストピクチャーに対応するシーンと異なる場合に、誤分類であり、シーン分類が正確であるテストピクチャーの数とテストピクチャーの合計数との比をピクチャーシーン識別モデルの分類正確率として決定する。
【００６３】
ステップ１０９では、分類正確率が所定閾値より小さい場合に、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定する。
【００６４】
ステップ１１０では、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定する。
【００６５】
ステップ１１１では、最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定する。
【００６６】
本例示的な実施例では、各シーンに対応するテストピクチャーを含むテストサンプルセットを取得し、ピクチャーシーン識別モデルを用いて、テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、ピクチャーシーン識別モデルに対応する分類正確率を取得し、分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、更新後のトレーニングサンプルセットを用いて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定し、最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定することで、ピクチャーシーン識別モデルの分類正確率を向上させ、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる。
【００６７】
図５は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。図５に示すように、図３に示す例示的な実施例の上で、入力されたピクチャーに対するピクチャーシーン識別モデルの処理速度を向上させるために、処理しようとするピクチャーのサイズを所定サイズに設定することができる。従って、上記方法は、ステップ１０２の前に、以下のステップを含んでもよい。
【００６８】
ステップ１１２では、所定サイズに応じて処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得る。
【００６９】
本実施例では、例えば、サーバは必要に応じて所定サイズを設定することができる。例えば、２２４ピクセル×２２４ピクセル等であってもよい。
【００７０】
なお、それに対応して、ステップ１０５の前及びステップ１０７の前に、各シーンに対応するトレーニングピクチャーとテストピクチャーを上記処理方式で同様に処理することができる。
【００７１】
それに対応して、ステップ１０２は、ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、処理しようとするピクチャーに対応するシーンを得るというステップ１０２１を含んでもよい。
【００７２】
本例示的な実施例では、所定サイズに応じて処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得て、ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、処理しようとするピクチャーに対応するシーンを得る。処理しようとするピクチャーのサイズへの規格化処理は、ピクチャーシーン識別モデルの処理しようとするピクチャーへの識別速度を向上させて、処理しようとするピクチャー識別の効率を向上させる。
【００７３】
図６は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートであり、図６に示すように、図１に示す例示的な実施例の上で、上記方法は、以下のステップを含んでもよい。
【００７４】
ステップ１１３では、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの類のアルバムを得る。
【００７５】
ステップ１１４では、各類のアルバムに対応するシーンを用いて、分類アルバムをマークする。
【００７６】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの類のアルバムを得て、各分類アルバムに対応するシーンを用いて、分類アルバムをマークすることにより、ユーザが各分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させる。
【００７７】
図７は別の例示的な実施例により示されたピクチャーのシーンの判定方法のフローチャートである。図７に示すように、図６に示す例示的な実施例の上で、上記方法は、以下ステップを含んでもよい。
【００７８】
ステップ１１５では、各分類アルバムに対して、分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、分類アルバムにおける各処理しようとするピクチャーを分類記憶し、分類アルバムに対応する少なくとも１つのサブ分類アルバムを得る。
【００７９】
ステップ１１６では、各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、サブ分類アルバムをマークする。
【００８０】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対して、分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、分類アルバムにおける各処理しようとするピクチャーを分類記憶し、分類アルバムに対応する少なくとも１つのサブ分類アルバムを得て、各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、サブ分類アルバムをマークすることにより、ユーザが各分類アルバム又はサブ分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させる。
【００８１】
以下は本発明の装置の実施例であり、本発明の方法の実施例の実施において使用することができる。本発明の装置の実施例で開示されていない詳細は、本発明の方法の実施例を参照する。
【００８２】
図８は別の例示的な実施例により示されたピクチャーのシーンの判定装置のブロック図である、当該ピクチャーのシーンの判定装置はソフトウェア、ハードウェア又は両者の組み合わせによって上記方法を実現することができる。当該ピクチャーのシーンの判定装置は、
少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得する第１取得モジュール８１と、
ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定する第１識別モジュール８２と、
処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークする第１マークモジュール８３と、を備えてもよい。
【００８３】
本実施例では、畳み込みニューラルネットワークを用いて、ピクチャーシーン識別モデルを構築する。畳み込みニューラルネットワークは人工ニューラルネットワークの１種であり、現在の音声分析及び画像識別分野の研究のホットスポットとなっている。その重み共有ネットワーク構造は、より生物学的ニューラルネットワークに類似させ、ネットワークモデルの複雑さを低減し、重みの数を減少させる。該利点はネットワークの入力が多次元画像である場合、より明らかになり、画像を直接にネットワークの入力とすることができ、従来の識別アルゴリズムにおける複雑な特徴抽出及びデータ再構築の過程を避ける。
【００８４】
畳み込みニューラルネットワークのネットワーク構造は図２に示すものである。畳み込みニューラルネットワークは１つの多層のニューラルネットワークであり、各層は複数の２次元平面からなり、各平面は複数の独立したニューロンからなる。本実施例では、畳み込みニューラルネットワークに基づいて取得したピクチャーシーン識別モデルがＮ層の構造を有すると仮定し、隣接する両層の隠れ層ノードの間の各接続の重み付け係数がトレーニングサンプルセットによりトレーニングして決定され、説明の便宜上、本発明の実施例で隠れ層ノードの間の接続の重み付け係数を特徴係数と称し、従って、ピクチャーシーン識別モデルはＮ層の特徴係数を有する。
【００８５】
本実施例では、ピクチャーシーン識別モデルの入力は処理しようとするピクチャーであり、出力は処理しようとするピクチャーのシーン分類結果であってもよい。処理しようとするピクチャーに対応するシーンは、パーティーシーン、風景のシーン、砂浜のシーン、他のシーン等を含んでもよい。処理しようとするピクチャーをピクチャーシーン識別モデルに入力してから、出力された処理しようとするピクチャーのシーン分類結果に応じて、処理しようとするピクチャーに対応するシーンが上記シーンのうちのどれであるかを決定することができる。
【００８６】
本実施例では、処理しようとするピクチャーはユーザ端末のフォトギャラリーにおけるピクチャーに限定されなくてもよく、他の方式で又は他の供給源から取得したピクチャーであってもよく、ここで処理しようとするピクチャーの取得方式は限定されず、必要に応じて設定することができる。
【００８７】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークすることで、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させる。
【００８８】
図９を参照し、図８に示す例示的な実施例の上で、上記装置は、
各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得する第２取得モジュール８４と、
各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、ピクチャーシーン識別モデルを得る入力モジュール８５と、を更に備える。
【００８９】
本実施例では、トレーニング効果を保証するために、トレーニングサンプルセットにおける各シーンに対応するトレーニングピクチャーの数が第１所定数より大きくてもよい。例えば、パーティーシーンに対応するトレーニングピクチャーの数は１０万枚であってもよく、風景のシーンに対応するトレーニングピクチャーの数量は１０万枚であってもよく、砂浜のシーンに対応するトレーニングピクチャーは１０万枚であってもよく、他のシーンに対応するトレーニングピクチャーの数は２０万枚、又はそれ以上であってもよい。
【００９０】
本実施例では、サーバは、各トレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルから出力されたシーン分類結果と入力されたトレーニングピクチャーに対応するシーンを比較することにより、現在のピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を調整する必要があるか否かを決定することができる。ただし、このようなトレーニング方式は、前の１枚のトレーニングピクチャーを利用して、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を正方向調整した後、後の１枚のトレーニングピクチャーを利用して、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を逆方向調整する可能性があるため、ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を頻繁に調整する必要があるようになってしまうという問題が存在する恐れがある。
【００９１】
このために、本実施例では、サーバは更に１ロットのトレーニングピクチャーを初期ピクチャーシーン識別モデルに順に入力し、初期ピクチャーシーン識別モデルから出力されたこの１ロットのトレーニングピクチャーのシーン分類結果に基づいて、現在のピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数を調整する必要があるか否かを決定することもできる。次に、次のロットのトレーニングピクチャーを初期ピクチャーシーン識別モデルに順に入力する。
【００９２】
本例示的な実施例では、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得し、各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、ピクチャーシーン識別モデルを得ることで、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる。
【００９３】
本例示的な実施例では、各シーンに対応するトレーニングピクチャーを含むトレーニングサンプルセットを取得し、各シーンに対応するトレーニングピクチャーを初期ピクチャーシーン識別モデルにランダムに入力し、初期ピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、ピクチャーシーン識別モデルを得ることにより、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる。
【００９４】
図１０を参照し、図９に示す例示的な実施例の上で、上記装置は、
各シーンに対応するテストピクチャーを含むテストサンプルセットを取得する第３取得モジュール８６と、
ピクチャーシーン識別モデルを用いて、テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、各テストピクチャーに対応するシーン分類結果を得る第２識別モジュール８７と、
各テストピクチャーに対応するシーン分類結果に基づいて、ピクチャーシーン識別モデルに対応する分類正確率を決定する第１決定モジュール８８と、
分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、下記の処理を繰り返し実行し、即ち、
トレーニングサンプルセットを更新し、
更新後のトレーニングサンプルセットに基づいて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルを繰り返し、
更新されたテストサンプルセットに基づいて、今回の繰り返しに対応する更新後のピクチャーシーン識別モデルに対して分類正確率のテストを行い、対応する分類正確率を決定する繰り返し処理モジュール８９と、
各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定する第２決定モジュール９０と、
最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定する第３決定モジュール９１と、を更に備える。
【００９５】
本実施例では、テスト効果を向上させるために、テストサンプルセットに含まれる各シーンに対応するテストピクチャーの数は第２所定数より大きくてもよい。例えば、パーティーシーンに対応するテストピクチャーの数は１万枚であってもよく、風景のシーンに対応するテストピクチャーの数は１万枚であってもよく、砂浜のシーンに対応するテストピクチャーの数は１万枚であってもよく、他のシーンに対応するテストピクチャーの数は２万枚、又はそれ以上であってもよい。
【００９６】
本実施例では、テストピクチャーに対応するシーン分類結果が該テストピクチャーに対応するシーンと同じである場合に、分類が正確であり、テストピクチャーに対応するシーン分類結果が該テストピクチャーに対応するシーンと異なる場合に、誤分類であり、シーン分類が正確であるテストピクチャーの数とテストピクチャーの合計数の比をピクチャーシーン識別モデルの分類正確率として決定する。
【００９７】
本例示的な実施例では、各シーンに対応するテストピクチャーを含むテストサンプルセットを取得し、ピクチャーシーン識別モデルを用いて、テストサンプルセットにおける各シーンに対応するテストピクチャーをそれぞれ識別し、ピクチャーシーン識別モデルに対応する分類正確率を取得し、分類正確率が所定閾値より小さい場合、最大繰り返し回数に達する又は分類正確率が所定閾値より大きくなるまで、更新後のトレーニングサンプルセットを用いて、前回の繰り返しに対応するピクチャーシーン識別モデルにおける各層の隠れ層ノードの間の特徴係数をトレーニングし、各回の繰り返しに対応する分類正確率のうちの最大分類正確率を決定し、最大分類正確率に対応する更新後のピクチャーシーン識別モデルをターゲットピクチャーシーン識別モデルとして決定することにより、ピクチャーシーン識別モデルの分類正確率を向上させ、ピクチャーシーン識別モデルが処理しようとするピクチャーを正確に識別する可能性を向上させる。
【００９８】
図１１を参照し、図８に示す例示的な実施例の上で、上記装置は、
所定サイズに応じて上記処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得る処理モジュール９２を更に備え、
それに対応して、第１識別モジュール８２は、
ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、処理しようとするピクチャーに対応するシーンを得る識別ユニット８２１を備える。
【００９９】
本例では、各シーンに対応するトレーニングピクチャーとテストピクチャーを上記処理方式で同様に処理する。
【０１００】
本例示的な実施例では、所定サイズに応じて処理しようとするピクチャーを規格化処理し、処理しようとするピクチャーに対応する所定サイズのピクチャーを得て、ピクチャーシーン識別モデルを用いて、所定サイズのピクチャーを識別し、処理しようとするピクチャーに対応するシーンを得て、処理しようとするピクチャーサイズへの規格化処理が、ピクチャーシーン識別モデルの処理しようとするピクチャーへの識別速度を向上させることで、処理しようとするピクチャー識別の効率を向上させる。
【０１０１】
図１２を参照し、図８に示す例示的な実施例の上で、上記装置は、
各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得る第１記憶モジュール９３と、
各分類アルバムに対応するシーンを用いて、分類アルバムをマークする第２マークモジュール９４と、を更に備える。
【０１０２】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対応するシーンを用いて、分類アルバムをマークすることで、ユーザが各分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させる。
【０１０３】
図１３を参照し、図１２に示す例示的な実施例の上で、上記装置は、
各分類アルバムに対して、分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、各類アルバムにおける各処理しようとするピクチャーを分類記憶し、各類アルバムに対応する少なくとも１つのサブ分類アルバムを得る第２記憶モジュール９５と、
各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、サブ分類アルバムをマークする第３マークモジュール９６と、を更に備える。
【０１０４】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークし、各処理しようとするピクチャーに対応するシーンに応じて、ユーザ端末のフォトギャラリーにおける各処理しようとするピクチャーを分類記憶し、少なくとも１つの分類アルバムを得て、各分類アルバムに対して、分類アルバムにおける各処理しようとするピクチャーに対応する時間及び／又は地理的位置に基づいて、分類アルバムにおける各処理しようとするピクチャーを分類記憶し、分類アルバムに対応する少なくとも１つのサブ分類アルバムを得て、各サブ分類アルバムに対応する時間及び／又は地理的位置を用いて、サブ分類アルバムをマークすることで、ユーザが各分類アルバム又はサブ分類アルバムを確認しやすくなり、フォトギャラリーに対するユーザの使用体験を向上させる。
【０１０５】
上記実施例における装置について、そのうち、各モジュールの実行操作の具体的な方式は、該方法に関する実施例で詳細に説明したので、ここで詳細に説明しない。
【０１０６】
図１４は例示的な実施例により示されたサーバ１４０のブロック図である。図１４を参照し、サーバ１４０、処理部１４２、メモリー１４４、電源部１４６、入力／出力（Ｉ／Ｏ）のインターフェース１４８、及び通信部１４１０のうちの１つ又は複数の部を備えてもよい。
【０１０７】
処理部１４２は一般的にサーバ１４０の全体の操作を制御し、処理部１４２は具体的に少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークするように配置されてもよい。
【０１０８】
処理部１４２は、上記方法の全部又は一部のステップを完成するように、指令を実行する１つ又は複数のプロセッサ１４２０を備えてもよい。また、処理部１４２は、処理部１４２と他の部との間のインターラクションを行うように、１つ又は複数のモジュールを備えてもよい。例えば、処理部１４２、通信部１４１０と処理部１４２との間のインターラクションを行うために、通信モジュールを備えてもよい。
【０１０９】
メモリー１４４は、サーバの操作を支持するように、様々な種類のデータ及び処理部１４２の実行可能な指令を記憶するように配置される。これらのデータの示例は、アプリケーションに関連するプログラム、指令又は実行データ等を含む。メモリー１４４は、例えば、全ての種類の揮発性又は不揮発性メモリー又はそれらの組み合わせ、例えば、スタティックランダムアクセスメモリー（ＳＲＡＭ、ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、電気的消去可能なプログラム可能な読み取り専用メモリー（ＥＥＰＲＯＭ、Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリー（ＥＰＲＯＭ、Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、プログラム可能な読み取り専用メモリー（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、読み取り専用メモリー（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、磁気メモリー、フラッシュメモリー、磁気ディスク又は光ディスクにより実現することができる。
【０１１０】
電源部１４６はサーバ１４０の各種の部へ電力を提供する。電源部１４６は、電源管理システム、１つ又は複数の電源、及び他のサーバ１４０に関連する部を備えてもよい。
【０１１１】
Ｉ／Ｏインターフェース１４８は、処理部１４２と周辺インターフェースモジュールとの間にインターフェースを提供し、上記周辺インターフェースモジュールはキーボード、クリックホイール、ボタン等であってもよい。通信部１４１０は、サーバ１４０と他の装置との間の有線又は無線方式の通信に利便性を与えるように配置される。サーバ１４０は通信規格に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスすることができる。１つの例示的な実施例では、通信部１４１０は、ブロードキャストチャネルを経由して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストの関連情報を受信する。１つの例示的な実施例では、通信部１４１０は、近距離通信を促進するために、近接場通信（ＮＦＣ）モジュールを更に備える。例えば、ＮＦＣモジュールでは、ラジオ周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、ウルトラワイドバンド（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現することができる。
【０１１２】
例示的な実施例では、装置１４０は、１つ又は複数特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラム可能論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子部品により実現され、上記ピクチャーのシーンの判定方法を実行するためである。
【０１１３】
例示的な実施例では、指令を含む非一時的なコンピュータ可読記憶媒体を更に提供し、例えば指令を含むメモリー１４４を更に提供しており、上記方法を実現するように、上記指令はサーバ１４０のプロセッサ１４２０で実行されてもよい。例えば、非一時的なコンピュータ可読記憶媒体は、ＲＯＭ、ランダムアクセスメモリー（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク及び光データ記憶装置等であってもよい。
【０１１４】
非一時的なコンピュータ可読記憶媒体であって、記憶媒体における指令がサーバ１４０のプロセッサにより実行された場合、上記ピクチャーのシーンの判定方法をサーバ１４０に実行させる可能である。
【０１１５】
本例示的な実施例では、少なくとも１枚の処理しようとするピクチャーを含むユーザ端末のフォトギャラリーを取得し、ピクチャーシーン識別モデルを用いて、処理しようとするピクチャーをそれぞれ識別し、処理しようとするピクチャーに対応するシーンを決定し、処理しようとするピクチャーに対応するシーンを用いて、処理しようとするピクチャーをマークすることにより、ユーザが確認する時、処理しようとするピクチャーに対応するシーンに応じてフォトギャラリーにおける処理しようとするピクチャーを分類してユーザに提供し、フォトギャラリーに対するユーザの使用体験を向上させる。
【０１１６】
当業者であれば、明細書を考慮しここに開示された発明を実践した後、本公開のその他の実施態様を容易に想到できる。本発明は、本公開の如何なる変形、用途又は適応的変化を含むためのものであり、これらの変形、用途又は適応的変化は本発明の一般的な原理に準じ、本発明の開示されていない当該技術分野における周知知識又は慣用の技術手段を含む。明細書と実施例は例示的なものに過ぎず、本発明の実際の範囲と精神は特許請求の範囲により与えられる。
【０１１７】
ここで理解すべきことは、本発明は既に上記のように説明され、図面に示された精確な構成に限定されず、その範囲を逸脱しない限りにおいて様々な修正や変更を行うことができる。本発明の範囲は特許請求の範囲のみにより限定される。
【図１】
2017536635.tif 000003
【図２】
2017536635.tif 000004
【図３】
2017536635.tif 000005
【図４】
2017536635.tif 000006
【図５】
2017536635.tif 000007
【図６】
2017536635.tif 000008
【図７】
2017536635.tif 000009
【図８】
2017536635.tif 000010
【図９】
2017536635.tif 000011
【図１０】
2017536635.tif 000012
【図１１】
2017536635.tif 000013
【図１２】
2017536635.tif 000014
【図１３】
2017536635.tif 000015
【図１４】
2017536635.tif 000016
【国際調査報告】
2017536635.tif 000017
2017536635.tif 000018
2017536635.tif 000019
2017536635.tif 000020