他の大規模多言語モデルと比較して、TextMonkeyが優れたパフォーマンスを発揮する理由は何ですか
TextMonkeyが他の大規模多言語モデルと比較して優れたパフォーマンスを発揮する理由は複数あります。まず第一にShifted Window Attention with zero initialization を採用したことで高解像度画像処理時でも適切な関連性を維持しつつ入力解像度拡張効果も得られました。さらにToken Resampler を導入することで冗長トークン数削減効果も実現しました。また、複数の文本指向タスク同時処理能力向上や位置情報組み込み等も性能向上要因です。