Add VL-T5 pretrained model and tokenizer

VG/attributes_vocab.txt

@@ -0,0 +1,400 @@
+灰色の
+多色の
+二階建ての
+未完成の
+赤い
+カモフラージュされた
+青い
+白い
+緑の
+ピンクの
+黄色い
+黒い
+アイボリーの
+投げている
+オレンジ色の
+トゲトゲの
+格子柄の
+紫の
+サッカーの
+ブレーキの
+ブロンドの
+アメリカの
+フラットスクリーン
+茶色の
+木製の
+パフォーマンスしている
+引き戻された
+フロントガラスの
+ハゲた
+チョコレートの
+カーキ色の
+リンゴの
+ブローイング
+停車された
+突き出した
+蛍光の
+光沢のある
+調理している
+レンガの
+家の
+ヤシの
+カールした
+チーズの
+クラッシュした
+穏やかな
+クリスマスの
+砂利の
+鎖の
+透明な
+曇った
+巻いた
+縞模様の
+飛んでいる
+松の
+アーチ型の
+広葉樹の
+銀の
+枠付き
+一方通行の
+背の高い
+筋骨隆々の
+スキーをしている
+タイル張りの
+裸の
+サーフィンしている
+ぬいぐるみの
+wiiの
+脱いでいる
+睡眠の
+ジャンプしている
+金属の
+炎の
+ネオン・グリーンの
+石鹸の
+公園の
+チョークの
+ライセンスの
+粉末状の
+上がった
+織られた
+赤ちゃんの
+北極の
+ぺたんこの
+トーストされた
+コーヒーの
+鉢植えの
+濡れた
+テニスしている
+乾いた
+ハゲている
+絨毯の
+深い青の
+厚紙の
+尖った
+砂の
+雪で覆われた
+薄い
+木の
+泳いでいる
+交通の
+クラウチングしている
+短い
+溶けた
+大理石の
+岩の
+開いた
+紙の
+積み上げられた
+ステンレスの
+雑然とした
+汚れた
+波打つ
+熟した
+塩の
+回転している
+長い
+時計の
+マルーン
+小さい
+三角形の
+大きい
+砂の
+落ちている
+泡状の
+積み上げられた
+スライスされた
+ブロンドの
+プレーンな
+麦の
+混雑した
+チェック柄の
+伸ばした
+ステンレスの
+石の
+岩の
+敷き詰められた
+放牧された
+磁器の
+スノーボードしている
+止まった
+革の
+金の
+カーゴ
+テニスしている
+冬の
+歩いている
+ローマの
+剥かれた
+プラスチックの
+カラフルな
+光る
+焦げた
+汚れた
+タイルの
+曇りのない
+ガラスの
+笑顔の
+果物の
+曇りの
+大人の
+水の
+丸い
+誕生日の
+暗い
+雪の
+葉っぱのない
+若い
+籐の
+スケートボードしている
+調理された
+巨大な
+ドレスの
+ワイヤーの
+割れた
+コンクリートの
+敷き詰められた
+草の
+霧の
+揚げられた
+スライスされた
+バッティングしている
+山の
+半分になった
+スキーの
+彫像の
+静止画の
+八角形の
+横から見た
+座っている
+波の
+花の形の
+走る
+動いている
+小さい
+ドアの
+ワインの
+閉じた
+セメントの
+飛び散っている
+空の
+食べている
+スケートしている
+遊んでいる
+古い
+日焼けした
+葉っぱの
+下がった
+電気の
+手入れされた
+立っている
+ぼやけた
+チョロチョロの
+運転している
+見ている
+停車の
+尖った
+覆っている
+販売用の
+反射している
+鉄道の
+金色の
+急勾配の
+花崗岩の
+ロール状の
+列車の
+斑点のある
+フワフワした
+曲げる
+ターマック
+毛皮の
+汚れた
+吊るされた
+上にある
+半分以上の
+明るい
+クロムの
+トイレットペーパーの
+スクワットしている
+しゃがんだ
+刻まれた
+ネオンの
+スケートの
+錆びた
+男性の
+覆われた
+伸びた
+光の
+乗馬している
+シャツを着ていない
+届く
+野球の
+鉄の
+夜の
+まだら模様の
+明るい青の
+水平の
+デニムの
+ケーキの
+ぼんやりした
+欠けた
+警察の
+オフになった
+死んだ
+ナイキの
+蒸された
+ベージュの
+ブルネットの
+半袖の
+ラップトップの
+装飾された
+鋭い
+止まっている
+クレイ
+作られた
+メッシュの
+街の
+バーガンディーの
+曲がった
+錆びた
+舗装された
+パターン化された
+描かれた
+平らな
+着陸用の
+水色の
+ふわふわの
+シャギーの
+休息している
+伸びきった
+屈んでいる
+円形の
+曲がった
+キャスト
+虹色の
+ライムグリーンの
+陶器の
+乾いた
+発泡スチロールの
+長袖の
+くねくねした
+海の
+大きな
+青緑色の
+楕円形の
+緑の
+濁った色の
+トマトの
+文字の
+レンガ状の
+空中の
+遠くの
+一杯になった
+開いた
+見ている
+パワー
+掴んでいる
+茶色くなった
+成長している
+後ろ向きの
+清潔な
+レースの
+焼かれた
+味付けされた
+裸足の
+ひざまづいた
+デジタルな
+群れの
+スライディング
+凹んだ
+横たわる
+サービング
+水玉の
+カットされた
+装飾された
+積み上げられた
+鉄の
+濁りのある
+丘の上の
+盛り上がった
+叩く
+常緑の
+太陽の
+手首の
+��分の
+空白の
+数字の
+電気式の
+コンピュータの
+ロール状の
+全体
+青々とした
+昼間の
+トイレの
+指す
+アスファルトの
+公共の
+単独の
+ポーズをとる
+束の
+四角い
+安全な
+着ている
+ストライプの
+浴室の
+反射している
+アソートの
+スイングしている
+エアボーン
+暗い青色の
+草の
+燃えた
+電話の
+停泊中の
+杭の
+笑っている
+真鍮の
+ゴム製の
+つや消しの
+毛深い
+オーバーヘッド
+輝く
+ソーダの
+数字の
+話す
+不毛な
+削った
+光沢のある
+ざらざらした
+書き込まれた
+古い
+薄い
+装飾的な
+シワシワの
+剥がれた
+金色の
+金属調の
+後ろ
+厚い
+白黒の
+傾いた

VG/objects_vocab.txt

@@ -0,0 +1,1600 @@
+卵黄
+ゴール
+バスルーム
+マカロニ
+審判員
+つまようじ
+目覚まし時計
+シーリングファン
+写真
+オウム
+尾びれ
+バースデーケーキ
+計算機
+キャッチャー
+トイレ
+バッター
+停止標識
+コーン
+電子レンジ
+スケートボード用のスロープ
+お茶
+ダグアウト
+製品
+ホルター
+やかん
+キッチン
+冷蔵庫
+ダチョウ
+バスタブ
+ブラインド
+裁判所
+小便器
+膝パッド
+ベッド
+フラミンゴ
+キリン
+ヘルメット
+キリン
+テニスコート
+オートバイ
+ノートパソコン
+ティーポット
+馬
+テレビ
+ショートパンツ
+マンホール
+食器洗い機
+ジーンズ
+帆
+モニター
+男性
+シャツ
+自動車
+猫
+ガレージのドア
+バス
+ラジエーター
+タイツ
+帆船
+ラケット
+プレート
+岩壁
+ビーチ
+トロリー
+海
+ヘッドボード
+ティーケトル
+ウェットスーツ
+テニスラケット
+シンク
+列車
+キーボード
+空
+マッチ
+鉄道駅
+ステレオ
+バット
+テニスプレーヤー
+トイレブラシ
+ライター
+ペッパーシェーカー
+見晴らし台
+ヘアドライヤー
+象
+便座
+シマウマ
+スケートボード
+シマウマ
+フロアランプ
+フライドポテト
+女性
+プレーヤー
+塔
+自転車
+雑誌
+クリスマスツリー
+傘
+牛
+パンツ
+バイク
+フィールド
+リビングルーム
+ラッチ
+寝室
+ブドウ
+城
+テーブル
+白鳥
+ブレンダー
+オレンジ
+テディベア
+ネット
+メーター
+野球場
+ランウェイ
+スクリーン
+スキーブーツ
+犬
+時計
+髪
+アボカド
+ハイウェイ
+スカート
+フリスビー
+パラセール
+机
+ピザ
+マウス
+サイン
+シャワーカーテン
+ホッキョクグマ
+飛行機
+ジャージ
+看板
+ホットドッグ
+サーフボード
+長椅子
+グラス
+スノーボード
+女の子
+飛行機
+ゾウ
+オーブン
+ダートバイク
+尾翼
+エリアラグ
+クマ
+洗濯機
+デート
+蝶ネクタイ
+牛
+消火器
+竹
+財布
+尾羽
+トラック
+ビーチチェア
+ボート
+タブレット
+天井
+シャンデリア
+羊
+眼鏡
+ラム
+カイト
+サラダ
+枕
+消火栓
+マグカップ
+ターマック
+コンピューター
+水着
+トマト
+タイヤ
+カリフラワー
+暖炉
+雪
+建物
+サンドイッチ
+風見鶏
+鳥
+ジャケット
+椅子
+水
+猫
+サッカーボール
+馬
+ドレープ
+納屋
+エンジン
+ケーキ
+ヘッド
+ヘッドバンド
+スキーヤー
+町
+浴槽
+ボウル
+ストーブ
+舌
+コーヒーテーブル
+フロア
+ユニフォーム
+オットマン
+ブロッコリー
+オリーブ
+マウンド
+ピッチャー
+食べ物
+絵画
+信号機
+パーキングメーター
+バナナ
+山
+ケージ
+生け垣
+バイク
+ウェットスーツ
+
+テディベア
+モニター
+スーツケース
+引き出し
+草
+リンゴ
+ランプ
+ゴーグル
+少年
+肘掛け椅子
+ランプ
+バーナー
+子羊
+カップ
+タンクトップ
+ボート
+帽子
+スープ
+柵
+ネックレス
+バイザー
+コーヒー
+ボトル
+スツール
+靴
+サーファー
+ストップ
+バックパック
+すね当て
+wiiリモコン
+壁
+ピザスライス
+ホームプレート
+バン
+パケット
+イヤリング
+リストバンド
+トラック
+ミット
+ドーム
+スノーボーダー
+蛇口
+洗面用具
+スキーブーツ
+部屋
+フォーク
+スノースーツ
+バナナの輪切り
+ベンチ
+ネクタイ
+バーナー
+縫いぐるみ
+動物園
+電車のプラットフォーム
+カップケーキ
+カーテン
+耳
+ティッシュボックス
+パン
+ハサミ
+花瓶
+群れ
+煙
+天窓
+カブ
+尾
+まな板
+波
+ヘッジ
+フロントガラス
+りんご
+鏡
+ナンバープレート
+木
+車輪
+スキーポール
+時計塔
+冷凍庫
+手荷物
+スケートボーダー
+マウスパッド
+道路
+バット
+トイレタンク
+洗面台
+首
+崖
+チューブ
+スプリンクル
+ドレッサー
+通り
+翼
+スーツ
+野菜
+ヤシの木
+小便器
+ドア
+プロペラ
+鍵
+スケート場
+プラットフォーム
+鍋
+タオル
+コンピューターモニター
+フリップフロップ
+卵
+物置
+原付
+砂
+顔
+ハサミ
+カート
+スカッシュ
+枕
+家族
+グローブ
+敷物
+時計
+グラフィティ
+犬
+スコアボード
+バスケット
+ポスター
+アヒル
+ホーン
+クマ
+ジープ
+絵画
+灯台
+リモコン
+トースター
+野菜
+サーフボード
+アヒル
+車線
+にんじん
+市場
+ペーパータオル
+島
+ブルーベリー
+笑顔
+風船
+ベビーカー
+ナプキン
+タオル
+紙
+人
+線路
+子供
+はちまき
+プール
+植物
+港
+カウンター
+手
+家
+ドーナツ
+結び目
+サッカー選手
+かもめ
+ボトル
+バス
+コート
+木
+ガチョウ
+バン
+便器
+トランク
+駅
+ビキニ
+あごひげ
+ラウンジチェア
+朝食
+鼻
+月
+川
+レーサー
+写真
+シェイカー
+歩道
+シャッター
+ストーブトップ
+教会
+ランプシェード
+地図
+売店
+大皿
+空港
+パーカー
+オレンジ
+森
+エンクロージャー
+スケートパーク
+花瓶
+都市
+公園
+メールボックス
+気球
+ビルボード
+牧場
+肖像画
+おでこ
+船
+クッキー
+海藻
+ソファー
+スラット
+トマトの輪切り
+トラクター
+雄牛
+スーツケース
+グラフィティ
+警察官
+リモコン
+ペン
+窓枠
+サスペンダー
+イーゼル
+トレイ
+ストロー
+襟
+シャワー
+バッグ
+スクーター
+しっぽ
+トイレの蓋
+パンダ
+コンフォーター
+コンセント
+茎
+谷
+旗
+騎手
+砂利
+口
+窓
+橋
+コーン
+山
+ビール
+ピッチャーマウンド
+ヤシの木
+群衆
+スキー
+電話
+バナナの束
+テニスシューズ
+グランド
+カーペット
+目
+壷
+くちばし
+キリンの頭
+尖塔
+マットレス
+野球選手
+ワイン
+水筒
+子猫
+アーチ
+ろうそく
+クロワッサン
+テニスボール
+ドレス
+列
+道具類
+携帯電話
+コンピューターマウス
+帽子
+芝生
+飛行機
+馬車
+スナウト
+キャビネット
+レモン
+グリル
+傘
+肉
+ワゴン
+ipod
+本棚
+カート
+屋根
+干し草
+スキーパンツ
+座席
+たてがみ
+バイク
+引き出し
+ゲーム
+時計の文字盤
+男子
+ライダー
+ファイヤーエスケープ
+スロープ
+iphone
+かぼちゃ
+鍋
+箸
+丘
+ユニフォーム
+クリート
+衣装
+船室
+警察官
+耳
+卵
+ごみ箱
+クラクション
+矢
+歯ブラシ
+にんじん
+バナナ
+飛行機
+庭
+森
+ブロッコリ
+航空機
+フロントウィンドウ
+ダッシュボード
+彫像
+皿
+人々
+銀食器
+果物
+排水口
+ジェット
+スピーカー
+目
+鉄道
+蓋
+石鹸
+岩石
+オフィスチェア
+ドアノブ
+バナナの皮
+野球の試合
+アスパラガス
+スプーン
+キャビネットのドア
+パイナップル
+トラフィックコーン
+ナイトスタンド
+ティーポット
+タクシー
+煙突
+湖
+スーツの上着
+列車のエンジン
+ボール
+リストバンド
+ピクルス
+果物
+パッド
+ディスペンサー
+手綱
+ブレスト
+コーン
+ヘッドライト
+ネクタイ
+スケーター
+トイレットペーパー
+超高層ビル
+電話
+雄牛
+道路
+靴下
+パドル
+食器
+丘
+道路標識
+ヘッドライト
+ベンチ
+機体
+カード
+ナプキン
+茂み
+米
+コンピューターの画面
+スポーク
+花
+バケツ
+岩石
+ポール
+梨
+ソース
+ストア
+ジュース
+ノブ
+マスタード
+スキー
+スタンド
+キャビネット
+土
+ヤギ
+ワイングラス
+観客
+木箱
+パンケーキ
+子どもたち
+エンジン
+日陰
+フィーダー
+携帯電話
+コショウ
+毛布
+サングラス
+列車車両
+磁石
+ドーナツ
+セーター
+信号
+広告
+ログ
+通気孔
+ヒゲ
+大人
+アーチ
+機関車
+テニスの試合
+テント
+バイク
+磁石
+夜
+マリーナ
+ウール
+ベスト
+線路
+クマのぬいぐるみ
+口ひげ
+ビブ
+フレーム
+スノーパンツ
+タンク
+アンダーシャツ
+アイコン
+ネクタイ
+梁
+野球のバット
+セーフティーコーン
+ペーパータオル
+ベッドカバー
+カン
+容器
+花
+車両
+トマト
+後輪
+サッカー場
+鼻の穴
+SUV
+建物
+キャノピー
+炎
+子供
+野球
+スローピロー
+ベルト
+虹
+レモン
+オーブンドア
+タグ
+本
+モニュメント
+男性
+影
+自転車
+車
+ランプシェード
+松の木
+ブーケ
+歯磨き粉
+ジャガイモ
+シンク
+フック
+スイッチ
+ランプポスト
+ラペル
+砂漠
+ノブ
+椅子
+パスタ
+羽根
+穴
+食事
+ステーションワゴン
+凧
+ブーツ
+赤ちゃん
+バイカー
+ゲート
+信号灯
+ヘッドホン
+ヤギ
+波
+バンパー
+つぼみ
+ロゴ
+カーテン
+アメリカの国旗
+ヨット
+箱
+野球帽
+フライドポテト
+コントローラー
+日よけ
+パス
+前脚
+ライフジャケット
+財布
+外野
+ハト
+幼児
+髭
+親指
+水槽
+ボード
+パレード
+ローブ
+新聞
+ワイヤー
+カメラ
+ペストリー
+甲板
+スイカ
+雲
+鹿
+オートバイ乗り
+膝当て
+スニーカー
+女性
+玉ねぎ
+眉毛
+ガソリンスタンド
+羽根
+女の子
+ゴミ
+数字
+ナイフ
+タグ
+光
+束
+衣装
+新郎
+内野
+フロスティング
+フォーク
+エンターテイメントセンター
+縫いぐるみ
+庭
+数字
+はしご
+靴
+ブレスレット
+歯
+男
+ディスプレイケース
+クッション
+ポスト
+経路
+テーブルクロス
+スキーヤー
+ズボン
+雲
+手
+プロデュース
+ビーム
+ケチャップ
+手足
+皿
+いかだ
+横断歩道
+前輪
+トースト
+牛
+プレーヤー
+グループ
+コーヒーポット
+トラック
+カウボーイハット
+花びら
+眼鏡
+ハンドル
+テーブルクロス
+ジェット機
+シェーカー
+リモート
+防寒着
+低木
+デザート
+脚
+ワシ
+消防車
+ゲームコントローラー
+スマートフォン
+バックスプラッシュ
+列車
+岸
+看板
+ベル
+食器棚
+スウェットバンド
+袋
+足首
+コイン投入口
+ベーグル
+マスト
+警察
+ドローイング
+ビスケット
+おもちゃ
+脚
+舗道
+外側
+車輪
+ドライバー
+数字
+ブレザー
+ペン
+キャベツ
+トラック
+キー
+サドル
+ピローケース
+ガチョウ
+ラベル
+巨石
+パジャマ
+手首
+棚
+クロス
+コーヒーカップ
+葉っぱ
+ロット
+稚魚
+空気
+オフィサー
+ペパロニ
+チーズ
+女性
+キックスタンド
+カウンタートップ
+野菜
+野球ユニフォーム
+本棚
+バッグ
+漬物
+スタンド
+網
+レタス
+顔の毛
+ライム
+動物
+ドレープ
+ブーツ
+手すり
+エンドテーブル
+すね当て
+ステップ
+ゴミ箱
+牙
+ヘッドライト
+歩道
+コックピット
+テニスネット
+動物
+遊歩道
+キーパッド
+本箱
+ブルーベリー
+ごみ袋
+スキーのストック
+駐車場
+ガスタンク
+ベッド
+扇風機
+ベース
+ソープディスペンサー
+バナー
+救命胴衣
+列車前面
+単語
+キャブ
+液体
+排気管
+スニーカー
+照明器具
+電力線
+縁石
+シーン
+ボタン
+ローマ数字
+口輪
+ステッカー
+ベーコン
+ピザ
+紙
+足
+階段
+三角形
+植物
+ロープ
+豆
+つば
+飲み物
+文字
+ソーダ
+メニュー
+指
+DVD
+ろうそく
+ピクニック用のテーブル
+ワインボトル
+鉛筆
+木の幹
+ネイル
+マントル
+カウンタートップ
+ビュー
+線
+モーターバイク
+観客
+交通標識
+腕
+歩行者
+スタビライザー
+ドック
+玄関
+布団
+端部
+労働者
+運河
+クレーン
+格子
+少女
+縁
+乗用車
+プレート
+背景
+皮
+ブレーキライト
+ローマ数字
+文字列
+歯
+芝生
+肘掛け
+シャワーヘッド
+綱
+石
+ストップライト
+ハンドルバー
+フロント
+スカーフ
+バンド
+ジーンズ
+テニス
+杭
+ドアノブ
+足
+家
+ウィンドウズ
+レストラン
+ブース
+ダンボール箱
+指
+山脈
+観客席
+レール
+ペストリー
+カヌー
+太陽
+眼鏡
+塩入れ
+数字
+魚
+膝当て
+毛皮
+彼女
+シャワードア
+ロッド
+枝
+鳥
+プリンター
+夕日
+中央部
+シャッター
+スライス
+ヒーター
+プロング
+水着
+スキーヤー
+ラック
+本
+ブレード
+アパート
+マンホールの蓋
+スツール
+オーバーハング
+ドアハンドル
+カップル
+額縁
+鶏
+プランター
+座席
+時針
+DVDプレーヤー
+スキーゲレンデ
+フライドポテト
+ボウル
+トップ
+着陸装置
+コーヒーメーカー
+メロン
+コンピューター
+ライトスイッチ
+壺
+テレビ台
+オーバーオール
+ガレージ
+テーブルトップ
+ライティング
+ドア
+スタジアム
+ランチョンマット
+空気抜き
+トリック
+ソリ
+マスト
+池
+ステアリングホイール
+野球グローブ
+透かし
+パイ
+サンドウィッチ
+cpu
+マッシュルーム
+電柱
+土の道
+ハンドル
+スピーカー
+フェンダー
+電柱
+イチゴ
+マスク
+子供たち
+クラスト
+アート
+リム
+枝
+ディスプレイ
+草
+写真
+レシート
+説明書
+ハーブ
+おもちゃ
+ハンドルバー
+トレーラー
+サンダル
+頭蓋骨
+ハンガー
+パイプ
+オフィス
+チェスト
+ランプ
+地平線
+カレンダー
+泡
+石
+棒
+ボタン
+ポール
+ハート
+ホース
+ジェットエンジン
+ジャガイモ
+雨
+雑誌
+鎖
+フットボード
+Tシャツ
+デザイン
+壁
+著作権
+写真
+柱
+飲み物
+障壁
+ボックス
+チョコレート
+シェフ
+スロット
+スウェットパンツ
+フェイスマスク
+アイシング
+ワイパー
+円
+ビン
+子猫
+エレクトロニクス
+荒地
+タイル
+蒸気
+レタリング
+洗面台
+ノートパソコン
+サクラ
+尖塔
+導体
+シート
+スラブ
+フロントガラスワイパー
+店頭
+丘側
+ヘラ
+テールライト
+豆
+ワイヤー
+交差点
+桟橋
+スノーボード
+トランクス
+ウェブサイト
+ボルト
+カヤック
+ナッツ
+ホルダー
+タービン
+ストップライト
+オリーブ
+ボールキャップ
+バーガー
+たる
+ファン
+ビーニー
+茎
+線
+交通信号機
+スウェットシャツ
+ハンドバッグ
+マルチ
+靴下
+風景
+ソーダ缶
+棚
+スキーリフト
+コード
+野菜
+エプロン
+ブラインド
+ブレスレット
+ステッカー
+交通
+ストリップ
+テニスシューズ
+水泳用トランクス
+山腹
+サンダル
+コンクリート
+唇
+バターナイフ
+言葉
+葉っぱ
+列車車両
+話した
+穀物
+松の木
+クーラー
+前髪
+半分
+シート
+フィギュア
+公園のベンチ
+スタック
+2階
+モーター
+ハンドタオル
+腕時計
+観客
+ティッシュ
+フリップフロップ
+キルト
+小花
+子牛
+バックパック
+ブドウ
+スキートラック
+皮膚
+おじぎ
+コン��ロール
+夕食
+野球選手
+広告
+リボン
+ホテル
+海
+カバー
+防水シート
+天気
+ノート
+口ひげ
+石垣
+クローゼット
+彫像
+銀行
+スケートボード
+バター
+ドレスシャツ
+膝
+木
+ラップトップ
+カフ
+ハブキャップ
+翼
+範囲
+構造
+ボール
+トンネル
+球
+道具
+ダンプスター
+cd
+床
+ラッパー
+フォルダ
+ポケット
+母親
+スキーゴーグル
+ポスト
+電力線
+航跡
+バラ
+線路
+反射
+エアコン
+レフェリー
+バリケード
+野球ミット
+マウスパッド
+ゴミ箱
+バックル
+足跡
+ライト
+マフィン
+ブラケット
+プラグ
+タクシー
+飲み物
+サーファー
+矢印
+コントロールパネル
+リング
+小枝
+土
+空
+時計の針
+車掌車
+遊び場
+マンゴー
+切り株
+レンガの壁
+ねじ
+ミニバン
+葉
+フェンシング
+レッジ
+衣服
+草原
+配管
+ブラウス
+パッチ
+足場
+ハンバーガー
+電柱
+テディ
+バラ
+フライパン
+サイクル
+ケーブル
+グローブ
+樹皮
+装飾
+テーブル
+手のひら
+wii
+山頂
+低木
+ひづめ
+セロリ
+ビーズ
+プラーク
+フローリング
+サーフ
+クロス
+乗客
+スポット
+プラスチック
+ナイフ
+ケース
+鉄道
+ポニー
+マフラー
+ホットドック
+ストライプ
+スケール
+ブロック
+リクライニングチェア
+体
+影
+タップ
+ツール
+食器棚
+壁紙
+彫刻
+表面
+セダン
+距離
+低木
+スキー
+リフト
+底部
+クリート
+ロール
+衣類
+ベッドフレーム
+スラックス
+テールライト
+人形
+信号機
+記号
+文字列
+器具
+ショート
+ペンキ
+キャンドルホルダー
+ガードレール
+サイクリスト
+木の枝
+波紋
+歯車
+腰
+ごみ箱
+玉ねぎ
+自宅
+サイドミラー
+ブラシ
+スウェットバンド
+ハンドルバー
+電柱
+街灯
+パッド
+ハム
+アートワーク
+リフレクター
+フィギュア
+タイル
+山腹
+黒
+レンガ
+紙皿
+スティック
+牛肉
+パティオ
+雑草
+バック
+ソーセージ
+足
+農場
+デカール
+ハーネス
+サル
+柵柱
+ドア枠
+ストライプ
+時計
+ポニーテール
+トッピング
+ストラップ
+カートン
+青菜
+あご
+昼食
+名前
+イヤリング
+エリア
+Tシャツ
+クリーム
+レール
+クッション
+ラニヤード
+レンガ
+廊下
+キュウリ
+金網
+シダ
+タンジェリン
+窓辺
+パイプ
+パッケージ
+車椅子
+チップ
+ドライブウェイ
+タトゥー
+サイドウィンドウ
+階段
+洗面器
+機械
+テーブルランプ
+ラジオ
+ポニーテール
+海の水
+内側
+貨物
+オーバーパス
+マット
+ソケット
+植木鉢
+ツリーライン
+標識柱
+チューブ
+ダイヤル
+スプラッシュ
+男性
+ランタン
+口紅
+唇
+トング
+スキーウェア
+トレイル
+旅客列車
+バンダナ
+レイヨウ
+デザイン
+テント
+写真
+キャッチャーミット
+コンセント
+タイヤ
+巨石
+マネキン
+プレーン
+層
+マッシュルーム
+イチゴ
+ピース
+オール
+バイクラック
+スライス
+腕
+ひれ
+影
+フード
+フロントガラスワイパー
+手紙
+ドット
+バス停
+手すり
+小石
+泥
+爪
+パトカー
+クラウン
+メートル
+名前タグ
+入り口
+階段
+エビ
+レディース
+ピーク
+つる
+コンピューターのキーボード
+ガラスドア
+洋ナシ
+あえぐ
+ワイングラス
+屋台
+アスファルト
+列
+スリーブ
+パック
+頬
+バスケット
+土地
+日
+ブロック
+中庭
+ペダル
+パネル
+種
+バルコニー
+黄色
+ディスク
+若者
+眉毛
+パン粉
+ほうれん草
+エンブレム
+オブジェクト
+バー
+ダンボール
+ティッシュ
+ライトポスト
+スキージャケット
+調味料
+パラソル
+ターミナル
+サーフィン
+街灯
+路地
+コード
+イメージ
+水差し
+アンテナ
+子犬
+ベリー
+ダイヤモンド
+パン
+噴水
+前景
+シロップ
+花嫁
+スプレー
+ライセンス
+トウガラシ
+乗客
+セメント
+旗
+小屋
+トラフ
+オブジェクト
+アーチ
+ストリーマ
+ポット
+ボーダー
+幅木
+ビール瓶
+腕時計
+タイルの床
+ページ
+ピン
+アイテム
+ベースライン
+ハンガー
+木の枝
+牙
+ロバ
+容器
+薬味
+デバイス
+封筒
+パラシュート
+メッシュ
+小屋
+蝶
+塩
+トイレ
+小枝
+パイロット
+ツタ
+家具
+粘土
+プリント
+サンドイッチ
+ライオン
+帯状疱疹
+柱
+車両
+ペイン
+海岸線
+流れ
+コントロール
+ロック
+マイク
+ブレード
+タオル掛け
+コースター
+星
+花びら
+テキスト
+羽根
+スポット
+ブイ

config.json

@@ -0,0 +1,45 @@
+{
+  "_name_or_path": "sonoisa/t5-base-japanese",
+  "activation_dropout": 0.1,
+  "architectures": [
+    "VLT5ModelWrapper"
+  ],
+  "attention_dropout": 0.1,
+  "bos_token_id": 0,
+  "classifier": false,
+  "d_ff": 3072,
+  "d_kv": 64,
+  "d_model": 768,
+  "decoder_start_token_id": 0,
+  "dropout": 0.1,
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "eos_token_ids": [
+    1
+  ],
+  "feat_dim": 2048,
+  "feed_forward_proj": "relu",
+  "gradient_checkpointing": false,
+  "individual_vis_layer_norm": true,
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "layer_norm_epsilon": 1e-06,
+  "losses": "lm,qa,ground_caption,refer,itm",
+  "max_length": 512,
+  "model_type": "t5",
+  "n_images": 2,
+  "n_positions": 512,
+  "num_beams": 4,
+  "num_decoder_layers": 12,
+  "num_heads": 12,
+  "num_layers": 12,
+  "pad_token_id": 0,
+  "pos_dim": 4,
+  "relative_attention_num_buckets": 32,
+  "share_vis_lang_layer_norm": false,
+  "transformers_version": "4.7.0",
+  "use_cache": true,
+  "use_vis_layer_norm": true,
+  "use_vis_order_embedding": true,
+  "vocab_size": 32200
+}

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1b3b04b8052e6d3279c3d27fec283884c5802862894c07d4e7232c4f774284f
+size 1293927131

special_tokens_map.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "additional_special_tokens": ["<extra_id_0>", "<extra_id_1>", "<extra_id_2>", "<extra_id_3>", "<extra_id_4>", "<extra_id_5>", "<extra_id_6>", "<extra_id_7>", "<extra_id_8>", "<extra_id_9>", "<extra_id_10>", "<extra_id_11>", "<extra_id_12>", "<extra_id_13>", "<extra_id_14>", "<extra_id_15>", "<extra_id_16>", "<extra_id_17>", "<extra_id_18>", "<extra_id_19>", "<extra_id_20>", "<extra_id_21>", "<extra_id_22>", "<extra_id_23>", "<extra_id_24>", "<extra_id_25>", "<extra_id_26>", "<extra_id_27>", "<extra_id_28>", "<extra_id_29>", "<extra_id_30>", "<extra_id_31>", "<extra_id_32>", "<extra_id_33>", "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>"]}

spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:575bba4012fcabb11c89be62a45afdcb2ef648e880f021703b96a8a173f6b3b7
+size 804231

tokenizer_config.json

@@ -0,0 +1 @@
+{"eos_token": "</s>", "unk_token": "<unk>", "pad_token": "<pad>", "extra_ids": 100, "additional_special_tokens": ["<extra_id_0>", "<extra_id_1>", "<extra_id_2>", "<extra_id_3>", "<extra_id_4>", "<extra_id_5>", "<extra_id_6>", "<extra_id_7>", "<extra_id_8>", "<extra_id_9>", "<extra_id_10>", "<extra_id_11>", "<extra_id_12>", "<extra_id_13>", "<extra_id_14>", "<extra_id_15>", "<extra_id_16>", "<extra_id_17>", "<extra_id_18>", "<extra_id_19>", "<extra_id_20>", "<extra_id_21>", "<extra_id_22>", "<extra_id_23>", "<extra_id_24>", "<extra_id_25>", "<extra_id_26>", "<extra_id_27>", "<extra_id_28>", "<extra_id_29>", "<extra_id_30>", "<extra_id_31>", "<extra_id_32>", "<extra_id_33>", "<extra_id_34>", "<extra_id_35>", "<extra_id_36>", "<extra_id_37>", "<extra_id_38>", "<extra_id_39>", "<extra_id_40>", "<extra_id_41>", "<extra_id_42>", "<extra_id_43>", "<extra_id_44>", "<extra_id_45>", "<extra_id_46>", "<extra_id_47>", "<extra_id_48>", "<extra_id_49>", "<extra_id_50>", "<extra_id_51>", "<extra_id_52>", "<extra_id_53>", "<extra_id_54>", "<extra_id_55>", "<extra_id_56>", "<extra_id_57>", "<extra_id_58>", "<extra_id_59>", "<extra_id_60>", "<extra_id_61>", "<extra_id_62>", "<extra_id_63>", "<extra_id_64>", "<extra_id_65>", "<extra_id_66>", "<extra_id_67>", "<extra_id_68>", "<extra_id_69>", "<extra_id_70>", "<extra_id_71>", "<extra_id_72>", "<extra_id_73>", "<extra_id_74>", "<extra_id_75>", "<extra_id_76>", "<extra_id_77>", "<extra_id_78>", "<extra_id_79>", "<extra_id_80>", "<extra_id_81>", "<extra_id_82>", "<extra_id_83>", "<extra_id_84>", "<extra_id_85>", "<extra_id_86>", "<extra_id_87>", "<extra_id_88>", "<extra_id_89>", "<extra_id_90>", "<extra_id_91>", "<extra_id_92>", "<extra_id_93>", "<extra_id_94>", "<extra_id_95>", "<extra_id_96>", "<extra_id_97>", "<extra_id_98>", "<extra_id_99>", "<vis_extra_id_0>", "<vis_extra_id_1>", "<vis_extra_id_2>", "<vis_extra_id_3>", "<vis_extra_id_4>", "<vis_extra_id_5>", "<vis_extra_id_6>", "<vis_extra_id_7>", "<vis_extra_id_8>", "<vis_extra_id_9>", "<vis_extra_id_10>", "<vis_extra_id_11>", "<vis_extra_id_12>", "<vis_extra_id_13>", "<vis_extra_id_14>", "<vis_extra_id_15>", "<vis_extra_id_16>", "<vis_extra_id_17>", "<vis_extra_id_18>", "<vis_extra_id_19>", "<vis_extra_id_20>", "<vis_extra_id_21>", "<vis_extra_id_22>", "<vis_extra_id_23>", "<vis_extra_id_24>", "<vis_extra_id_25>", "<vis_extra_id_26>", "<vis_extra_id_27>", "<vis_extra_id_28>", "<vis_extra_id_29>", "<vis_extra_id_30>", "<vis_extra_id_31>", "<vis_extra_id_32>", "<vis_extra_id_33>", "<vis_extra_id_34>", "<vis_extra_id_35>", "<vis_extra_id_36>", "<vis_extra_id_37>", "<vis_extra_id_38>", "<vis_extra_id_39>", "<vis_extra_id_40>", "<vis_extra_id_41>", "<vis_extra_id_42>", "<vis_extra_id_43>", "<vis_extra_id_44>", "<vis_extra_id_45>", "<vis_extra_id_46>", "<vis_extra_id_47>", "<vis_extra_id_48>", "<vis_extra_id_49>", "<vis_extra_id_50>", "<vis_extra_id_51>", "<vis_extra_id_52>", "<vis_extra_id_53>", "<vis_extra_id_54>", "<vis_extra_id_55>", "<vis_extra_id_56>", "<vis_extra_id_57>", "<vis_extra_id_58>", "<vis_extra_id_59>", "<vis_extra_id_60>", "<vis_extra_id_61>", "<vis_extra_id_62>", "<vis_extra_id_63>", "<vis_extra_id_64>", "<vis_extra_id_65>", "<vis_extra_id_66>", "<vis_extra_id_67>", "<vis_extra_id_68>", "<vis_extra_id_69>", "<vis_extra_id_70>", "<vis_extra_id_71>", "<vis_extra_id_72>", "<vis_extra_id_73>", "<vis_extra_id_74>", "<vis_extra_id_75>", "<vis_extra_id_76>", "<vis_extra_id_77>", "<vis_extra_id_78>", "<vis_extra_id_79>", "<vis_extra_id_80>", "<vis_extra_id_81>", "<vis_extra_id_82>", "<vis_extra_id_83>", "<vis_extra_id_84>", "<vis_extra_id_85>", "<vis_extra_id_86>", "<vis_extra_id_87>", "<vis_extra_id_88>", "<vis_extra_id_89>", "<vis_extra_id_90>", "<vis_extra_id_91>", "<vis_extra_id_92>", "<vis_extra_id_93>", "<vis_extra_id_94>", "<vis_extra_id_95>", "<vis_extra_id_96>", "<vis_extra_id_97>", "<vis_extra_id_98>", "<vis_extra_id_99>"], "is_fast": true, "special_tokens_map_file": null, "tokenizer_file": null, "name_or_path": "sonoisa/t5-base-japanese", "max_length": 24, "do_lower_case": true}

trainer_state.json

@@ -0,0 +1,436 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 3.2067952933391237,
+  "global_step": 700000,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.05,
+      "learning_rate": 6.893176444637453e-06,
+      "loss": 11.9733,
+      "step": 10000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 1.3786352889274907e-05,
+      "loss": 1.1347,
+      "step": 20000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 2.067952933391236e-05,
+      "loss": 0.9519,
+      "step": 30000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 2.7572705778549813e-05,
+      "loss": 0.8738,
+      "step": 40000
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 3.446588222318727e-05,
+      "loss": 0.8298,
+      "step": 50000
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 4.135905866782472e-05,
+      "loss": 0.7905,
+      "step": 60000
+    },
+    {
+      "epoch": 0.26,
+      "learning_rate": 4.825223511246217e-05,
+      "loss": 0.6585,
+      "step": 70000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 5.5145411557099626e-05,
+      "loss": 0.5349,
+      "step": 80000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 6.203858800173708e-05,
+      "loss": 0.4895,
+      "step": 90000
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 6.893176444637454e-05,
+      "loss": 0.4541,
+      "step": 100000
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 7.582494089101199e-05,
+      "loss": 0.4319,
+      "step": 110000
+    },
+    {
+      "epoch": 0.26,
+      "learning_rate": 8.271811733564945e-05,
+      "loss": 0.4165,
+      "step": 120000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 8.96112937802869e-05,
+      "loss": 0.4059,
+      "step": 130000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 9.650447022492434e-05,
+      "loss": 0.3957,
+      "step": 140000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 9.982117649107569e-05,
+      "loss": 0.388,
+      "step": 150000
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 9.945837773083162e-05,
+      "loss": 0.3787,
+      "step": 160000
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 9.909557897058755e-05,
+      "loss": 0.3705,
+      "step": 170000
+    },
+    {
+      "epoch": 0.26,
+      "learning_rate": 9.873278021034346e-05,
+      "loss": 0.3678,
+      "step": 180000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 9.836998145009939e-05,
+      "loss": 0.3595,
+      "step": 190000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 9.800718268985532e-05,
+      "loss": 0.3543,
+      "step": 200000
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 9.764438392961124e-05,
+      "loss": 0.3495,
+      "step": 210000
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 9.728158516936716e-05,
+      "loss": 0.3452,
+      "step": 220000
+    },
+    {
+      "epoch": 0.26,
+      "learning_rate": 9.691878640912308e-05,
+      "loss": 0.3419,
+      "step": 230000
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 9.655598764887901e-05,
+      "loss": 0.3365,
+      "step": 240000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 9.619318888863494e-05,
+      "loss": 0.3336,
+      "step": 250000
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 9.583039012839085e-05,
+      "loss": 0.331,
+      "step": 260000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 9.546759136814678e-05,
+      "loss": 0.3282,
+      "step": 270000
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 9.510479260790271e-05,
+      "loss": 0.3263,
+      "step": 280000
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 9.474199384765862e-05,
+      "loss": 0.3234,
+      "step": 290000
+    },
+    {
+      "epoch": 1.26,
+      "learning_rate": 9.437919508741455e-05,
+      "loss": 0.3213,
+      "step": 300000
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 9.401639632717048e-05,
+      "loss": 0.3173,
+      "step": 310000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 9.36535975669264e-05,
+      "loss": 0.3166,
+      "step": 320000
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 9.329079880668232e-05,
+      "loss": 0.3137,
+      "step": 330000
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 9.292800004643825e-05,
+      "loss": 0.3129,
+      "step": 340000
+    },
+    {
+      "epoch": 1.26,
+      "learning_rate": 9.256520128619417e-05,
+      "loss": 0.3125,
+      "step": 350000
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 9.22024025259501e-05,
+      "loss": 0.3079,
+      "step": 360000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 9.183960376570602e-05,
+      "loss": 0.3074,
+      "step": 370000
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 9.147680500546194e-05,
+      "loss": 0.3062,
+      "step": 380000
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 9.111400624521787e-05,
+      "loss": 0.3052,
+      "step": 390000
+    },
+    {
+      "epoch": 1.26,
+      "learning_rate": 9.07512074849738e-05,
+      "loss": 0.3037,
+      "step": 400000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 9.038840872472971e-05,
+      "loss": 0.3003,
+      "step": 410000
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 9.002560996448564e-05,
+      "loss": 0.3007,
+      "step": 420000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 8.966281120424155e-05,
+      "loss": 0.2991,
+      "step": 430000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 8.930001244399748e-05,
+      "loss": 0.2972,
+      "step": 440000
+    },
+    {
+      "epoch": 2.26,
+      "learning_rate": 8.893721368375341e-05,
+      "loss": 0.2974,
+      "step": 450000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 8.857441492350932e-05,
+      "loss": 0.2938,
+      "step": 460000
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 8.821161616326525e-05,
+      "loss": 0.2921,
+      "step": 470000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 8.784881740302118e-05,
+      "loss": 0.2932,
+      "step": 480000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 8.74860186427771e-05,
+      "loss": 0.2914,
+      "step": 490000
+    },
+    {
+      "epoch": 2.26,
+      "learning_rate": 8.712321988253302e-05,
+      "loss": 0.292,
+      "step": 500000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 8.676042112228895e-05,
+      "loss": 0.2871,
+      "step": 510000
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 8.639762236204487e-05,
+      "loss": 0.2884,
+      "step": 520000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 8.60348236018008e-05,
+      "loss": 0.2874,
+      "step": 530000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 8.567202484155672e-05,
+      "loss": 0.2859,
+      "step": 540000
+    },
+    {
+      "epoch": 2.26,
+      "learning_rate": 8.530922608131264e-05,
+      "loss": 0.2867,
+      "step": 550000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 8.494642732106857e-05,
+      "loss": 0.2828,
+      "step": 560000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 8.45836285608245e-05,
+      "loss": 0.2829,
+      "step": 570000
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 8.422082980058041e-05,
+      "loss": 0.2817,
+      "step": 580000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 8.385803104033634e-05,
+      "loss": 0.281,
+      "step": 590000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 8.349523228009227e-05,
+      "loss": 0.2819,
+      "step": 600000
+    },
+    {
+      "epoch": 2.26,
+      "learning_rate": 8.313243351984818e-05,
+      "loss": 0.2803,
+      "step": 610000
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 8.276963475960411e-05,
+      "loss": 0.2782,
+      "step": 620000
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.240683599936003e-05,
+      "loss": 0.2779,
+      "step": 630000
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 8.204403723911594e-05,
+      "loss": 0.2793,
+      "step": 640000
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 8.168123847887187e-05,
+      "loss": 0.2774,
+      "step": 650000
+    },
+    {
+      "epoch": 3.26,
+      "learning_rate": 8.13184397186278e-05,
+      "loss": 0.2765,
+      "step": 660000
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 8.095564095838371e-05,
+      "loss": 0.2738,
+      "step": 670000
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.059284219813964e-05,
+      "loss": 0.2742,
+      "step": 680000
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 8.023004343789557e-05,
+      "loss": 0.2746,
+      "step": 690000
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 7.986724467765148e-05,
+      "loss": 0.274,
+      "step": 700000
+    }
+  ],
+  "max_steps": 2901420,
+  "num_train_epochs": 15,
+  "total_flos": 1.6750927872e+18,
+  "trial_name": null,
+  "trial_params": null
+}