こんにちは。人事の山内です。

10月1日（月）に内定者の皆さんをお迎えし、2019年度内定式を開催いたしました。
前日はあいにくの天候でしたが、当日には天候も回復し、全員出席。
今年度もその様子をご紹介いたします！
内定式ではまずALBERT経営陣より祝辞を述べました。

『新卒社員はALBERTの文化醸成を担う存在である』と社長の松本。
『目の前の壁を越えられる存在に』とエールを送りました。

2018年新卒社員の活躍と内定者への期待をデータソリューション部部長鈴木から。
入社後のイメージが具体的に沸いたのではないでしょうか。

先進技術統括兼営業推進部部長の安達からは技術力に対する貪欲さを。
今後のALBERTの技術力を担う内定者へお伝えしました。

今年は、パワーポイントを使用した自己紹介を実施しました。
皆さんそれぞれのお人柄や研究内容が伝わる自己紹介で、経営陣から笑いや質問が出る白熱ぶり。

研究内容は、千差万別。
文系、理系、学部、修士、博士卒等々…。
ALBERTには多種多様な分野出身のデータサイエンティストが在籍していますが、さらにパワーアップしそうだと実感いたしました。
これがALBERTの技術力の秘訣なのかもしれませんね。

式典後は、グループワークを実施。
ALBERTでは短期インターンやアルバイトにすでに参加している内定者も多く、
顔見知りもいますが、内定者全員が揃う場としては内定式が初めて。
…ということでしたが、ワークが始まる前から和気藹々とした雰囲気…！
3ゲームの中でグループ編成を変え、さまざまな同期とコミュニケーションをはかっていただきました！
この内容は昨年も実施したのですが、やはり年度やチームによって個性が輝きます。

結果、チームワークを存分に発揮し、皆さん優秀な成績を収められました！
今日初めて顔合わせしたとは思えない白熱ぶりと一致団結感を見て、4月からがとても楽しみになりました。

内定式の後は、今年入社の新卒社員や現役社員を含め懇親会。
昨年内定者だった先輩からのアドバイスに聞き入る内定者や、現役社員の技術力に聞き入る内定者も。
内定者のみなさんにとって、懇親と情報収集の場になっていれば幸いです！

１日盛りだくさんの内容でしたがALBERT社員にとっても刺激となる１日でした。
数ある企業からALBERTを選んでいただいて嬉しい限りです。
4月にフレッシュな皆さんがALBERT社員として入社することを楽しみにしてお待ちしています。

ALBERTでは2020年卒新卒採用を開始しています！2019年卒もまだまだ募集中です。
各種採用イベントにも参加予定です。ご興味のある方はぜひエントリーください。

また、2月には冬季短期インターンを実施します。ALBERTやデータサイエンティストの業務に興味がある方は業務体験ができる機会となっております。
ALBERTで一緒に働きませんか？ご応募、お待ちしております。

こんにちは！広報・PR担当の五味です。

先日、雲ひとつない快晴のなか、すでにクリスマスムードが漂っているハイアットリージェンシー東京にて、2018年度ALBERT社員総会を行いました！

第一部では、スクール形式で正社員の研修を、第二部では、ディナー形式で従業員懇親会を実施いたしました。本日はその様子をご紹介いたします。

第一部　正社員研修。
まずは社長の松本から、今期の振り返りと、今後の方針を。

こうして振り返ってみると、今年は体制の大幅な改編、トヨタ自動車様や東京海上日動火災保険様との資本業務提携など、1年を通してさまざまなトピックがありました。
データサイエンティストの人数は、研修中のデータサイエンティストも含めると昨年末と比べて約2倍まで増えており、今後もますますの活躍が期待されます。

上半期は「再建フェーズ」と位置付けていましたが、下半期には「成長フェーズ」となり、松本からは、ALBERTが各産業と横断的に関わることにより主要産業におけるAIアルゴリズム・データの触媒機能となることでAIネットワーク化社会を目指す「CATALYST戦略」について、改めて説明がありました。

その後は、各部長から各部署の振り返りと方針を。
私が所属するマーケティング部からは、現在制作中の事業紹介動画の初版がお披露目となりました。無事完成しましたらALBERTコーポレートサイトにもアップ予定ですので、皆様是非お楽しみに！

研修が終わり、別の宴会場に移動して、第二部は懇親会です。
第二部は、各10名ずつの丸テーブルへの着席形式で、なんと180名超えの規模で行われました！

まずは来月に予定している移転について、移転プロジェクトチームの細金から、新オフィスの紹介が。先進的で未来感のあるエントランス、データサイエンティストが働きやすい工夫が随所にされている各スペースなど、移転へのワクワクが高まる発表でした！来月の移転がますます楽しみです。

乾杯の挨拶は、2018年新卒入社の尾﨑が務めました！
そのしっかりした挨拶には、社長の松本も思わず「涙が出そう」と口にするほど。尾﨑の乾杯の合図で、素敵なディナーの始まりです！

前菜のタイミングで始まったのは、「ALBERTのプロジェクトチームはここが凄い！」。
各プロジェクトマネージャーによる、2018年度 取り組みプロジェクトの紹介です。
ALBERTではさまざまな分析プロジェクトが存在しますが、この日はそのなかから一部のプロジェクトについて、どのような体制で取り組みが行われているのか、ざっくり言うとどのようなことに取り組んでいるのか、簡単な紹介がありました。

高度な技術力を持つデータサイエンティストが多数集まるALBERTですが、人数も増えてきたため、このプロジェクトにはこんな技術を持つデータサイエンティストがいるんだ、あのプロジェクトはこんな体制で取り組んでいるんだ、と勉強になることがたくさんありました！随所で笑いも起こり、和やかなムードでの発表となりました☆

後半では、「気になる社員を調査してきました！」コーナーが。ALBERTメンバーによる、他己紹介です。
普段は真面目に業務に取り組むメンバーに、実はこんな趣味があるんだ、こんなことを考えているんだ、とたくさんの気付きと新たな発見を得られるコーナーとなりました♪
懇親会終了後には、「〇〇さん、●●が好きなんですねー！」という会話もちらほらと聞こえてきました♪社員同士の繋がりをさらに広げる、良い企画となりました。

今回、幹事＆司会を務めた、人事の亀岡・山内、プロジェクトマネージャーの武田。
司会メンバーのおかげで、当日はたくさんの笑いに包まれた懇親会となりました☆業務と同時進行での準備、また当日の進行、本当にお疲れ様でした！

ALBERTでは、データサイエンティストを積極募集しています。
先日採用サイトをリニューアルし、また2020年新卒サイトもオープンしております。ALBERTで働いてみたい方、少しでも興味がある方は、ぜひ採用サイトをご覧ください☆

こんにちは！広報・プロモーション担当の五味です。

約4年間お世話になった新宿野村ビルへと別れを告げ、先日、新宿フロントタワーに本社移転いたしました！
今回のオフィス移転はデータサイエンティストの増強およびセキュリティ強化を目的としており、将来にわたるデータサイエンティストの増員に備えるため、広さはなんと2倍強に。

本日は、出来立てほやほやの新オフィスをご紹介いたします。

15階でエレベーターをおりると、エレベーターホールには受付電話があり、新宿野村ビルの頃と同様に、お客様のお名前が画面に表示される仕組みです。
15階はすべてALBERTエリアとなっており、ワンフロアのおかげで、社員同士コミュニケーションを取りやすい環境となっています☆

 
 
エントランスへ進むと、大きな画面と会社案内・パンフレットがお出迎え。
白を基調としており、清潔感と未来感がありますね。

エントランス入ってすぐのお客様用会議室には、以前と同じく、フィッシャー、ピアソン、ガウス、ラプラス、ノイマン…と、統計学者の名前をつけています。

こちらはフィッシャー。窓が広く、眺めが抜群。

ノイマンは、青を基調としたデザインです。
会議室ごとに壁や照明が異なるのもポイントです♪

お客様用エリアには、会議室とは別に、自由にお掛けいただけるスペースもあります。こちらのチェアはなんと「Albert」という名前の椅子だそうで、細かいところにも、移転プロジェクトメンバーのこだわりが感じられますね！

執務室エリアへと足を進めると、執務室の一部には、とても開けた空間が。
ランチを食べたりマッサージチェアで過ごしたり、軽いミーティングを行ったり…。さまざまな目的で使用でき、早速、社員の憩いの場となっています。

さまざまなタイプの机や椅子が用意されていて、各自お気に入りの場所を見つけることができますね。

 
 
こちらはまるでファミレスのような席。窓からは、中野・大久保方面を一望できます。

カフェカウンターも設置されており、ほっと一息つく空間も♪

ラウンジ内には、データサイエンティストが持つ先端技術やナレッジの共有を目的として週に数回行われる勉強会に使用できるミニセミナースペースがあります。

一方で、大規模なセミナーに使用できるスペースも。
セミナールームのガラスの向こうには、ラウンジと執務室が見えます。
こちらは今後外部の方向けのセミナーでも使用予定ですので、セミナーにお越しの際には、ALBERTのスタッフが普段どんな風に過ごしているか、ガラスの向こうをぜひ覗いてみてください♪

こちらのガラス壁と白い壁は取り外すこともでき、ラウンジ全体の仕切りを無くして広いスペースとして使用することも可能です。

執務室は、デュアルディスプレイはもちろんのこと、適度な座席間隔となっており、快適なオフィス環境です。

上下に昇降できるスタンディングデスクも用意されています。自由に立って仕事やミーティングができます。

図書ルームでは、人工知能や統計学、プログラミング関連など、社員の希望で購入した書籍が日々追加されていきます。
また、書籍を置くだけでなく、論文に集中したり業務に集中したりできるよう、自習室のような席も設けられています。

新宿駅方面の窓からは、以前のオフィスである新宿野村ビルがちらりと☆

また撮影はできないのですが、セキュリティレベルに適合した専用ルームをいくつも設置しており、多くのデータサイエンティストは専用ルームで、アライアンスパートナーとの分析プロジェクトや共同プロダクト開発等の業務を行なっています。セキュリティルームの設置により、お客様から要求されるセキュリティレベルを担保いたします。

今回のオフィスは、事前にALBERTスタッフへのアンケートを行ない、アンケート結果をもとに経営管理部の移転プロジェクトが短期間で作り上げました！
アンケート結果をまとめると、ALBERTスタッフの理想のオフィスデザインは、シンプルで、遊び心があり、未来的で、コミュニケーションしやすく喋りやすい空間、が多数派だったそうです。これらをすべて達成するのはなかなか難易度が高い…。また、集中したいときはどういう空間が良いかという質問には、自習室、2人席、ボックス席などなど、多数の回答が寄せられました。新オフィスの各スペースは、こうしたアンケート結果を反映したものとなっています。
移転プロジェクトの皆さん、短期間での企画・運営・移転業務、お疲れ様でした！

今後は、セミナーや採用イベントなど、スタッフ以外の皆様にもALBERTオフィスに訪れていただく機会を多数企画予定ですので、皆様ぜひ足をお運びください☆

またALBERTでは、データサイエンティストを積極募集しています。
新オフィスで働いてみたい方、少しでも興味がある方は、ぜひ採用サイト、2020年新卒サイトをご覧ください！

こんにちは！広報・プロモーション担当の五味です。
先日、名古屋ルーセントタワーにて、中京圏で事業を展開するお客様や人材紹介会社の方々をお招きし、名古屋オフィス（仮称）開設記念パーティーを開催いたしました！

創業から13年半、東京本社のみで全国のお客様を対象に業務を行なってきたALBERTにとって、名古屋オフィス（仮称）ははじめての東京以外の拠点となります。中京圏において、プロジェクトの円滑な遂行・データサイエンティストの採用を担ってまいります。

パーティーは、この日のために作成したオリジナルムービーで始まりました。

ムービーでは、事業の紹介はもちろん、近頃のトピックもいくつかご紹介しました。
こちらは、前回のブログでも紹介した移転したばかりの東京オフィスの様子です。

4月に正式開設する名古屋オフィス（仮称）は一体どのようなオフィスになるのでしょうか？楽しみですね！

本日は、開設記念パーティーの様子をちょっぴりご紹介いたします。

はじめに、代表取締役社長兼CEOの松本から挨拶を。
松本がALBERTにジョインしてからいままでの振り返りや皆様への感謝、中京圏における今後の展望など、熱く語らせていただきました。

今回は弊社を常日頃から支えてくださる中京圏を中心に事業を展開するお客様を多数お招きし、100名規模のパーティーとなりました！
お世話になっている皆様が一同に会すことで、普段いかにたくさんの方に支えていただいているか、ALBERTスタッフ一同改めて実感できる場となりました。誠にありがとうございます。

歓談をしておりますと、外もすっかり暗くなってきたタイミングで、プロダクト開発部部長の武井からチャットボットや画像認識サービスをご紹介。

続けて、営業推進部 マネージャーの日比生より、分析事例のご紹介をいたしました。

最後に、執行役員CDO 先進技術統括 営業推進部部長 安達の挨拶でパーティーは無事終了。

また、あわせて、すでに名古屋の仮オフィスにて業務を始めている営業推進部 臼田も挨拶いたしました。臼田は前職ではデータサイエンティストとして勤務しており、データサイエンスにまつわる知識が豊富にございます。AI導入・分析全般でお困りごとがございましたら、ぜひ臼田にご相談ください♪

お帰りの際には、お忙しい中ご来場いただいた皆様に感謝の気持ちを込めて、ALBERTオリジナルグッズをお渡しいたしました。ALBERTにしては珍しく、バッグもボックス付箋も黒色で作成。レザーのような質感でできているボックス付箋は、中の付箋を取り出すことで小物入れとしても利用できます。

ALBERT名古屋オフィス（仮称）の正式開設は4月を予定しています。名古屋駅から徒歩5分、地下道で駅に直結している名古屋ルーセントタワーですので立地の良さも抜群。中京圏の皆様、今後ともどうぞよろしくお願いいたします♪

ALBERTでは、一緒に働く仲間を募集しています。これから本稼働する名古屋オフィス（仮称）で働ける方も大募集！データサイエンティスト、営業担当などなど、職種問わずお待ちしております。お気になる方は、ぜひ採用ページをご覧ください。

こんにちは。採用担当の山内です。

年度初めの4月1日、2019年新入社員入社式を開催いたしました。

ALBERTは新たに14名の仲間が加わり、新卒採用としては昨年の採用数を上回り

過去最高人数となりました。

新オフィス移転後初の入社式は執務エリアを見渡せる開放的なセミナルームで実施しました。

新卒社員、社長、執行役員陣揃っての記念撮影

新たに14名の仲間を迎え、従業員一同身が引き締まる思いです。

式典の様子。

新卒社員の中にはALBERTでアルバイトをしてきたメンバーも多くいますが、

改めて正社員になるということで、喜びと緊張が入り混じった様子でした。

代表取締役社長兼ＣＥＯの松本より挨拶。

これからALBERTの仲間となる新卒14人へ『これからのALBERTの文化を創り、醸成していってくれることを期待しています。』とメッセージがありました。

続いては新卒社員のみなさんから決意表明！

みなさん素晴らしいスピーチでした。

式典の後は新卒社員&採用担当で昼食

入社式の緊張から一転、楽しみながらのランチとなりました。

ALBERTのデータサイエンティストは文理問わず様々な分野から集まった

優秀なメンバーが揃っています。

昨年の新卒社員同様、新たに入社した14名もこれからのALBERTで

活躍する存在になってくれること期待しています！

新卒社員のみなさんは、これから約2か月の技術研修に入ります。

この研修はデータサイエンティストの育成に特化したALBERT独自開発の研修プログラムを現役データサイエンティストが新卒研修向けに再構築し、さらに磨きをかけた内容です。

昨年実施した新卒社員研修のフィードバックも取り込み更に充実した研修を受けられるのはALBERTの新卒社員の特権です！

採用担当として、採用当初から携わったみなさんが無事入社を迎えられたという喜びと、今年の新卒社員のみなさんにとって後輩となる2020年卒社員の採用を更に頑張ろうという、二つの思いを改めて持った一日でした！

【採用情報】

ALBERTでは引き続き新卒採用を積極募集しています！

お気軽にお問い合わせください。

また、夏には恒例の夏季短期インターンを予定しています。

ALBERTやデータサイエンティストの業務に興味がある方は業務体験ができる絶好の機会です。

ALBERTで一緒に働きませんか？ご応募、お待ちしております。

ALBERTでは、一緒に働く仲間を募集しています。お気になる方は、ぜひ採用ページと新卒採用ページをご覧ください。

こんにちは。2019年4月に新卒として入社した本山理梨子です。

りこぴんと呼ばれている人です。

入社前後のあれこれについて書きます。

入社動機

そもそも、ALBERTに興味を持ったのは、インターンがきっかけでした。

機械学習分野は専門ではなかったのですが、研究の中でデータを収集し、統計的に処理することが多くあったため、もともとデータサイエンティストの仕事に興味を持っていました。

修士１年の冬ごろ、研究と並行して就活を進める中、「機械学習　インターン　有給」みたいな雑なキーワードで検索していたところ、たまたまALBERTを見つけました。

当初、「あまり規模も大きくないし、どんな会社なんだろう？」となんとなく様子を見るつもりで面接に行ったのを覚えています。

しかし、実際に社員の方々と話してみると、想像以上に自分の研究の話を深く掘り下げて丁寧に聞いてくださった上に、社員の方々の技術レベルも高く、「ちゃんとした会社だ！」と感じることができました。

そのまま、インターンに参加しました。

インターンでは、画像の異常検知の課題に取り組みました。

課題の詳細はお話できないのですが、実案件を模した内容であったため、インターンの内容が楽しかったのはもちろんのこと、会社にはのびのびと知的好奇心を満たせる環境（いつでも社員の方々に質問できる、みんな楽しそうに技術の話をしている）があり、「こんな会社で働けたらいいな」と強く感じました。

ちなみに、インターンの懇親会で社員の方々と焼肉に行き、「何でも頼んでいいよ」という言葉の通り本当に好き勝手オーダーをしたのですが、ちゃんと内定をくれたので信用できる会社だと思いました。美味しいお肉は正義です。

というのはさておき、最終面接前に、人事の方が「インターン中のコードも全部読んだ上で採用を決めます。数学の試験の結果も加味します。」とおっしゃっていたのが、ちゃんと実力を評価してもらえていると感じられてとてもよかったです。

研修内容

晴れて内定をいただき、入社後は新卒研修が行われました。

私からは昨年の内容と少し内容が変わった「グループ分析演習」について書きます。

グループ分析演習は、研修の最後に行われる実践的な演習です。

今回は、深層学習を用いた物体検出モデルの構築を行いました。

具体的には、自動車から道路を撮影した画像データを用いて、標識を検出するモデルを作成することが課題でした。

ただし「GitHubに公開されている実装などを参考にしても良いが、物体検出部分は自分たちで書くこと」というルールがありました。

データの確認と前処理を行い、モデルを選択するところから作業が始まります。

まずは、物体検出系の論文をいくつか読みました。

Faster R-CNN、YOLOなど、様々ある物体検出モデルの中から、私たちのグループはSSD(Single Shot MultiBox Detector)を実装しました。

SSDは2016年に発表された手法です。

YOLOより検出速度が早く、Faster R-CNNと同等の精度を持ちます。

そのため、現在でもベースラインモデルとして使われることが多いようです。

よって10日間という短い期間の中でひとまずの精度を確認するためはSSDが最適と判断し、実装しました。

SSDの特徴として、階層的な特徴マップを備えており、かつアスペクト比ごとに識別器を作成するというものがあります。

そのため、様々なスケールのオブジェクトを識別でき、高い精度の検出率を達成しているようです。

実装では、検出対象の標識に合わせ、デフォルトボックスに関して工夫を行ったりと、さらなる精度向上に努めました。

また、演習は3～4人のグループで行いました。

私はグループでのコーディング経験がなかったので、大変勉強になりました。

例えば、gitの使い方に関して、今まで研究では書き捨てのコードしか書いたことがなかったので、「コードをきちんと管理する」ことの大切さを身にしみて実感しました。

（私が紛らわしい変数名を使ってしまったことにより、他の人の勘違いを生んでしまった…といったことがありました。）

グループ分析演習作業中の写真

グループ分析演習発表中の写真

入社後の生活

会社や同期の雰囲気についてですが、圧倒的な居心地の良さがあります。

例えば、上記のグループ分析演習はかなり時間が限られたタイトなスケジュールであったため、進捗が良くない状況が何度かありました。

しかし、グループのメンバーが終始冷静かつ穏やかで、人間関係で消耗する時間が全くありませんでした。

心理的安全性がとにかくすごいです。

また、ラウンジに行けばいつも誰かが声をかけてくれる雰囲気があります。

雑談をしたり、いつでもホワイトボードを前に技術トークや議論ができます。

あと余談ですが、同期とはボードゲームをしたり、謎にトランポリンをしに行ったり、謎に誰かの服をコーディネートする会が開催されたり、とても仲が良いです。

でもみんな適切な距離感を弁えている感じが私はとても好きです。

そして、社員の方々に、業務中に技術的な質問をして嫌な顔をされたことがありません。

それどころか、「人に説明することで自分の頭も整理されるから得だよ」と言ってもらったことさえあります。

経歴や国籍など、様々なバックグラウンドを持った人がいる上、皆がそれぞれを尊重する雰囲気があり、とても好きです。

技術職特有の女性の少なさから派生する過ごしにくさといったようなものも、今のところ感じたことがありません。

女性だからといって持てはやされることも、疎外されることもなく、一人のアナリストとして穏やかに業務を行えています。

また、ALBERTを就職先として検討している大学の後輩と社員紹介制度を使ってごはんをしました。

肉寿司を食べました。美味しいお肉は正義です。

後輩の近況を聞いたり、ALBERTのことやデータサイエンス業界のことを話したりと楽しい時間でした。

今度オフィスに遊びに来てくれるようです。

ALBERTでは社員紹介も積極的に行っております。

話が変わるのですが、新しいオフィスが綺麗でとても快適です。

デスクが広い、椅子が良い、オフィスの至る所にあるホワイトボード、快適な自習室…という感じです。

あと、仕事内容や気分に応じて社内を自由にウロウロできる雰囲気があるのも良いです。

一人で集中したいときは個人席、みんなで作業したい時はボックス席やソファー席、あとは窓に面した席（とても開放的）など使い分けができ、生産性が高められます。

なんというか、オフィス環境だけでなく、会社全体の雰囲気として、アナリストやエンジニアの生産性を最大にしようとしてくださる意向が感じられ、本当にありがたく思っています。

同期会の写真（月に１回、社員同士の親睦会に補助金が出ます）

まとめ

圧倒的な雰囲気の良さと、高い技術力がALBERTの魅力だと感じます。

研修が終わり、業務が始まってからも、勉強することがたくさんあって楽しいです。

ALBERTでは積極的に新卒採用/インターンの募集を通年で行っています。

興味をお持ちいただいた方はお気兼ねなくお問い合わせください。
ALBERT採用サイトはこちら

開催概要

発表内容

懇親会

おわりに

講義の様子とアジェンダ

今回行われた講義内容

講義を終えて

さいごに

■内定式

■グループワーク

■懇親会

■さいごに

イントロダクション

ビッグデータアナリティクス領域においてデータソリューション事業を展開しています。コアとなるアナリティクステクノロジーを用いた「AI活用コンサルティング」「ビッグデータ分析」「AIアルゴリズム構築とシステム開発・運用」「AIを用いた独自プロダクトの提供」等を通じて、より良い社会の実現を目指しております。また、国内においてデータサイエンティストが圧倒的に不足している現状を改善すべく、これまでに培ったノウハウを元に「データサイエンティストの育成支援」を行なうことで、データ活用のプロフェッショナル人材育成に貢献します。弊社HPより

先進技術セクションとは

研究プロジェクトリーダーの募集

初めに

　　図1 無向グラフ　　　　　　　　　　　　　　図2 有向グラフ

D = \left(\begin{array}{rr} 1 & 0 & 0 & 0 & 0 & 0 \\\\ 0 & 3 & 0 & 0 & 0 & 0 \\\\ 0 & 0 & 1 & 0 & 0 & 0 \\\\ 0 & 0 & 0 & 3 & 0 & 0 \\\\ 0 & 0 & 0 & 0 & 1 & 0 \\\\ 0 & 0 & 0 & 0 & 0 & 1 \end{array}\right), A = \left(\begin{array}{rr} 0 & 1 & 0 & 0 & 0 & 0 \\\\ 1 & 0 & 1 & 1 & 0 & 0 \\\\ 0 & 1 & 0 & 0 & 0 & 0 \\\\ 0 & 1 & 0 & 0 & 1 & 1 \\\\ 0 & 0 & 0 & 1 & 0 & 0 \\\\ 0 & 0 & 0 & 1 & 0 & 0 \end{array}\right)

D = \left(\begin{array}{rr} 2 & 0 & 0 & 0 & 0 \\\\ 0 & 3 & 0 & 0 & 0 \\\\ 0 & 0 & 2 & 0 & 0 \\\\ 0 & 0 & 0 & 2 & 0 \\\\ 0 & 0 & 0 & 0 & 1 \end{array}\right), A = \left(\begin{array}{rr} 0 & 3 & 0 & 2 & 0 \\\\ 0 & 0 & 5 & 0 & 7 \\\\ 0 & 0 & 0 & 0 & 0 \\\\ 0 & 0 & 4 & 0 & 0 \\\\ 0 & 0 & 0 & 0 & 0 \end{array}\right)

化合物のグラフ表現とその妥当性

実験

R' = \left(\begin{array}{rr} \bf r_1 & \bf r_2 & \bf r_3 \end{array}\right), A' = \left(\begin{array}{rr} 1 & 1 & 0 \\\\ 1 & 1 & 1 \\\\ 0 & 1 & 1 \end{array}\right)

R'A' = \left(\begin{array}{rr} \bf r_1 + \bf r_2 & \bf r_1 + \bf r_2 + \bf r_3 & \bf r_2 + \bf r_3 \end{array}\right)

R' = \left(\begin{array}{rr} \bf r_1 & \bf r_2 & \bf r_3 \end{array}\right), A' = \left(\begin{array}{rr} 1 & 2 & 0 \\\\ 2 & 1 & 2 \\\\ 0 & 2 & 1 \end{array}\right)

R'A' = \left(\begin{array}{rr} \bf r_1 + 2\bf r_2 & \bf 2 \bf r_1 + \bf r_2 + 2\bf r_3 & \bf 2\bf r_2 + \bf r_3 \end{array}\right)

• データセット: QM9[4,5]
• 使用ラベル: 計12種類[5]
  • mu; Dipole moment (D)
  • alpha; Isotropic polarizability (a₀³)
  • homo; Energy of Highest Occupied Molecular Orbital (Ha)
  • lumo; Energy of Lowest Unoccupied Molecular Orbital (Ha)
  • Gap(lumo-homo) (Ha)
  • r2; Electronic spatial extent (a₀²)
  • zpve; Zero point vibrational energy (Ha)
  • U0; Internal energy at 0 K (Ha)
  • U; Internal energy at 298.15 K (Ha)
  • H; Enthalpy at 298.15 K (Ha)
  • G; Free energy at 298.15 K(Ha)
  • Cv; Heat capacity (cal mol^-1 K^-1)
• 損失関数: Mean Squared Error (MSE)
• Optimizer: Adam (α=0.001, β₁=0.9, β₂=0.999) [6]
• 層の数(R): 5
• 特徴ベクトルの次元: 86
• train, validation, testの分割: scaffold split (Chainer Chemistry の ScaffoldSplitter 使用)、0.8 : 0.1 : 0.1

まとめ

今後の展望

はじめに

• 主流の物体検出モデルのほとんどで用いられている Anchor Box を排除
• Corner Poolingという新しいPooling手法を導入し、Bounding Boxの左上・右下のコーナーを検出

物体検出の基礎知識

物体検出とは

Anchor Box について

One-stage detectorとTwo-stage detectorについて

CornerNet について

Hourglass Network

Corner Pooling

Heatmap

Embedding

Offset

精度

CornerNet 再現実装

結果

まとめ

ALBERTでは、データサイエンティストを募集しています。ぜひ採用​ページをご覧ください。

こんにちは。2019年に新卒としてALBERTに入社した、データソリューション本部の水船です。入社してから、画像認識プロトタイピングのツールの開発や、画像認識の研究開発案件に取り組んでいます。また、弊社では先進技術部という部署が新設され、私自身は所属は違うものの、先進技術ワーキンググループの一員として業務の20%をリサーチ業務に充てています。今回は先進技術ワーキンググループの活動として取り組んできた、「TensorRTを用いたエッジデバイス上でのDNN (Deep Neural Network) 推論高速化」について話していきます。

なぜエッジデバイス上での高速化を行うのか？

DNNモデルをシステムに実装する時に、大きく分けて、Microsoft Azureなどの「クラウドサービス」かJetsonシリーズなどの「エッジデバイス」のどちらかにDNNモデルをデプロイすることになります。クラウドサービスには計算機の維持管理コストが低く、必要な時に必要なだけの計算リソースが確保出来るなどのメリットもありますが、ネットワークを経由することによる処理の遅延やセキュリティ面の観点からエッジデバイスを選択されるお客様が増えてきています。

さらに、システムによってはリアルタイムで推論をする必要があり、厳しい処理速度の要件を満たすためにエッジデバイスを用いる以上のさらなる高速化を求められることも多いです。しかしながら、自動運転のような技術はリアルタイム処理が求められますが、精度を犠牲にすると事故につながりますので、精度を下げるような高速化はできません。高速化のためには性能の良いデバイスを使えば良いのですが、電力消費量や費用面を考えると難しい場面が非常に多いです。

そこでこの記事では、なるべく経済的に精度を落とさずに高速化するために、Jetsonシリーズで現在一番省電力・低コストであるJetson Nanoを用いて、Chainerで推論したニューラルネットのモデルに対しTensorRTを使ったらどれくらい早くなるのかを説明します。また、どのようなニューラルネットのモデルを構築すればより速度を改善できるのかも検証していきます。

高速化するにはどうすれば良いのか？

TensorRTについて触れる前に、高速化手法にはどのようなものがあるかを概観します。結論から述べると、以下の方法が考えられます。

• ONNX Runtime, TVM, TensorRTなどのDNNコンパイラを使用する
• SqueezeNetやMobileNetなどの軽量なDNNモデルを用いる
• fp32からfp16に変更する
• Knowledge Distillation
• Pruning
• 量子化

まず、DNNコンパイラについて説明します。DNNコンパイラにはいろいろあり、有名なものだとnGraphやTVM、TensorRTがあります。これらのコンパイラが何を行なっているかを一部挙げると、

• NNのLayer Fusion: 複数のネットワークの処理を一つの処理として結合。ConvolutionとReLUの演算を融合させたりできる
• メモリやオペレータレベルでの最適化: 処理を行う時に無駄な空き時間ができるが、それらの空き時間をできるだけ消すことができる

といったことを行なっています。この資料が非常にまとまっているので、もう少し詳しく知りたい方はこちらが参考になります。後でプロファイラを用いて、コンパイラによってどのような最適化が行われるかを確認していきます。

SqueezeNetなどの軽量なモデルの利用は、モデル部分の実装を変えるだけでよく、非常に導入が容易です。案件でもとりあえず動かしたい、というときはSqueezeNetをベースにして実験したりすることが多いです。ただし、精度はある程度落ちてしまうので注意が必要です。

そのほかの手法に関しては様々な場所でよく紹介されているので説明を省きますが、これらも速度向上が見込める代わりに精度を犠牲にする可能性が高く、実装も一手間必要なのでこの記事では使用を見送ります。

本記事では高速化コンパイラとして、Jetson nanoと同じくNVIDIAに開発され、Jetson Nano Developer Kit SD Card Imageにもデフォルトで入っているTensorRTを使います。

実験

上記の環境構築の元、1枚の224×224のRGB画像に対して以下の実験を行いました。

• VGG16をChainerの推論とTensorRTの推論で速度比較
• ResNet101をChainerの推論とTensorRTの推論で速度比較
• SqueezeNet v1.1をChainerの推論とTensorRTの推論で速度比較

実行環境は以下の通りです。

• NVIDIA Jetson Nano
• Python3.6.8
• Jetpack 4.2.0
• TensorRT 5.1.6.1
• CUDA 10.0
• cuDNN 7.5.0

また実行前に以下のコマンドを実行してパフォーマンスを最大化しています。

$ sudo nvpmodel -m 0
$ sudo jetson_clocks

速度比較に関しては100回推論のモデルを計算させ、その平均時間を最終的な推論時間としています。ただし、100回推論させる前に1回推論を実行し、計測時間に含めないようにしています（最初の1回はカーネル起動や計算グラフ構築のために時間がかかるため）。実際のシステムでは継続的にDNNモデルが動くことが想定されるので、1回目の推論時間は捨てた方がより現実に沿った計測になります。

実験結果は以下の通りです。

SqueezeNet、さすがの速さですね。TensorRTを使うと100FPSくらい出そうです。結果を見ると、ResNet101がVGG16と比べかなり高速化されていることがわかります。ResNet101はVGG16と比較すると良い精度を出せることが多いと感じているので、さらに高速化の余地も見込めるとなると非常に嬉しいですね。ちなみにこちらの結果では、ResNet101の方が精度が良いと出ています。またSqueezeNetに至っては3倍も速度が向上しています。

以上の結果から、TensorRTによってどのモデルも速度向上されることが分かりました。しかし、これらのネットワークアーキテクチャによる差は気になるので、その原因を調べていきます。

NVIDIA Visual Profilerで速度改善の要因を探る

NVIDIA Visual Profilerで、それぞれのモデルのどの部分で時間がかかっているかを計測しました。結論としては、以下の速度改善が確認されました。

• ConvolutionとReLU, BNのLayer Fusion
• 処理の空き時間の減少
• Residual ModuleのIdentity MappingのLayer Fusion
• SqueezeNetのconcat処理の削除

一方、FC層は速度改善が見られませんでした。

ResNetはVGGと比較するとFC層が少なく、ReLUだけでなくBN層やIdentity Mappingの処理が統一されることによって、VGGと比較すると速度向上が大きかったと考えられます。また、SqueezeNetは他の手法と比べるとかなり空き時間が発生しており、その解消が大幅な速度改善につながったと考えられます。

以下の節ではこのうち、ConvolutionとReLUのLayer Fusionと処理の空き時間の解消について、Visual Profilerで可視化していきます。

ConvolutionとReLUのLayer Fusion

まず、SqueezeNetのConv1層目の挙動を確認します。上の結果がTensorRT、下の結果がChainerの推論時間のプロファイルです。ただし見やすくするために時間幅が上下で異なることに注意してください。SqueezeNetではConv1層目の次の処理がPoolingなので、それまでの処理時間を比較すれば良いことになります。

TensorRTのConv1層の推論時間は0.5msであったのに対し、Chainerの推論では2ms強の推論時間となっているため、ここの処理が4倍になっています。また、Chainerでは3つのプロセスが動いているのに対し、TensorRTでは1つの処理となっていることが確認されました。これはLayer Fusionの最適化が働いていそうですね！

他のプロセスも確認してみましたが、Convolution+ReLUの処理は2~4倍くらい速くなっていました。

• TensorRTのプロファイラ結果

• Chainerのプロファイラ結果

処理の空き時間の減少

次に処理の空き時間について確認します。上の図がTensorRTの処理で、下の図がChainerの処理です。プロファイラ結果を見ると、Chainerの推論では0.2~0.5msの空き時間が散見されるのに対し、TensorRTの推論ではほとんど空き時間がありません。このことから、TensorRTがオペレータやメモリの最適化を行なっていることを確認できました。

たかがコンマms、されどコンマmsです。それが積もり積もることで、SqueezeNetは3倍も速度向上したと考えられます。

• TensorRTのプロファイル結果

• Chainerのプロファイル結果

まとめ

この記事ではJetson Nano上でTensorRTを動かして、どれくらい速度改善されるか、またどのようなモデルがどれくらい速度改善されるかを実験し、モデルの構造によって大きく改善幅が異なることを紹介しました。近頃はプログラミングが不要の深層学習ツールなども登場し、深層学習を試す敷居は格段に下がりました。しかしながら、処理速度などの要件を満たすようにモデルを適切に改良したりすることは、まだまだツールだけでは不可能であり、今後はしっかりとモデルの中身を理解し、実社会に深層学習を実装できる技術者の需要が高まっていくと思われます。

今回は画像分類のモデルに対して高速化の実験を行いましたが、物体検知や深度推定などのより応用的なタスクに対しても高速化を試そうと考えています。タスク特有のネットワーク構造によって最適化しやすい／しにくいなどや、そもそもコンパイルできるかどうかもやってみないとわからないところがあります。次の機会にこれらの結果を紹介したいです。

今回実験をしてみて、実験条件、精度や推論速度などの実験管理の部分でもっと工夫の余地があったと感じています。ConvolutionとReLUがLayer Fusionされることを確認しましたが、今回使用した3つのモデルに入っていない、他のActivation LayerやNormalization Layerも同様にLayer Fusionされるかはやってみないとわからないので、それらを確かめるために、より多くのモデルに対して実験を行う必要があるためです。分析プロジェクトでも実験管理を工夫することによって、作業効率や再現性の向上が期待されるため、プロジェクト業務の方でも色々試していきたいです。

新技術は実験してみないとなかなか実務に活かせなかったりする一方で、機械学習分野は発展が著しいので、常日頃から新しい技術を積極的に学んでいくことが重要です。先進技術のワーキンググループでは、深層学習に関する知識・経験が弊社でもトップクラスの先輩方と、活発に議論をしながら非常に楽しくリサーチ業務をやっています。リサーチ業務はすぐプロジェクトに役立つというものではありませんが、会社の技術力向上に貢献し、お客様により大きな価値を提供するために、今後も積極的に取り組んでいきたいです。

ALBERTではこのような先進的な技術調査のマネジメントを行うメンバーやその他の様々な職種のメンバーを積極的に募集しています！ご興味のある方はこちらをご覧ください！

• 今の案件で困っていること
• どのようなキャリアパスを歩みたいか
• 職場の人間関係
• （食通の先輩社員なら近くの名店の紹介）
• etc

はじめに

三次元空間の表現

点群・メッシュ・ボクセル

ニューラルネットワークによる三次元表現

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

概要

Volume Rendering with Radiance Fields

F_\Theta :(x,y,z,\theta,\phi) \rightarrow (R,G,B,\sigma)

C({\bf r}) = \int_{t_n}^{t_f} \! T(t) \sigma({\bf r}(t)) {\bf c}({\bf r}(t), {\bf d}) \, \mathrm{d}t, ~ \mathrm{where} ~ T(t) = \exp(- \int_{t_n}^t \! \sigma({\bf r}(s)) \, \mathrm{d}s)

\hat{C}({\bf r}) = \sum_{t_n}^{t_f} T_i (1 - \exp(-\sigma_i \delta_i)) {\bf c}_i, ~ \mathrm{where} ~ T_i = \exp(- \sum_{j=1}^{i-1} \sigma_j \delta_j)

Hierarchical volume sampling

Positional encoding

\gamma(p)=(\sin(2^0 \pi p), \cos(2^0 \pi p) , \cdots , \sin(2^{L-1} \pi p), \cos(2^{L-1} \pi p) )

実装

結果

再現実験について

{\bf d} = {\bm R} {\bf x} + {\bf t} - {\bf o}

まとめと感想

参考文献など

1. Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R., 2020. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. arXiv:2003.08934 [cs].
   プロジェクトページ： http://www.matthewtancik.com/nerf
2. Mikolov, T., Sutskever, I., Chen, K., Corrado, G.S., Dean, J., 2013. Distributed Representations of Words and Phrases and their Compositionality, in: Burges, C.J.C., Bottou, L., Welling, M., Ghahramani, Z., Weinberger, K.Q. (Eds.), Advances in Neural Information Processing Systems 26. Curran Associates, Inc., pp. 3111–3119.
3. Kingma, D.P., Welling, M., 2014. Auto-Encoding Variational Bayes. arXiv:1312.6114 [cs, stat].
4. Eslami, S.M.A., Rezende, D.J., Besse, F., Viola, F., Morcos, A.S., Garnelo, M., Ruderman, A., Rusu, A.A., Danihelka, I., Gregor, K., Reichert, D.P., Buesing, L., Weber, T., Vinyals, O., Rosenbaum, D., Rabinowitz, N., King, H., Hillier, C., Botvinick, M., Wierstra, D., Kavukcuoglu, K., Hassabis, D., 2018. Neural scene representation and rendering. Science 360, 1204–1210. https://doi.org/10.1126/science.aar6170
5. Park, J.J., Florence, P., Straub, J., Newcombe, R., Lovegrove, S., 2019a. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. Presented at the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 165–174.
6. Chen, Z., Zhang, H., 2019a. Learning Implicit Fields for Generative Shape Modeling. Presented at the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 5939–5948.
7. オンラインで読めるものとしては、MathWorks の『カメラキャリブレーションとは』や OpenCV の『カメラキャリブレーションと3次元再構成』が分かりやすかったです。
8. カメラ外部パラメタによっていかようにもなるので、カメラ座標系の軸の取り方は任意です。ただし一般的には 3 番目の軸がカメラ視線方向になるようモデル化されます。
9. Sitzmann, V., Thies, J., Heide, F., Niessner, M., Wetzstein, G., Zollhofer, M., 2019. DeepVoxels: Learning Persistent 3D Feature Embeddings. Presented at the Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2437–2446. Sitzmann, V., Thies, J., Heide, F., Nießner, M., Wetzstein, G., Zollhöfer, M., 2018. DeepVoxels: Learning Persistent 3D Feature Embeddings. arXiv:1812.01024 [cs].
   データセットは https://vsitzmann.github.io/deepvoxels/ にてダウンロードできます。
10. {\bf o = t} が分かっていたならなぜ単に {\bm R} {\bf x} を計算しなかったのかと不思議に思われそうですが、データセットでは外部パラメタが {\bm R}, {\bf t} をまとめた 4×4 行列で格納されており、その辺に敗因があります。

はじめに

動画認識について

近年では、深層ニューラルネットワークが画像認識において非常に目覚ましい成果を出しています。しかし、我々人間は静的な一つの場面ではなく、動的で連続的な場面を元に学習しているはずです。ニューラルネットは、画像だけだと「どんな物体があるか」は分かっても、「どのような動きか」は学習できません。したがってロボティクスやゲームといった「動きのある」分野において、動画を元に学習させることは価値があると思われます。

しかしながら、動画を深層ニューラルネットワークの枠組みでモデル化するには、画像とは違った工夫が必要です。画像は縦×横の２次元で表現できます（RGB画像の場合はチャネル方向があるので厳密には３次元です）が、動画はさらに時間方向の３次元で表現される点が大きく異なります。この時間的な情報をどうモデル化するかが課題となってきます。

基本的な動画認識モジュール

「動き」をコンピューターに理解させる上で、もっとも単純なタスクが「行動認識」と呼ばれるタスクです。行動認識では動画を入力として、その行動ラベルを予測します。すなわち、画像分類の動画版と言えます。画像認識では2D Convolutionがよく用いられていますが、動画認識では3D Convolutionを用いることが多いです。時間 L よりも小さいカーネルサイズ d を設定する事で、時間方向に局所的な特徴を獲得できます。

C3D [2]という手法が初期の代表的なネットワークになっています。この手法では3D Convolutionの設計方法(カーネルサイズの決め方など）を提案しましたが、依然としてOptical Flowも加えたTwo-Stream CNNに性能が劣っていました。また、当時学習データセットのサイズが不十分だったため、ニューラルネットの層も浅いものでした。そこでI3D [3]という手法はOptical Flowも入力に加え、大規模なデータセットで学習できる層の深いネットワークを提案しました。

その後も様々な工夫がなされており、例えばS3D [4]という手法ではI3Dと比較して精度を保ちながら軽量なネットワークを提案しています。これらのネットワークはこれから説明する動画キャプション生成タスクでも使用されており、動画認識を行う上では重要になります。

動画キャプション生成とは

行動認識では動画を入力として行動ラベルを出力する一方、動画キャプション生成は動画を入力として、その説明文を生成するタスクです。行動ラベルと比べると説明文の方が情報量は多いですが、その分複雑性が増すので難しさがあります。私見ですが、人間の素晴らしさは言語を扱うところにあると考えています。視覚的情報（動画）から言語的な説明ができれば、コンピューターは動画をかなり理解できるようになっていると言えるのではないでしょうか。

動画キャプション生成タスクの中でも、一つの動画に対して一つのキャプションしか生成しない(Vanillaな)Video Captioningと、複数のイベントに対するキャプションを生成するDense Video Captioningという２つのタスクに分かれています。複数のキャプションを生成する理由としては、（長めの）動画には通常複数のイベントがあることが想定され、単一のキャプション生成だけではイベントの全てを捉えられないことが挙げられます。YouTubeにあるような動画は比較的長め（数分）の物が多いので、より現実的な動画をモデリングすることになります。

この Dense Video Captioning タスクでは、複数のキャプションとそれに対応するセグメントの出力が求められます。このセグメントというのは、そのキャプションがどこからどこまでのフレームに対応するかを示し、動画フレームの始点と終点で表現できます。これをわかりやすく示したのが下の図です。Dense Video Captioningでは一つの動画に対して複数のキャプションがアノテーションされており、それぞれにフレームの区間（赤線）が振られています。

このタスクはICCV 2017に初めて提案されました [6]。ここで提案された動画キャプション生成モデルは、LSTMを元にしています。一方、今回紹介するMasked Transformer [1]という手法では2017年に提案されたTransformer [7]を利用した動画キャプション生成モデルとなっています。この手法では以下の新規性があります。

• RNNではなくTransformerを用いたDense Video Captioning
• キャプション生成と、セグメント提案に一貫性を持たせるため、End-to-Endでの学習を可能にする微分可能なマスク生成の枠組みを提案

後続の研究でもMasked Transformerがベンチマークとして取り上げられている印象です。例えば、VideoBERT [8]のキャプション生成タスクの比較対象・ベースネットワークとして扱われています。

詳細は次の章で説明しますが、今回Masked Transformerに着目した理由は、１つ目が論文中でLSTMからTransformerに変更することでキャプションの質の向上を示したから（図4）、２つ目が学習をシンプルに行えるからです。近年のTransformerが自然言語タスクで大きな成果を上げていることを踏まえると、今後はこのモデルを元にさらなる工夫を加えると良いのかなと思っています。

余談ですが、その他に個人的に面白いと思った研究としては[9, 10]があります。[9]では過去と未来両方の動画コンテクストを利用し、セグメント提案とキャプション生成を行います。Masked Transformerでは、セグメントの提案に過去と未来のコンテクストを暗黙的に利用していますが、キャプション生成には過去と未来のコンテクストを考慮していない点が大きく異なります。また、[10]では提案されたセグメントの時間的関係性を考慮する事で、提案セグメントをさらに洗練しています。また、キャプション間にも依存関係を仮定しており、Masked Transformerとはセグメントとキャプションを独立的に生成している点で大きく異なります。

Masked Transformerについて

さて、本題のMasked Transformerについての解説です。モデルの流れとしては、以下のステップを踏みます。

1. Video Encoder Stackで動画特徴をエンコードする。
2. Proposal Decoderで、事前に用意したアンカーに対してイベントの確率とオフセットを出力。
3. 動画フレームのどの部分がイベントに対応するかのマスクを作成。
4. Video Encoderで出力したEmbeddingとProposal Decoderで出力したマスクを元に、Caption Decoderで文章を生成します。

Video Encoder Stack

まず、画像フレームを学習済みモデルで変換します。原論文では、Resnet200 [11]の画像特徴と、BN-Inception [12]のOptical Flow特徴を使用しています。さらに追加の特徴として、各フレームが何番目であるかをニューラルネットに教えるために、Transformerで使用されるPositional Encodingを使用しています。これらの特徴をFC層とSelf-Attentionを用いる事で動画情報をエンコードします。

画像フレームを学習済みモデルで変換すると述べましたが、画像フレームに対してCNNを適用、学習させた方が精度が高くなりうることが論文中でもコメントされています。特に細かい情報を扱う場合は気にした方が良いと思われます。例えば料理動画で頻出するであろうキャベツとレタスの区別は、学習済み重みモデルを用いただけではできない可能性があります。ちなみに私にもキャベツとレタスの区別は難しいです。。。

ただしCNNを学習させる場合、当然メモリの消費は大きくなります。原論文では480フレームを使用しているので、C3Dなどのベースネットワークを単純に学習させようと思うととんでもないメモリ消費になるはずです。

Proposal Decoder

Dense Video Captioningでは、キャプションだけでなく、どこからどこまでのフレームがそのキャプションに対応するかのセグメントも出力する必要があります。これを実現するため、Masked TransformerではSSD [13]のような物体検知アルゴリズムでも用いられる、アンカーベースのモデルを使用しています。アンカーとは事前に定義した参照セグメントで、セグメントの中心点 c_a と長さ l_a を保持しています。直接セグメントを予測するのではなく、このアンカーとの差分を予測することで間接的にセグメントを予測します。

c_p = c_a + \theta_c l_a, l_p = l_a \exp\{\theta_l\} \\ S_p = c_p - l_p/2, E_p = c_p+l_p/2

Differentialble Proposal Mask

f_M(S_p, E_p, S_a, E_a, i) = \sigma(g([\rho(S_p, i), \rho(E_p, i), \rho(S_a, i), \rho(E_e, i), Bin(S_a, E_a, i)]))\\ \rho(pos, i) = \left\{\begin{array}{cc} \sin(pos/10000^{i/d}) & i \ {\rm is}\ {\rm even} \\ \cos(pos/10000^{(i-1)/d}) & {\rm otherwise} \end{array} \right. \\ Bin(S_a, E_a, i) = \left\{\begin{array}{cc}1 & {\rm if} \ i \in [S_a, E_a] \\ 0 & {\rm otherwise} \end{array} \right.

f_{GM}(S_p, E_p, S_a, E_a, i) = P_e Bin(S_p, E_p, i) + (1-P_e) f_M(S_p, E_p, S_a, E_a, i)

\hat F^l = f_{GM} \odot F^l

Captioning Decoder

損失関数

• キャプション文に関する損失関数
• アンカーオフセットを予測させるための損失関数
• マスクに関する損失関数
• 各アンカーにイベントがあるかどうかを学習させる損失関数

マスクの損失関数ですが、これは出来るだけ提案セグメントの離散マスクに近づくように学習させます。したがって、 Bin(S_p, E_p, i) を予測ラベルとします。具体的な損失関数の数式は論文を参照してください。

学習時の注意点

学習方法は少し工夫が必要です。学習の１エポックの単位は動画の数ではなくキャプションの数なので、同じ入力でも異なる出力（キャプションとセグメント）をさせる必要があります。

まずセグメントの学習で注意する点は、ある区間のキャプションを学習させる時はpositiveだったアンカーが、別の区間のキャプションを学習させる時はnegativeだというラベルづけになってしまうことです。したがって、各イテレーションで P_e に対するラベル付けを工夫する必要があります。ここでは、positiveラベルはキャプションに対応する正のアンカーを使用するが、negativeラベルはキャプションに依存させず、動画全体から見て何もイベントがない区間だとみなします。具体的には、ある動画の全てのセグメントとのIoUが、一つも0.1を超えない場合はnegativeであるとみなします。これによって、本来positiveなアンカーがnegativeだと判定されることを防いでいます。

ちなみに元実装ではpositiveとnegativeを均等にサンプリングしているようなのですが、私は物体検知の学習方法を踏襲してHard Negative Miningを利用しています。この学習方法は色々やりようがあると思います。例えば、positiveなラベルも同様にキャプションに依存させずに定義した方が学習が安定するかもしれません。また、negativeだとみなすIoUの閾値は論文では0.3でしたが、私は0.1に設定しました。この理由は、0.3にしてしまうと推論時に何もセグメントを提案しないという現象が起きてしまったためです。個人的にこのパラメータはかなり重要だと考えていて、高くしすぎると不必要にnegativeと判断してしまい、低くしすぎると予測セグメントの精度が落ちると考えられます。セグメント提案で意図せぬ挙動が起きる場合は、この値をチューニングすると良いかもしれません。

キャプションの学習で注意することは、各イテレーションごとに、フレームのどの部分を活用するかを変える必要がある点です。キャプションに関係のないフレームの情報を使っても意味がありません。したがって、positiveなアンカーを各サンプルごとに一つだけサンプリングすることで、Caption Deocderに渡すマスクを出来るだけ正確な情報にしています。

再現実験について

• ActivityNet Captions [6]: 比較的大きなデータセットが特徴。
• YouCook2 [14]: 数は少ない(AcitivityNetの1/10)が、料理動画に特化。

ここでは、学習・評価に時間をかけたくなかったため、YouCook2データセットを利用します。すでに学習済みのモデルを使用するため、それほど学習には時間がかからないはずです（ただし、もともとのモデルに冗長なパラメータがあったため、一部は学習し直しています）。手元のNVIDIA V100 GPUで学習しましたが、20エポック程度ならば1時間足らずで計算を回せました。

それでは、生成されたキャプションを確認しましょう。こちらの動画を入力にした推論結果が以下のようになります。各色がセグメントとそれに対応するキャプションになっています。また、生成したキャプションは提案セグメントから色付けを行なっています。確認してみると、それっぽいキャプションが作成できていることがわかりますね。ただし、細かい部分で間違いが起きていたり（レタスとキャベツを間違っていたり）、一部のキャプションを生成できていなかったりします。この辺りは課題ですね。

実装については、すでに著者実装が公開されていますが、PyTorchのバージョンが0.4で古いのと、学習が非効率な点などを踏まえて、新たに実装し直しました。また、元の実装と比べても読みやすくなっているはずです。最終的なスクリプトはこちらです。

終わりに

本記事では動画認識の手法の紹介および、Dense Video Captioningというタスクに対するモデルとして、Masked Transformerという手法を解説し、その再現実験を紹介しました。実験した感想としては、意外とそれっぽい文章が作れるのだなと思う一方、まだまだ課題が多いなと感じました。[9]や[10]のように、動画という特性をより活用すべきだと思いますし、Masked Transformerに渡す入力の設計ももう少し考えるべきだと思います。原論文ではResNet [11]の学習済み重みモデルを用いていますが、例えばVideoBERT [8]では自己学習された重みモデルを用いてキャプション生成を行なったりしています。まだまだこれからという印象です。そろそろCVPRやECCVが開催されるので、どのような動画キャプション生成の研究が出てくるかは興味深いところですね。また、自然言語モデルの方でももっと工夫ができると思います。最近ではReformer [15]などTransformerを工夫したモデルが提案されているので、Masked Reformerを作成しても良いかもしれません。

最後になりますが、先進技術部では今後も動画分析の調査や研究に力を入れていく予定です。動画は情報に富んでいて、その分様々な技術が要求される印象です（つまり研究しがいがあるという事ですね！）。ALBERTには様々なバックグラウンド・知識を持った人がいるので、社内チャットに困ったことを投げれば様々な視点からの回答が返ってきます（非常に助かっています）。より多様なメンバーが集まると、よりALBERTの強みが増すのかなと期待しています。ALBERTではリサーチャー・アナリストを募集しています！ご興味のある方はこちらをご覧ください！

参考文献

1. Zhou, L., Zhou, Y., Corso, J. J., Socher, R., & Xiong, C. (2018). End-to-end dense video captioning with masked transformer. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 8739-8748).
2. Tran, D., Bourdev, L., Fergus, R., Torresani, L., & Paluri, M. (2015). Learning spatiotemporal features with 3d convolutional networks. In Proceedings of the IEEE international conference on computer vision (pp. 4489-4497).
3. Carreira, J., & Zisserman, A. (2017). Quo vadis, action recognition? a new model and the kinetics dataset. In proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 6299-6308).
4. Xie, S., Sun, C., Huang, J., Tu, Z., & Murphy, K. (2018). Rethinking spatiotemporal feature learning: Speed-accuracy trade-offs in video classification. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 305-321).
5. Li, Y., Yao, T., Pan, Y., Chao, H., & Mei, T. (2018). Jointly localizing and describing events for dense video captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 7492-7500).
6. Krishna, R., Hata, K., Ren, F., Fei-Fei, L., & Carlos Niebles, J. (2017). Dense-captioning events in videos. In Proceedings of the IEEE international conference on computer vision (pp. 706-715).
7. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008).
8. Sun, C., Myers, A., Vondrick, C., Murphy, K., & Schmid, C. (2019). Videobert: A joint model for video and language representation learning. In Proceedings of the IEEE International Conference on Computer Vision (pp. 7464-7473).
9. Wang, J., Jiang, W., Ma, L., Liu, W., & Xu, Y. (2018). Bidirectional attentive fusion with context gating for dense video captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 7190-7198).
10. Mun, J., Yang, L., Ren, Z., Xu, N., & Han, B. (2019). Streamlined dense video captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 6588-6597).
11. Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
12. Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167.
13. Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). Ssd: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Springer, Cham.
14. Zhou, L., Xu, C., & Corso, J. J. (2018, April). Towards automatic learning of procedures from web instructional videos. In Thirty-Second AAAI Conference on Artificial Intelligence.
15. Kitaev, N., Kaiser, Ł., & Levskaya, A. (2020). Reformer: The Efficient Transformer. arXiv preprint arXiv:2001.04451.

はじめに

1. BM25 による検索スコアを使った方法
2. LASER の文埋め込みによる類似度検索による方法
3. BERT による検索モデル
4. Sentence-BERT の文埋め込みによる類似度検索による方法

FAQ 検索とは

BM25 による FAQ 検索について

BM25 とは

\operatorname{score}(D, Q) = \sum_{i=1}^n{\operatorname{IDF}(q_i) \frac{f(q_i, D) \cdot (k_1 + 1)}{f(q_i, D) + k_1 \cdot \left(1 - b + b \cdot \frac{|D|}{\mathrm{avgdl}}\right)}}

\operatorname{IDF}(q_i) = \ln{\left(\frac{N - f(q_i) + 0.5}{f(q_i) + 0.5}\right)}

LASER による FAQ 検索について

LASER とは

アーキテクチャ

FAQ 検索への応用

BERT による FAQ 検索について

BERT とは

FAQ 検索への応用

Sentence-BERT による FAQ 検索について

Sentence-BERT (SBERT) とは

アーキテクチャ

FAQ 検索への応用

実験

データセット

実験手順

BM25

LASER

BERT

SBERT

定量評価

ランキング指標

訓練時間

推論時間

定性評価

まとめ

参考文献

• Robertson, S. (2010). The Probabilistic Relevance Framework: BM25 and Beyond. In Foundations and Trends® in Information Retrieval (Vol. 3).
• Artetxe, M., & Schwenk, H. (2019). Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond. Transactions of the Association for Computational Linguistics, 7, 597–610.
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
• Nogueira, R., & Cho, K. (2019). Passage Re-ranking with BERT.
• Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks.

はじめに

チャットボットの概要

表１．チャットボット関連タスク一覧

サーベイ：Personalized Dialogue

Personalized Dialogueの現状と概要

データセット

表２．Personalized Dialogueのデータセット

モデル

表３．Personalized Dialogueのモデル

実現可能性の検討

表４．データソースの候補

おわりに

参考文献

1. J. Devlin, M. W. Chang, K. Lee, and K. Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pages 4171-4186.
2. J. C. Gu, Z. H. Ling, X. Zhu and Q. Liu. 2019. Dually Interactive Matching Network for Personalized Response Selection in Retrieval-Based Chatbots. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pages 1845-1854.
3. J. Li, M. Galley, C. Brockett, G. P. Spithourakis, J. Gao, and B. Dolan. 2016. A Persona-Based Neural Conversation Model. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 994-1003.
4. M. T. Luong, H. Pham, and C. D. Manning. 2015. Effective Approaches to Attention-based Neural Machine Translation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1412-1421.
5. A. Madotto, Z. Lin, C. S. Wu, and P. Fung. 2019. Personalizing Dialogue Agents via Meta-Learning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5454-5459.
6. P. E. Mazare, S. Humeau, M. Raison and A. Bordes. 2018. Training Millions of Personalized Dialogue Agents. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 2775-2779.
7. A. Miller, A. Fisch, J. Dodge, A. H. Karimi, A. Bordes, and J. Weston. 2016. Key-Value Memory Networks for Directly Reading Documents. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1400-1409.
8. S. Sukhbaatar, A. Szlam, J. Weston, and R Fergus. 2015. End-To-End Memory Networks. In Proceedings of the 28th Annual Conference on Neural Information Processing Systems (NIPS 2015), pages 2440-2448.
9. I. Sutskever, O. Vinyals, and Q. V. Le. 2014. Sequence to Sequence Learning with Neural Networks. In Advances in Neural Information Processing Systems, pages 3104-3112.
10. A. Vaswani, N. Shazeer, N. Parmer, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin. 2017. Attention Is All You Need. In Advances in Neural Information Processing Systems, pages 6000-6010.
11. S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela, and J. Weston. 2018. Personalizing Dialogue: I have a dog, do you have pets too?. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pages 2204-2213.
12. 東中 竜一郎, 船越 孝太郎. 2014. Project Next NLP対話タスクにおける雑談対話データの収集と対話破綻アノテーション. 人工知能学会, pages 45-50.

自己紹介

研修内容

クライアント対応演習

1. 外乱の多いノイジーな環境に慣れる
2. 明確に課題化されていない問題との向き合い方を学ぶ
3. クライアント折衝を擬似体験する

1-2日目：提案フェーズ

3-4日目：分析フェーズ

オンライン研修の感想

研修外のオンラインにおける取り組みについて

Forbes Japan：
民間のデータサイエンティストが見た「驚きの内幕」、厚労省のコロナ分析
コロナ後も「絶対にデータ分析はやめてはいけない！」 初動の悔い、第二波の教訓に

まとめ

はじめに

Explainable AIについて

Explainable AIが必要になった社会背景

Explainable AIの研究動向

特徴量の可視化

　LIME(Local Interpretable Model-Agnostic Explanation)

\xi(x) = \argmin L(f, g, \pi_x) + \Omega(g)
g\in G

L(f, g, \pi_x) = \sum_{z,z^{\prime}\in Z}\pi_x(x)(f(z)-g(z^{\prime}))^2

PDP(Partial Dependence Plot)

Partial Dependence Function

\hat{f_s}(x_s) = E_c[x_s, x_c] = \int \hat{f_s}(x_s, x_c)p(x_c)dx_c

\hat{f_s}(x_s) = \cfrac{1}{n}\sum_{i}^n \hat{f_s}(x_s, x_c^{(i)})

解釈可能なモデルを生成

CORELS(Certifiably Optimal Rule List)

R(d,x,y) = L(d,x,y) + \lambda * length(d)

解釈可能なモデルで近似

Born Again Tree

Explainable AIの応用例

Google Explainable AI

simMachines(isid)

網膜疾患の3次元画像診断(Deep Mind)

展望

Reference

1.  Adadi, A., & Berrada, M. (2018). Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI). IEEE Access, 6, 52138-52160.( https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8466590)
2. Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2017). Learning certifiably optimal rule lists for categorical data. The Journal of Machine Learning Research, 18(1), 8753-8830.(http://www.jmlr.org/papers/volume18/17-716/17-716.pdf)
3. Breiman, L., & Shang, N. (1996). Born again trees. University of California, Berkeley, Berkeley, CA, Technical Report, 1, 2. (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.367.9399&rep=rep1&type=pdf)
4. De Fauw, J., Ledsam, J. R., Romera-Paredes, B., Nikolov, S., Tomasev, N., Blackwell, S., … & van den Driessche, G. (2018). Clinically applicable deep learning for diagnosis and referral in retinal disease. Nature medicine, 24(9), 1342-1350.(https://discovery.ucl.ac.uk/id/eprint/10056194/1/Diagnosis%20and%20referral%20in%20retinal%20disease%20-%20updated.pdf)
5. Friedman, J. H. (2001). Greedy function approximation: a gradient boosting machine. Annals of statistics, 1189-1232.(https://projecteuclid.org/download/pdf_1/euclid.aos/1013203451)
6. Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). ” Why should i trust you?” Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144). (https://dl.acm.org/doi/pdf/10.1145/2939672.2939778)
7. Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, and Dino Pedreschiz. (2018) A Survey Of Methods For Explaining Black Box Models　Cornel University(https://arxiv.org/pdf/1802.01933.pdf)
8. 『Explainable artificial intelligence (xai)』(https://www.darpa.mil/attachments/XAIProgramUpdate.pdf)
9. 『Explainable AI　ベータ版』(https://cloud.google.com/explainable-ai/)
10. 『General Data Protection Regulation GDPR』(https://gdpr-info.eu/)
11. 『ICML 2017 tutorial on interpretable machine learning』(http://people.csail.mit.edu/beenkim/icml_tutorial.html)
12. 『Interpretable Machine Learning　A Guide for Making Black Box Models Explainable.』(https://christophm.github.io/interpretable-ml-book/index.html)
13. 『LIMEで機械学習の予測結果を解釈してみる』(https://qiita.com/fufufukakaka/items/d0081cd38251d22ffebf)
14. 『Local Interpretable Model-Agnostic Explanations (LIME): An Introduction』(https://www.oreilly.com/content/introduction-to-local-interpretable-model-agnostic-explanations-lime/)
15. 『On the Role of Trust and Explanation for AI adoption in Industry』(https://www.mobilit.ai/wp-content/uploads/2019/06/9.35-AM-Lecue-Thales-OnTheRoleOfTrustAndExplanationForAIAdoptionInIndustry-CRIAQ-MobilitAi1.pdf)
16. 『機械学習の説明可能性への取り組み － DARPA XAI プロジェクトを中心に 』(https://www.jst.go.jp/crds/sympo/201906_JSAI/pdf/02.pdf)
17. 『国際的な議論のためのAI開発ガイドライン案』(https://www.soumu.go.jp/main_content/000499625.pdf)
18. 『説明可能なAIによる 「信頼できる診断と予測」の実現』(https://www.pwri.go.jp/caesar/lecture/pdf12/3_watanabe.pdf)
19. 『AIはなぜその答えを導き出したのか ～根拠を見える化する「説明可能なAI」～』(https://blog.global.fujitsu.com/jp/2018-12-27/01/)
20. 『WHYが分かるAIソリューション「simMachines」』(https://www.isid.co.jp/solution/simmachines.html)
21. 『アンサンブル木モデル解釈のためのモデルの簡略化』(https://www.slideshare.net/SatoshiHara3/ss-92587923)
22. 『内閣府:Society5.0』(https://www8.cao.go.jp/cstp/society5_0/)
23. 『機械学習の用語辞典　XAI(Explainable:説明可能なAI) /解釈可能性(Interpretability)とは？』(https://www.atmarkit.co.jp/ait/articles/1908/19/news022.html)