メディア研究開発センター

マルチモーダルLLMでユーザビリティテストしてみた。

こんにちは、メディア研究開発センターの植木です。本記事ではマルチモーダルLLMであるGPT-4oを用いてユーザビリティテストがどの程度できるかを検証しました。初見ユーザーのありがたみ（突然ですが、）プロダクト開発の現場では、初見ユーザーのフィードバックは極めて重要です。では、その初見ユーザーはどこにいるのでしょうか？例えば、通勤時にたまたますれ違った人が（昨日完成した新機能の）初見ユーザーであることはほぼ間違いないでしょう。声をかけてみれば案外協力してもらえるかもしれ

AIの言葉、私の言葉––いま、生成する前に立ち止まる

はじめにこんにちは。メディア研究開発センターの浦川です。この記事は、私にとって２０２４年最後の投稿記事になるでしょう。そこで、まずはこの一年を個人的に振り返るところから始めたいと思います。今年は『AIは短歌をどう詠むか』の執筆に始まり、テキスト平易化データセット「SJNC」の研究発表および公開、短歌の生成および鑑賞に関する研究発表、『どう詠むか』刊行に伴う関連イベント登壇やメディア出演、水戸芸術館における作品展示への技術協力、さらにはSIGGRAPH ASIA TO

ChatGPTで2025年の流行語予想してみた~o1 proでやりゃええやん~

はじめに「流行語大賞のはずなのに、はじめて聞いたんだけど！」 12月2日の朝会は、先輩の嘆きで始まりました。年末ですね、メディア研究開発センターの河﨑です。 12月1日に流行語大賞が発表されましたね。詳しくは以下の記事でどうぞ。個人的には、「不適切にもほどがある！」のドラマは（途中まで）見ていたので「ふてほど」はもちろん知っていたのですが、テレビを見ない最近の若者の皆さんは知らない方も多かったみたいですね。私の先輩のように、「知らない！はやってない！」と思っ

AWS Lambda SnapStartを試してみた

こんにちは。メディア研究開発センターに所属する村瀬です。今回のノートでは、最近Pythonと.NETの実行環境でサポートされたAWS Lambda SnapStartについて試してみようと思います。お付き合いいただけますと幸いです。 Lambda SnapStartとはまず、Lambda SnapStartの説明をしないことにはこのnoteは始まりません。Lambda SnapStartとはLambdaのコールドスタートを改善するための機能です。これまでのLambdaでは、

メディアにおけるマルチモーダルAI技術の応用

こんにちは。朝日新聞社メディア研究開発センター（M研）の福沢です。今回はマルチモーダルAI技術と、そのメディアにおける応用について、お話させて頂きます。最近、ChatGPTの盛り上がりとともに、マルチモーダルAI技術にも大きな注目が集まっています。我々メディアにおいても、テキスト、写真、音声、映像などのさまざまな形式のデータの活用が一つの課題となっています。発信の仕方も、テキストや画像だけでなく、動画や音声、さらにインタラクティブな体験を求められるようになっており、

AIが作家の断片を辿って“幻視”する物語／水戸芸術館『田村友一郎　ATM』に寄せて

2024年11月2日より、茨城県水戸市の水戸芸術館現代美術ギャラリーにて、現代美術作家である田村友一郎氏の大規模個展「ATM」が開幕した。メディア研究開発センター（M研）は、ここで展示される新作《ATM》の制作に、技術協力として参加している。この記事では、作品制作の経緯とその詳細について紹介するとともに、現在の大規模言語モデル研究から見た《ATM》の姿についても考察してみたい。〈技術と文化の交差点〉としてのM研そもそも「新聞社のR&D組織が、なぜ現代美術への技

【作業に集中したいから】Notionマイタスクで複数プロジェクト管理＆ドキュメント化

こんにちは。マルチタスクが苦手なのにプロジェクトを掛け持ちしすぎているM研の杉野です。今年2024年にリリースされ、Notion愛好家？の間で賞賛されている「マイタスク」機能をご存知でしょうか？複数プロジェクトを皿回しする民にとって、これは救世主だと思うほど良い機能であると、今さら気づきました。今回はその「マイタスク」を使い、さらにその日のタスクに集中しやすくなるためのカスタマイズから、ドキュメント漏れやドキュメント迷子の悩みを解決する工夫までご紹介します。プロジェクト

mackerelでオンプレサーバーの監視を強化してみたら幸せになった

いつもM研テックブログをご覧いただきまして、ありがとうございます。朝日新聞社メディア研究開発センター（M研）の田森です。さて、M研では研究用のGPU搭載サーバーをはじめとして、何台かのオンプレサーバーやNASが存在します。結構台数があるので、それなりの管理が必要なのですが、中でも困っているのは各ストレージはどれくらい使われているのか？ GPUはどのサーバーででどのくらい動いているのか？がなかなか分かりづらい。これらの項目を含めて、サーバーの状況を包括的に監視

Pythonで扱う地理情報データ！面と点の内外判定で土砂災害警戒区域の「盲点」を探る

こんにちは。朝日新聞社メディア研究開発センターの石井奏人です。突然ですが、みなさんは土砂災害警戒区域についてご存知でしょうか。土砂災害が起こる危険性のある箇所を、各都道府県が土砂災害防止法に基づき指定したものです。では、どれほどの土砂災害が実際に警戒区域の中で起きているのでしょうか。朝日新聞社では、土砂災害警戒区域と、2021年、2022年に起きた土砂災害の発生箇所を分析し、「警戒区域の外」で起きた土砂災害を探しました。分析の結果は、朝日新聞・朝日新聞デジタル

LLMによる日本語タイポ修正ベンチマーク

こんにちは。メディア研究開発センター（通称M研）の田口です。昨年6月末にこんな記事を書きました。このときはgpt-35-turbo、text-davinci-003を使っていて今読み返すと隔世の感ですね… 現在も要約関連のことをやっているのかというと、最近のメインの業務は「Typoless」という校正支援AIサービスの開発に従事しています。AI校正機能からその他解析API群の整備・運用まで幅広くやっています。Typolessについては昨年末にPdMがnoteを書いている

モノに関わる職業をLLMで分析！

今回やったこと・Azure OpenAI Serviceのapiで、gpt-4oを使用　・プロンプトの工夫（結果をpythonのリスト形式で出力したい）　・画像認識・pythonで関係図を作る（ネットワークグラフ）はじめに後輩ができました、2年目の河﨑です。夏になり、M研にも新入社員が配属されてきました。朝日新聞社の技術職の新入社員は、4月に入社してから5ヶ月間の技術者研修を受けます（手厚い！）。ネットワークの基礎に関する講義を受けたり、システム構築実習

LLMは文分類を抽象的に学ぶことはできるか？

メディア研究開発センターの新妻です。 LLMのブーム、すごいっすよね。（この記事においては、LLMは大規模なdecoder onlyな言語モデルを指して使います。）自分も最近は継続事前学習とか頑張ってます。 NLPには文分類(sentence classification)という基礎的なタスクがあります。具体的なタスクで言えば、含意関係認識や感情解析などの与えられた文に対して限られた選択肢からラベルを付与するようなタスクです。この文分類については、既存のBERTな

GPT-4oは画像の座標情報を理解しているのか？

こんにちは。朝日新聞社メディア研究開発センターの嘉田です。早速ですが、みなさんはGPT-4oを使っていますか？ GPT-4oは画像認識精度も上がっていて日本語OCRもできる！と評判ですが、バウンディングボックスも出力できるのか？そもそもGPT-4oは画像の座標情報をどの程度扱えるのだろうか？と疑問に思い、検証することにしました。検証方法正しい座標を出力できるか、与えた座標を理解できているか、物体間の位置関係を理解できているか、という観点で確認するべく、下記の3つの方法

LLMを使ったかな漢字変換

こんにちは。メディア研究開発センターの山野です。私は普段は音声処理や自然言語処理やそれらの技術を使ったプロダクト開発などに従事しています。さて今回は朝日新聞記事データを使ったニューラル仮名漢字変換について簡易な実験をしたのでその結果を共有します。はじめに多くの問題を解くことができるLLMですが、ひらがな列Xをかな漢字混じり文Yへ変換する仮名漢字変換については、単語の読み方とその表記の関連性を学習する必要があり、現時点(2024年7月8日)ではLLMでもうまく解くことがで