山田耕太郎ゼミ■データサイエンス教育研究室
【悪用厳禁】ハッキングのしくみ
私は街なかで無料Wi-Fiの通信を覗き見(盗聴)できることや、ワンクリック詐欺サイトがとても簡単に作成できてしまうことをデモンストレーションし、セキュリティ意識やITリテラシーについて注意喚起している技術系YouTuberの動画をよく見ている。自分でもこんなことができたら面白いだろうなと思っていたところ、ゼミでハッキングを実際に体験し、ハッカーの手口や手法を合法的に学べるTryHackMeというサイトがあることを知った。そのサイトの使い方を解説している入門書が出版されていたため、この本に従ってハッキングの勉強をすることにした。
TrayHackMeのサイトを使うと、自分のノートPCにハッキングツールが揃った仮想環境を整えるだけでこのサイトを実際にサイバー攻撃しながらハッキングを体験的に学ぶことができる。またこのサイトで体験できるサイバー攻撃の方法は、過去に実際にあったハッキングの事例が元になっているため、ハッカーが何を考えてどのように侵入を試みているのかがとても良く分かった。脆弱性を利用してサイトに侵入し、データを改ざんするのは基本中の基本であるが、TryHackMeではハッキングをゲームのように楽しむためのミッションが用意されているため、ハッキングの途中で暗号を解いたり謎の文字列の意味を考えたりするミッションをクリアし、レベルアップしながらハッキングを学ぶことができる。中間発表ではハッキングの一例を紹介したが、本発表ではどのようなミッションがあったのかも紹介する。
ハッキングには様々な手法が存在する。単に技術的な脆弱性を突くものだけでなく、巧妙なフィッシングメールや偽サイト、パスワードリスト攻撃やソーシャルエンジニアリングなど、その手法は日々進化しており、見た目では判別しにくいものが増えた。本発表ではそのような内容についても紹介するとともに、実際にハッカーの目線になってハッキングをすることで、「私たちが被害に遭うリスクを下げるにはどうすれば良いのか」について今できることを紹介し実践できるものにしていく。そして、多くの人のセキュリティ意識の向上と注意喚起につながるような情報発信や、「日常から少しの注意と準備をするだけで被害を大きく減らせる」というメッセージを広げていく。本発表がみなさんのセキュリティ意識の向上に寄与できれば嬉しく思う。
TrayHackMeのサイトを使うと、自分のノートPCにハッキングツールが揃った仮想環境を整えるだけでこのサイトを実際にサイバー攻撃しながらハッキングを体験的に学ぶことができる。またこのサイトで体験できるサイバー攻撃の方法は、過去に実際にあったハッキングの事例が元になっているため、ハッカーが何を考えてどのように侵入を試みているのかがとても良く分かった。脆弱性を利用してサイトに侵入し、データを改ざんするのは基本中の基本であるが、TryHackMeではハッキングをゲームのように楽しむためのミッションが用意されているため、ハッキングの途中で暗号を解いたり謎の文字列の意味を考えたりするミッションをクリアし、レベルアップしながらハッキングを学ぶことができる。中間発表ではハッキングの一例を紹介したが、本発表ではどのようなミッションがあったのかも紹介する。
ハッキングには様々な手法が存在する。単に技術的な脆弱性を突くものだけでなく、巧妙なフィッシングメールや偽サイト、パスワードリスト攻撃やソーシャルエンジニアリングなど、その手法は日々進化しており、見た目では判別しにくいものが増えた。本発表ではそのような内容についても紹介するとともに、実際にハッカーの目線になってハッキングをすることで、「私たちが被害に遭うリスクを下げるにはどうすれば良いのか」について今できることを紹介し実践できるものにしていく。そして、多くの人のセキュリティ意識の向上と注意喚起につながるような情報発信や、「日常から少しの注意と準備をするだけで被害を大きく減らせる」というメッセージを広げていく。本発表がみなさんのセキュリティ意識の向上に寄与できれば嬉しく思う。
ハッキングから学ぶ情報技術
情報系のゼミに所属し、ITやAI関連の話題に触れる中で、将来はパソコンを使いこなす力が必要不可欠であると強く感じた。特に近年、デジタル技術の急速な発展により、あらゆる業界でICTの知識を持った人材が求められている現状を感じ、私自身もそうした変化に柔軟に対応できる力を身に付けたいと考えるようになった。そこで私は、卒業後もゼミ活動で培った知識を活かしてICTに強い人材として社会に貢献できるよう、情報セキュリティを卒業研究のテーマとした。
ゼミ活動前半は実践を通したハッキング技術の習得を中心に学んできた。パソコンへの侵入や、パスワードの特定、関係者同士の会話を覗くことなどを経験し、ハッキングの仕組みや不正アクセスの危険性を理解した。自分の知らない技術や予想もしなかった手口を知り、驚くと同時にこの知識を周囲の人に伝えて不正アクセスのリスクを多くの人々に知ってもらい、ITセキュリティの意識を高めてもらえるよう努めなければならないと強く思った。
またゼミ活動の後半では日本のICT人材育成の現状やIT分野への投資について調べ、日本はIT後進国であることを知った。経済的には先進国でありながらなぜIT分野では他国に比べて後れを取っているのか、疑問に思い情報通信白書などの文献調査を行った。その結果、ICT人材の不足や国民のデジタルリテラシーの低さが主な要因であることを知り、納得できたことでますますICT人材を育成することの重要性を感じた。
ゼミでの研究内容は就職活動の場面でも大きな強みになった。実際の面接では、ゼミの活動に関心を示してくださる面接官が多く、「情報セキュリティに関する知識があることで、入社後には社内のパソコン管理やセキュリティ強化の役割も任せられる」と評価していただく機会が多々あった。今後は、情報セキュリティの知識をベースに、常に変化するIT社会の課題に対応できる柔軟な発想力と実践力を磨いていきたい。そして、自分の強みを活かしながら、企業や社会のIT活用・安全対策の一翼を担える人材になりたいと考えている。
ゼミ活動前半は実践を通したハッキング技術の習得を中心に学んできた。パソコンへの侵入や、パスワードの特定、関係者同士の会話を覗くことなどを経験し、ハッキングの仕組みや不正アクセスの危険性を理解した。自分の知らない技術や予想もしなかった手口を知り、驚くと同時にこの知識を周囲の人に伝えて不正アクセスのリスクを多くの人々に知ってもらい、ITセキュリティの意識を高めてもらえるよう努めなければならないと強く思った。
またゼミ活動の後半では日本のICT人材育成の現状やIT分野への投資について調べ、日本はIT後進国であることを知った。経済的には先進国でありながらなぜIT分野では他国に比べて後れを取っているのか、疑問に思い情報通信白書などの文献調査を行った。その結果、ICT人材の不足や国民のデジタルリテラシーの低さが主な要因であることを知り、納得できたことでますますICT人材を育成することの重要性を感じた。
ゼミでの研究内容は就職活動の場面でも大きな強みになった。実際の面接では、ゼミの活動に関心を示してくださる面接官が多く、「情報セキュリティに関する知識があることで、入社後には社内のパソコン管理やセキュリティ強化の役割も任せられる」と評価していただく機会が多々あった。今後は、情報セキュリティの知識をベースに、常に変化するIT社会の課題に対応できる柔軟な発想力と実践力を磨いていきたい。そして、自分の強みを活かしながら、企業や社会のIT活用・安全対策の一翼を担える人材になりたいと考えている。
情報技術力向上に向けたハッキングの実践と発信
情報技術を身に付けたいと漠然と考えていたある日、ゼミの先生から「ハッキングを学んでコンピュータに詳しくなろう」と勧められ、興味を持ったことをきっかけに本格的に学ぶことにした。学習は体験重視で進めるべきだと考え、ハッキングの学習サイトであるTryHackMeに登録し、実際の攻撃や防御の演習をしながら順を追って学習した。
学習を進めるにあたって利用した参考書や学習資料の多くはWindows環境を前提として書かれており、私が普段使用しているMacBookでは手順が異なる箇所が多く、特にハッキングツールのインストールや仮想環境の構築、ネットワーク設定などで試行錯誤を繰り返したが、上手くいかないことが多くなかなか思うように進めることができなかった。しかしこのときに実践的に手を動かしたことで、結果的にハッキングの知識を身に付けるためのパソコンやネットワークの仕組みの理解を深めることができた。そして、同じ内容を取り組むゼミの仲間と情報交換をし合うことで、互いに助け合いながら学びを進めることができた。
ハッキングの学習と並行してITパスポートの勉強も進めた。最初は専門用語の多さに戸惑ったが、自分に合った学習法を模索する中でYouTubeの授業動画に出会い、図解や具体例を使った説明で理解が進んだおかげで隙間時間なども活用して継続的に学習することができた。この経験は自身の就職活動にも活かすことができ、IT関係の職で内定を得ることができた。内定先からはITパスポートよりさらに上の基本情報技術者試験を勧められたため、学習を進めているところである。
ハッキングとITパスポートを同時に学ぶ中で、情報セキュリティ分野で注意すべきことをたくさん知ることができた。例えば、ハッキングではパスワードの解析を基本とし、破るための手口を実際に体験し、パスワード管理の重要性を認識した。特に辞書攻撃では単純な単語やキャラクターの名前などを安易にパスワードに使用することがとても危険であるということを身を持って感じることができた。この体験から私は手軽にできる安全なパスワードの作成方法のコツを知り、実際に自身がSNSを利用するためのセキュリティ意識を向上させるきっかけとなった。本発表では、中間発表に引き続き情報セキュリティと関連の強いITパスポートの分野を紹介し、みなさんの生活におけるセキュリティ意識を高めるきっかけづくりをしたいと考えている。
学習を進めるにあたって利用した参考書や学習資料の多くはWindows環境を前提として書かれており、私が普段使用しているMacBookでは手順が異なる箇所が多く、特にハッキングツールのインストールや仮想環境の構築、ネットワーク設定などで試行錯誤を繰り返したが、上手くいかないことが多くなかなか思うように進めることができなかった。しかしこのときに実践的に手を動かしたことで、結果的にハッキングの知識を身に付けるためのパソコンやネットワークの仕組みの理解を深めることができた。そして、同じ内容を取り組むゼミの仲間と情報交換をし合うことで、互いに助け合いながら学びを進めることができた。
ハッキングの学習と並行してITパスポートの勉強も進めた。最初は専門用語の多さに戸惑ったが、自分に合った学習法を模索する中でYouTubeの授業動画に出会い、図解や具体例を使った説明で理解が進んだおかげで隙間時間なども活用して継続的に学習することができた。この経験は自身の就職活動にも活かすことができ、IT関係の職で内定を得ることができた。内定先からはITパスポートよりさらに上の基本情報技術者試験を勧められたため、学習を進めているところである。
ハッキングとITパスポートを同時に学ぶ中で、情報セキュリティ分野で注意すべきことをたくさん知ることができた。例えば、ハッキングではパスワードの解析を基本とし、破るための手口を実際に体験し、パスワード管理の重要性を認識した。特に辞書攻撃では単純な単語やキャラクターの名前などを安易にパスワードに使用することがとても危険であるということを身を持って感じることができた。この体験から私は手軽にできる安全なパスワードの作成方法のコツを知り、実際に自身がSNSを利用するためのセキュリティ意識を向上させるきっかけとなった。本発表では、中間発表に引き続き情報セキュリティと関連の強いITパスポートの分野を紹介し、みなさんの生活におけるセキュリティ意識を高めるきっかけづくりをしたいと考えている。
データで考える料理のこだわり
みなさんは料理をするとき、どのような思いで作っているだろうか。美味しく作りたい、丁寧に作りたい、彩り良く作りたい、手間暇かけずに手っ取り早く作りたい、とりあえず何かできればよいなど、人によってその思いは様々だろう。私は丁寧に時間をかけて作る日もあれば、とりあえずお腹いっぱいになればいいやという日もあるため、特に何かにこだわっている訳ではない。しかし料理研究家や料理家と呼ばれている料理のプロの人たちは、何かこだわりを持って仕事をしているのではないかと思う。そしておそらくそのこだわりは、料理にも表れているのではないかと考えている。そこで、料理研究家の人たちが書籍やレシピサイトなどで公表している料理レシピをデータサイエンスで分析すると、そのこだわりが分かるのではないかと考え、卒業研究のテーマとした。
中間発表では、小林カツ代さんと栗原はるみさんのレシピからそれぞれ75種類を選び出し、栄養Proを使って栄養計算を行い、全てデータ化したものをクラスタ分析してどのようなグループに分けられるのかを示した。そのときの結果のひとつとして、例えば同じイカを使ったレシピでも小林カツ代さんと栗原はるみさんのレシピが別のグループに分類されていたり、レバニラ炒めも異なるグループに分けられたりする一方で、麻婆豆腐は同じグループに分類されるなどの興味深い傾向が見られることを報告した。そしてこのことから、料理にはその人ならではの工夫や価値観が反映されており、データからも作り手の「こだわり」を捉えることができる可能性があるのではないかと考えることができた。
一方で、中間発表時には栄養Proで算出される188項目の栄養素データを全て使うと、それぞれ分類されたものの意味付けが明確にならないないという課題があり、項目数を減らして分析を進めていく必要があるということがわかった。要旨執筆時点の現在はこの課題に取り組み、188項目から必要なデータに絞り込んで分析を進めている。今後は、項目を減らしたデータを用いて再度主成分分析やクラスタ分析を行い、得られたグループに共通する特徴を明らかにすることで、分類の背後にある意味をさらに深掘りし、なぜその食材や味付けを選んだのか、どういう場面を想定しているのかなど、レシピの背景にある意図や思想に迫っていく。料理をデータという切り口から見ることで、その中にある規則性などが見え、「美味しさ」と「分析」のあいだにある可能性を探っていく。
中間発表では、小林カツ代さんと栗原はるみさんのレシピからそれぞれ75種類を選び出し、栄養Proを使って栄養計算を行い、全てデータ化したものをクラスタ分析してどのようなグループに分けられるのかを示した。そのときの結果のひとつとして、例えば同じイカを使ったレシピでも小林カツ代さんと栗原はるみさんのレシピが別のグループに分類されていたり、レバニラ炒めも異なるグループに分けられたりする一方で、麻婆豆腐は同じグループに分類されるなどの興味深い傾向が見られることを報告した。そしてこのことから、料理にはその人ならではの工夫や価値観が反映されており、データからも作り手の「こだわり」を捉えることができる可能性があるのではないかと考えることができた。
一方で、中間発表時には栄養Proで算出される188項目の栄養素データを全て使うと、それぞれ分類されたものの意味付けが明確にならないないという課題があり、項目数を減らして分析を進めていく必要があるということがわかった。要旨執筆時点の現在はこの課題に取り組み、188項目から必要なデータに絞り込んで分析を進めている。今後は、項目を減らしたデータを用いて再度主成分分析やクラスタ分析を行い、得られたグループに共通する特徴を明らかにすることで、分類の背後にある意味をさらに深掘りし、なぜその食材や味付けを選んだのか、どういう場面を想定しているのかなど、レシピの背景にある意図や思想に迫っていく。料理をデータという切り口から見ることで、その中にある規則性などが見え、「美味しさ」と「分析」のあいだにある可能性を探っていく。
若い世代の食生活を改善したい
新しい食との向き合い方
みなさん、不規則な生活により、食習慣が乱れてしまってはいませんか?
朝ごはんを抜いてしまったり、夜遅くに食事をとってしまったり、ついコンビニやファストフードに頼ってしまうこともあると思います。私たち大学生は、授業や課題、アルバイトなどで生活リズムが不安定になりやすく、食事を後回しにしてしまうことも少なくありません。しかし、そのような食生活の乱れは、体調不良や集中力の低下、学業への影響にもつながってしまいます。
私はこうした現状を踏まえ、「若い世代の食生活の実態と改善策」というテーマで研究を進めました。特に、若い世代の人たちが手軽に食生活を見直すきっかけになるように、ChatGPTのようなAIツールを活用した新しい方法に着目しました。この新しい方法としてChatGPTをカスタマイズできるGPTsという機能を使い、食事写真をアップロードするだけでAIが食事内容の判定と栄養評価を行い、アドバイスをしてくれるアプリを作りました。しかし食事写真だけだとAIが判定した食事内容や栄養評価が間違っていたりしたため、より正確な栄養評価になるようコンビニやスーパーで購入したお弁当や総菜などに必ず貼ってある栄養成分表示の写真をAIが読み取り、より栄養バランスが整う総菜をもう一品提案してくれるアプリを作りました。これにより、自分では気づきにくい偏りや問題点を客観的に把握することができ、自分の食生活を改善することが可能になりました。さらに、研究の一環として、ある大学生に1週間の食生活を振り返ってもらい、そのデータをAIが算出した平均値と比較するという調査を行いました。その結果、栄養素の偏りや食事時間の不規則さ、間食の多さなど、実際の生活の中で生じているリアルな課題が明らかになりました。要旨執筆時点の現在は、その結果を踏まえて、AIが導き出す平均的なデータと照らし合わせながら、その人の金銭面や時間の使い方、生活リズムまで考慮した、より現実的で継続可能なオリジナルの改善策を提案する研究を進めています。
AIを活用することで、単に「栄養バランスを整えましょう」といった一般的なアドバイスにとどまらず、個人に合わせた最適な食生活の提案が可能になりました。私はこの研究を通して、若い世代が健康的な食生活を無理なく続けられるような仕組みを作りたいと考えています。AIという身近なツールを活かして、自分の体や生活と丁寧に向き合うことこそ、これからの時代に求められる新しい「食との向き合い方」だと考えています。
私はこうした現状を踏まえ、「若い世代の食生活の実態と改善策」というテーマで研究を進めました。特に、若い世代の人たちが手軽に食生活を見直すきっかけになるように、ChatGPTのようなAIツールを活用した新しい方法に着目しました。この新しい方法としてChatGPTをカスタマイズできるGPTsという機能を使い、食事写真をアップロードするだけでAIが食事内容の判定と栄養評価を行い、アドバイスをしてくれるアプリを作りました。しかし食事写真だけだとAIが判定した食事内容や栄養評価が間違っていたりしたため、より正確な栄養評価になるようコンビニやスーパーで購入したお弁当や総菜などに必ず貼ってある栄養成分表示の写真をAIが読み取り、より栄養バランスが整う総菜をもう一品提案してくれるアプリを作りました。これにより、自分では気づきにくい偏りや問題点を客観的に把握することができ、自分の食生活を改善することが可能になりました。さらに、研究の一環として、ある大学生に1週間の食生活を振り返ってもらい、そのデータをAIが算出した平均値と比較するという調査を行いました。その結果、栄養素の偏りや食事時間の不規則さ、間食の多さなど、実際の生活の中で生じているリアルな課題が明らかになりました。要旨執筆時点の現在は、その結果を踏まえて、AIが導き出す平均的なデータと照らし合わせながら、その人の金銭面や時間の使い方、生活リズムまで考慮した、より現実的で継続可能なオリジナルの改善策を提案する研究を進めています。
AIを活用することで、単に「栄養バランスを整えましょう」といった一般的なアドバイスにとどまらず、個人に合わせた最適な食生活の提案が可能になりました。私はこの研究を通して、若い世代が健康的な食生活を無理なく続けられるような仕組みを作りたいと考えています。AIという身近なツールを活かして、自分の体や生活と丁寧に向き合うことこそ、これからの時代に求められる新しい「食との向き合い方」だと考えています。
AIアシスタントと素敵な料理写真を撮ろう!
私は料理写真を見たり、撮ったりすることが好きだ。レストランやカフェで外食する時には、必ず料理の写真を撮っている。料理が引き立つように、美味しさやおしゃれさを表現できるよう工夫しながら撮影をしているが、自己流のため納得いくものが撮れなかったり、どうしても似たような構図の写真ばかりになったりしてしまう。そのためもっと撮影が上手くなってそれぞれの料理が引き立つ写真が撮れるようになりたいと考え、第三者からの評価やアドバイスが欲しいと思っていた。
ゼミでAIのことを学ぶうちに、ChatGPTをカスタマイズして自分が思うようなアプリが作れるGPTsという機能があることを知った。この機能を使えば、ChatGPTに特定分野の専門家として振る舞うように設定して活用することができる。そこで、ChatGPTに撮影の専門家になってもらい、写真を送るだけでその写真に対する評価と構図についてのアドバイスがもらえるアプリを作成した。
アプリの作成はChatGPTにさせたいことを特定の形式に従って日本語で書くだけなので、プログラミングの知識がなくてもすぐにできた。また、どのような基準で構図のアドバイスをしてくるのかを検証するために、今まで自分が撮影してきた料理写真をAIに学習させたところ、自分の撮影の癖をベースにしたアドバイスが返ってきたため、学習データを構図の基準としていることが確認できた。さらに、AIのアドバイスの正確性を確かめるために実際のプロのカメラマンに意見を伺ったところ、十分に使えるレベルであるとのコメントをいただくことができた。要旨執筆時の現在は、その他にいただいた意見や助言を取り入れ、一般の人にもわかりやすいアドバイスができるアプリになるよう改良している。一例を挙げると、AIが文章でアドバイスを返して分かりにくかったため、アドバイスを反映した画像イメージを生成させて分かりやすくするなどの工夫をしている。
今後はこのアプリをAIアシスタントとして使い、日頃の料理写真の撮影に活用し、撮影を上達させていきたいと考えている。また、AIが学習データの癖を把握してアドバイスできることがわかっているため、それぞれの人の撮影の癖を学習させ、その人の写真の撮り方を学べるアプリを作ることも可能であると考えている。そのため私だけでなく、この研究で作成したアプリを使った人が上級者の撮影技術を学び、その人の撮影のレパートリーが増えて撮影技術の向上につながれば嬉しく思う。
ゼミでAIのことを学ぶうちに、ChatGPTをカスタマイズして自分が思うようなアプリが作れるGPTsという機能があることを知った。この機能を使えば、ChatGPTに特定分野の専門家として振る舞うように設定して活用することができる。そこで、ChatGPTに撮影の専門家になってもらい、写真を送るだけでその写真に対する評価と構図についてのアドバイスがもらえるアプリを作成した。
アプリの作成はChatGPTにさせたいことを特定の形式に従って日本語で書くだけなので、プログラミングの知識がなくてもすぐにできた。また、どのような基準で構図のアドバイスをしてくるのかを検証するために、今まで自分が撮影してきた料理写真をAIに学習させたところ、自分の撮影の癖をベースにしたアドバイスが返ってきたため、学習データを構図の基準としていることが確認できた。さらに、AIのアドバイスの正確性を確かめるために実際のプロのカメラマンに意見を伺ったところ、十分に使えるレベルであるとのコメントをいただくことができた。要旨執筆時の現在は、その他にいただいた意見や助言を取り入れ、一般の人にもわかりやすいアドバイスができるアプリになるよう改良している。一例を挙げると、AIが文章でアドバイスを返して分かりにくかったため、アドバイスを反映した画像イメージを生成させて分かりやすくするなどの工夫をしている。
今後はこのアプリをAIアシスタントとして使い、日頃の料理写真の撮影に活用し、撮影を上達させていきたいと考えている。また、AIが学習データの癖を把握してアドバイスできることがわかっているため、それぞれの人の撮影の癖を学習させ、その人の写真の撮り方を学べるアプリを作ることも可能であると考えている。そのため私だけでなく、この研究で作成したアプリを使った人が上級者の撮影技術を学び、その人の撮影のレパートリーが増えて撮影技術の向上につながれば嬉しく思う。
わたし専用の「メシ友AI」開発
~メシ友がいないなら、作っちゃえばいいじゃない~
わたしは、1人で黙々と食事をすることが苦手である。そこで、食事中の話し相手としてAIを活用できないかと考えた。わたし自身のことをよく知っているAIと、友達同士のように会話しながら食事を楽しむことが、最終目標である。そのことをふまえ本研究では、食事中のわたしと会話をすることに特化したAIを、わたし専用「メシ友AI」と名付けた。
ChatGPTをはじめとする対話型AIが人と会話できるのは、膨大な文章や言葉をAIに学習させてできた大規模言語モデル<LLM>の成果である。対話型AIのサービスが始まった当初はLLMのデータを一般のパソコンに乗せることができなかったが、最近ではLLMの簡易版を個人所有のパソコンで運用できるようになっている。自分のパソコン内のAIであれば、盗聴や個人情報収取の危険性が低く、プライベートなことでも話しやすいと考えた。なおLLMの簡易版のことを、以下ではローカルLLMと呼ぶことにする。ローカルLLMには学習量の異なるものがいくつかあり、ダウンロードして使用することができる。また、ファインチューニングと呼ばれる技術でLLMに新たなデータを学習させたり、ユーザー好みの返答をするように調整したりすることも可能となっている。
本研究では「メシ友AI」を制作するために、まずローカルLLMの管理や利用が容易になるJanというソフトを使って数種類のLLMをダウンロードし、それぞれのLLMを使ったAIとの会話を試みた。AIごとにデータ量や対応言語が異なるため、会話をした際の返答内容や返答までの時間・口調などが違ってくる。そこで人間の友達のような自然な会話ができることに重点を置き、いくつかのローカルLLMを試してみて、食事中の話し相手にふさわしいAIを選択した。さらにVOICEVOXという音声合成ソフトを用いて、AIが生成した文章を読み上げるシステムを構築した。このシステムによって、AIとお互いに音声で会話ができるようになった。
中間発表の時点では会話が1回きりで終わってしまっていたが、現在は会話のキャッチボールができるようになっている。より会話が盛り上がって食事が楽しくなるようにローカルLLMを変えたり、AIのキャラ設定を行って返答の仕方を変えたりするなどの調整を行い、人間のようにスムーズな会話のキャッチボールができることを目標として「メシ友AI」制作に取り組んでいる。そして自分のことを良く知っているメシ友になるように、AIにわたし自身の情報を学習させて最終目標を達成したいと考えている。
ChatGPTをはじめとする対話型AIが人と会話できるのは、膨大な文章や言葉をAIに学習させてできた大規模言語モデル<LLM>の成果である。対話型AIのサービスが始まった当初はLLMのデータを一般のパソコンに乗せることができなかったが、最近ではLLMの簡易版を個人所有のパソコンで運用できるようになっている。自分のパソコン内のAIであれば、盗聴や個人情報収取の危険性が低く、プライベートなことでも話しやすいと考えた。なおLLMの簡易版のことを、以下ではローカルLLMと呼ぶことにする。ローカルLLMには学習量の異なるものがいくつかあり、ダウンロードして使用することができる。また、ファインチューニングと呼ばれる技術でLLMに新たなデータを学習させたり、ユーザー好みの返答をするように調整したりすることも可能となっている。
本研究では「メシ友AI」を制作するために、まずローカルLLMの管理や利用が容易になるJanというソフトを使って数種類のLLMをダウンロードし、それぞれのLLMを使ったAIとの会話を試みた。AIごとにデータ量や対応言語が異なるため、会話をした際の返答内容や返答までの時間・口調などが違ってくる。そこで人間の友達のような自然な会話ができることに重点を置き、いくつかのローカルLLMを試してみて、食事中の話し相手にふさわしいAIを選択した。さらにVOICEVOXという音声合成ソフトを用いて、AIが生成した文章を読み上げるシステムを構築した。このシステムによって、AIとお互いに音声で会話ができるようになった。
中間発表の時点では会話が1回きりで終わってしまっていたが、現在は会話のキャッチボールができるようになっている。より会話が盛り上がって食事が楽しくなるようにローカルLLMを変えたり、AIのキャラ設定を行って返答の仕方を変えたりするなどの調整を行い、人間のようにスムーズな会話のキャッチボールができることを目標として「メシ友AI」制作に取り組んでいる。そして自分のことを良く知っているメシ友になるように、AIにわたし自身の情報を学習させて最終目標を達成したいと考えている。
AITuberを通じて学ぶ情報発信と表現
私はアニメやゲームなどに幼少期から触れており、VTuberの配信文化に興味があった。VTuberは動きや声を演じる現実の人間、通称「中の人」が存在する。一方、AITuberは中の人を持たず、AIが自動的に会話を行う。この仕組みこそが、AITuberの大きな特徴であり、私が惹かれた点だ。最近ではAITuberによる配信もでてきていると知り、AIそのものやプログラミングなどをよく知りたいと思っていた。そんな中、PythonプログラムでAITuberの配信ができることを知り、プログラミングは今まで触れたことがなかったが、AITuberの配信を目指して勉強することにした。
AITuberの作り方を解説した書籍に従って、自分のPCに配信環境とキャラクター、各種設定を行い配信環境の構築を行なった。AITuberが実際に視聴者とリアルタイムで会話するためには、主に4つのステップを踏んで処理を行う。最初にYouTubeのライブ配信中に投稿されたコメントを取得。プログラムが自動的に一定間隔で、YouTubeのコメント欄を読み取り、そこに新しいコメントがあれば、検出して次の処理へと送る。次に、先ほどのコメントをもとに、OpenAI APIを通じて、AIがそれに対する返答を自動的に作成。AIから返ってくる返答は、最初は文字データの状態。これをそのまま画面に表示するだけでは、「キャラクターが話している」と感じさせることはできない。テキストを音声に変換し、キャラクターが実際に喋っているように見せる必要がある。音声変換には、「VOICEVOX」というテキスト読み上げソフトウェアを使用。起動中にプログラムから指定したURLを通じてテキスト情報を送ることで、自動的に音声を生成して読み上げ、喋っているように見せる。最後に、生成された返答テキストと、VOICEVOXで作成した音声データをOBSに渡し、画面上には返答をテキストで表示しつつ、キャラクターにしゃべってもらう形でYouTubeに配信を行なった。
オリジナルの配信画面、キャラクターを制作し、コメントに応じてキャラクターの表情を変化させるシステムを制作している。
AITuberの作り方を解説した書籍に従って、自分のPCに配信環境とキャラクター、各種設定を行い配信環境の構築を行なった。AITuberが実際に視聴者とリアルタイムで会話するためには、主に4つのステップを踏んで処理を行う。最初にYouTubeのライブ配信中に投稿されたコメントを取得。プログラムが自動的に一定間隔で、YouTubeのコメント欄を読み取り、そこに新しいコメントがあれば、検出して次の処理へと送る。次に、先ほどのコメントをもとに、OpenAI APIを通じて、AIがそれに対する返答を自動的に作成。AIから返ってくる返答は、最初は文字データの状態。これをそのまま画面に表示するだけでは、「キャラクターが話している」と感じさせることはできない。テキストを音声に変換し、キャラクターが実際に喋っているように見せる必要がある。音声変換には、「VOICEVOX」というテキスト読み上げソフトウェアを使用。起動中にプログラムから指定したURLを通じてテキスト情報を送ることで、自動的に音声を生成して読み上げ、喋っているように見せる。最後に、生成された返答テキストと、VOICEVOXで作成した音声データをOBSに渡し、画面上には返答をテキストで表示しつつ、キャラクターにしゃべってもらう形でYouTubeに配信を行なった。
オリジナルの配信画面、キャラクターを制作し、コメントに応じてキャラクターの表情を変化させるシステムを制作している。
AITuberの魅力
~ファッションの視点から~
ゼミに所属してAIのことを学んでいくうちに、視聴者からのコメントにAIが応答しながら動画配信を行うAITuberの存在を知った。そこでどのようなVTuberやAITuberがいるのか調べたところ、個性的な衣装やかわいいアクセサリーを身に纏った多くの魅力的なキャラクターが動画投稿やライブ配信を行っていることが分かり、ファッションに興味のあった私はもっと詳しく知りたいと思った。このことをきっかけにAITuberの存在や魅力をファッションの視点から広めていきたいと考え、卒業研究のテーマとした。今はまだAITuberは少ないが、これからはVTuberのファッションの魅力を残しつつ、自動応答ができるAITuberも増えていくと考える。
VTuberは2016年の「キズナアイ」が始まりであり、今では多くのVTuberを生み出している「にじさんじ」や「ホロライブ」というグループがある。そこで中間発表では「にじさんじ」と「ホロライブ」のキャラクターの違いを、人間によるファッションの視点からの比較と、AIによる画像分類の方法で比較した結果を報告した。まず、人間によるファッションの比較からは、「にじさんじ」では制服衣装や髪の装飾品や小物が多いことや妖精や魔法使い、騎士などいったファンタジーな衣装が特徴として挙げられることが分かった。一方「ホロライブ」ではリボンやフリル、小物などのデザインが繊細で、衣装の色が鮮やかなことが分かった。また、和装や動物の尻尾や耳などを付けた装飾が多いことも特徴だった。AIによる画像分類の方法からは、機械学習によってどちらのグループに属するキャラクターなのかを見分けさせることが可能であることが分かった。
今回、メタバース空間におけるアバターの選択傾向について調べたところ、女性アバターの利用が約8割で動物の耳や尻尾、羽などファンタジー要素を持つ非人間型アバターが好まれる傾向だと分かり、これらの傾向はVTuberやAITuberのキャラクターのファッションと通じており、共通点が見つけられた。さらに、箱庭着せ替えゲーム「リヴリーアイランド」における「にじさんじ」とのコラボレーションから、VTuberやAITuberのファッションの魅力がキャラクターの人気に寄与しているのではないかと考えた。本発表では「にじさんじ」と「ホロライブ」のグループの特徴をさらに別の角度から調査した結果を報告する。本研究がVTuberやAITuberを楽しむきっかけのひとつになれば嬉しく思う。
VTuberは2016年の「キズナアイ」が始まりであり、今では多くのVTuberを生み出している「にじさんじ」や「ホロライブ」というグループがある。そこで中間発表では「にじさんじ」と「ホロライブ」のキャラクターの違いを、人間によるファッションの視点からの比較と、AIによる画像分類の方法で比較した結果を報告した。まず、人間によるファッションの比較からは、「にじさんじ」では制服衣装や髪の装飾品や小物が多いことや妖精や魔法使い、騎士などいったファンタジーな衣装が特徴として挙げられることが分かった。一方「ホロライブ」ではリボンやフリル、小物などのデザインが繊細で、衣装の色が鮮やかなことが分かった。また、和装や動物の尻尾や耳などを付けた装飾が多いことも特徴だった。AIによる画像分類の方法からは、機械学習によってどちらのグループに属するキャラクターなのかを見分けさせることが可能であることが分かった。
今回、メタバース空間におけるアバターの選択傾向について調べたところ、女性アバターの利用が約8割で動物の耳や尻尾、羽などファンタジー要素を持つ非人間型アバターが好まれる傾向だと分かり、これらの傾向はVTuberやAITuberのキャラクターのファッションと通じており、共通点が見つけられた。さらに、箱庭着せ替えゲーム「リヴリーアイランド」における「にじさんじ」とのコラボレーションから、VTuberやAITuberのファッションの魅力がキャラクターの人気に寄与しているのではないかと考えた。本発表では「にじさんじ」と「ホロライブ」のグループの特徴をさらに別の角度から調査した結果を報告する。本研究がVTuberやAITuberを楽しむきっかけのひとつになれば嬉しく思う。
アニメキャラクターの性格と好物の関係について
皆さんは「スイーツが好きな男性」と聞いてどんな方を思い浮かべますか?推しや身近にいる友人など、さまざまな人を思い浮かべると思います。私は声優さんを好きになったことがきっかけでアニメを観るようになり、「マッシュル」という作品に出会いました。その作品の主人公はシュークリームが大好きで、おっとりした性格なのにとても力強いという設定で、そのギャップに衝撃を受けました。そこから、アニメキャラクターの好物と性格には関係があるのか気になるようになり、キャラクターの性格から私たちが思い描くイメージと好物との関係を、データサイエンスを使って調べました。
まず、男性のアニメキャラクターの性格と好物の関係についてアンケート調査を行いました。アンケートでは、スイーツ好き、ラーメン好き、焼肉好き、オムライス好き、パン好きのそれぞれのキャラクターのイメージを「ケンカが強いかどうか」「勉強ができそうかどうか」「明るいかどうか」「親切かどうか」「友だちが多いか少ないか」の5つの属性の当てはまり具合を5段階で、「大人っぽいか子供っぽいか」を3段階で回答してもらい、45名から回答を得ました。アンケート結果をコレスポンデンス分析した結果、スイーツ好きのキャラクターは親切なイメージと関係していることが分かりました。
次にこの関係が、アンケートの回答の際に焼肉やオムライスなどの他の好物との比較の影響を受けていないことを確かめるために、キャラクターの好物をサラダ好き、ハンバーガー好き、スイーツ好き、パスタ好き、パン好きに変え、最初のアンケートを行った集団とは別の集団を対象に再度アンケートを実施しました。アンケートは64名と43名の2つの集団に対して行いましたが、どちらの集団においてもやはりスイーツ好きと親切が関係しているという結果が得られたため、アニメ作品の読み手や視聴者は「スイーツ好きの男性キャラクターに対して親切なイメージを抱いている」と結論付けました。
この結果を受けて、アニメ作品に登場するスイーツ好きのキャラクターを考察してみたところ、マッシュルのマッシュや呪術廻戦の五条悟などは確かに「親切」という一面を持っているためイメージ通りであるとも思いましたが、マッシュは「親切」とは少し違う一面もあると感じていて今回の結果はしっくりこないため、もっとぴったりと当てはまる属性を探しています。
まず、男性のアニメキャラクターの性格と好物の関係についてアンケート調査を行いました。アンケートでは、スイーツ好き、ラーメン好き、焼肉好き、オムライス好き、パン好きのそれぞれのキャラクターのイメージを「ケンカが強いかどうか」「勉強ができそうかどうか」「明るいかどうか」「親切かどうか」「友だちが多いか少ないか」の5つの属性の当てはまり具合を5段階で、「大人っぽいか子供っぽいか」を3段階で回答してもらい、45名から回答を得ました。アンケート結果をコレスポンデンス分析した結果、スイーツ好きのキャラクターは親切なイメージと関係していることが分かりました。
次にこの関係が、アンケートの回答の際に焼肉やオムライスなどの他の好物との比較の影響を受けていないことを確かめるために、キャラクターの好物をサラダ好き、ハンバーガー好き、スイーツ好き、パスタ好き、パン好きに変え、最初のアンケートを行った集団とは別の集団を対象に再度アンケートを実施しました。アンケートは64名と43名の2つの集団に対して行いましたが、どちらの集団においてもやはりスイーツ好きと親切が関係しているという結果が得られたため、アニメ作品の読み手や視聴者は「スイーツ好きの男性キャラクターに対して親切なイメージを抱いている」と結論付けました。
この結果を受けて、アニメ作品に登場するスイーツ好きのキャラクターを考察してみたところ、マッシュルのマッシュや呪術廻戦の五条悟などは確かに「親切」という一面を持っているためイメージ通りであるとも思いましたが、マッシュは「親切」とは少し違う一面もあると感じていて今回の結果はしっくりこないため、もっとぴったりと当てはまる属性を探しています。