会計の自動化により「行列のできない学食」を実現！

会計の自動化により「行列のできない学食」を実現！

身近な課題を培ってきた画像認識で解決したい

私が日々利用している東北大学の学食で感じたのは、とにかく長い列。

授業の合間に利用するため、多くの学生や教職員が一斉に押し寄せ、食事を始めるまでに20〜30分もの時間がかかることもあります。そんな時間をもっと有効に使えたら……と日々感じていました。

同じ問題を感じていた仲間たちとチームを組み、具体的な課題の調査を行いました。

利用者に話を聞くと、東北大学の学食は東北地方で最も混雑する食堂の一つであり、特にピークタイムには食事をするまでにかなりの待ち時間が発生しています。

さらに、大学生協のスタッフの方々にもお話を伺ったところ、彼らもこの混雑が大きな負担となっていることが分かりました。多忙な時間帯にはレジでのミスが発生しやすく、逆に利用者が少ない時間帯でもスタッフが常駐しなければならないという課題がありました。

このような問題を解決するために、私たちは画像認識技術を活かしてトレーに載っている料理を自動で認識し、会計を自動化するシステムの開発を始めました。

これにより、利用者はレジの長い列に並ぶことなくスムーズに食事を楽しめ、スタッフの負担も軽減されるはずです。

私はこれまで画像認識を使って様々な取り組みをしてきました。

学部時代はさくらんぼ収穫ロボットの開発に携わり、さくらんぼを認識するために古典的な画像処理と最新のAI技術を組み合わせた研究をしていました。

この経験を通じて、物体認識技術の可能性を感じ、さらにその実力を証明する機会として、SONY主催のSensing Solution 2023ハッカソンに参加しました。チームリーダーとして取り組んだプロダクトは、画像処理技術を駆使したもので、その実用性が高く評価され、見事最優秀賞を受賞しました。

この成功を通して、私は技術がただコンテストでの成果を出すだけでなく、私たちの日常生活にあるリアルな課題を解決する力があると確信しました。

私たちはこのプロジェクトが、学食の利用者と運営スタッフの双方にとって、より快適で効率的な環境を提供できると信じています。


 

画像認識で実現する『行列のできない学食』

本プロジェクトは『行列のない学食』を実現することを目指します。

画像認識を用いた自動会計システムを複数導入し、学食利用者の待ち時間を短縮し、待機時間を大幅に減らします。成果は、ピーク時の待ち時間の平均減少率で測定されます。

キッチンテラスCouleur(クルール)では、1日約1000人が利用し、ピーク時には約20分並ぶ必要がありますが、これを5分に短縮することを目指します。会計自動化システムにより、ピーク時でもスムーズな会計が可能になります。

次に、学食スタッフの負担軽減も図ります。

会計自動化システムにより、従業員は会計業務から解放され、他のタスクに集中することができるようになり、人的・金銭的なコストを他のサービス向上につなげることができます。目標として、混雑時の会計スタッフを現在の3人から1人に減らすことを目指します。

この学食環境を実現するために、私たちは画像認識技術を使った会計自動化システムを開発しています。このシステムでは、トレーに載った料理をカメラで瞬時に認識し、自動で合計金額を計算します。

まず、学食にカメラを設置してトレーの画像を集め、その中から1つの料理当たり約200枚の画像にラベルを付けてデータを作ります。約2500個の料理データをもとに、カメラがトレー上の料理をリアルタイムで認識し、その情報をBluetoothで既存のセルフレジ「ユビレジ」に送信することで、会計を自動化します。

このシステムの完成後は、スマートフォンで会計を完結させる仕組みも開発予定です。

利用者が料理を受け取った後、自分の席でスマホを使って料理を撮影し、その場で決済ができるようになります。

これにより、レジが不要になり、行列のない学食からレジのない学食へと進化させることが可能です。レジスペースや人件費の削減にも繋がり、学食環境を画像認識技術で革新することを目指しています。


 

自家製カレーとシーフードカレー、AIなら0.3秒で見分けられます

これまでに、学食関係者へのヒアリングや、会計自動化システムを導入しているパン屋の訪問などを通じて、現場で直面している課題や会計業務の効率化に関する知見を得ることができました。

また、学食関係者の協力を得て、料理画像データの収集を行い、画像認識モデルの学習や、簡単なデモアプリの作成を進めています。

このデモアプリでは、人間でも見分けが難しい自家製カレーとシーフードカレーを正確に識別することに成功し、システムの実現性と有用性を確認できました。

今後は、さらなる精度向上とユーザーフレンドリーな設計を目指し、本格的な開発を進めていきます。精度向上に関しては、より多くのデータを収集・学習させ、モデルを洗練させます。

また、東北大学内の高度な画像処理技術を持つ研究室を訪問し、技術的なアドバイスを得ることで、システムをさらに向上させる予定です。

使いやすさの面では、お客様がストレスなく利用できる自動レジ端末や、学食スタッフが新商品を簡単に追加できるユーザーインターフェースの開発を進め、現場での業務効率を大幅に向上させるシステムを目指します。

プロジェクトが順調に進めば、今秋中にプロトタイプを完成させ、現場でのテストを実施する予定です。現場でのフィードバックをもとにさらなる改良を重ね、来春には製品版を完成させることを目指しています。

クラウドファンディングでご支援いただいた資金は、画像処理技術やシステム実装に必要なソフトウェア、機械学習モデルの実行環境、そして利用者が操作するためのハードウェアの購入に充てられます。


 

東北大学の食堂から社会問題に取り組む

私たちは、まず東北大学川内キャンパスのキッチンテラスCouleur(クルール)で会計自動化システムを完成させます。

その後、東北大学内の他の学食にとどまらず他大学にも自動化システムを導入することで、全国の大学の学食に関する課題にアプローチします。

また、画像データを蓄積した学食の認識に特化したモデルをクラウドと連携させることで、スマートフォンから会計を行うアプリの開発が可能になります。利用者は料理をレジを通さずに自分の席まで運び、自身のスマートフォンで料理を撮影することで、その場で会計を完了することができます。

さらに、画像認識による会計自動化システムは、パン屋やアラカルト式の飲食店など、同様の会計スタイルを持つ商業施設にも応用可能です。自動化により顧客の待ち時間を短縮することによるサービス向上や、飲食店の人手不足といった課題にアプローチすることができます。

このように、『行列のできない学食』の実現は、大学や商業施設の日常運営に限定された課題の解決だけでなく、人手不足といった社会問題にも効果的にアプローチすることができます。



 

プロジェクトメンバーに関する情報

メンバー

藤森啓司
村元貴哉
和泉慶乃佑
町田英一
只野竣也
藤原歩
稲川雅也



 

団体紹介

　私たちは画像認識に関するスキルを持っており、さらにそれを活かして様々なプロダクトを作成してきました。開発力を持つメンバーに加え、私自身過去ハッカソンで優勝した経験がありチームで何かを成し遂げる力があると自負しています。
 

スキル

• OpenCVによる基礎的な画像処理
• YOLACT++と呼ばれるインスタンス・セグメンテーションによるリアルタイムの物体認識と位置情報の取得
• GPTによるマルチモーダルな画像処理
• YOLOv8による高精度な人のカウント

これまで作製したプロダクト

• さくらんぼ収穫ロボットの認識システムや指定した物体を把持するロボットアームの物体認識
• 普通の体重計をIoTデバイスにする画像認識モジュール
• プロンプトで入力した物体を画像で認識してロボットアームでつかむ
• 学食の混雑状況の可視化アプリの作成・実証実験

また、私たちは技術力だけでなく、現場の課題を深く理解する力も持っています。

学食の利用者としての視点を持ちつつ、学食スタッフへのヒアリングによる現場の課題調査を積極的に行うことで、その運営における問題点や改善が必要な部分を詳しく把握しています。

専門的な知識・経験を活かした独自の視点により『行列のできない学食』を実現します。

寄附特典

個人の方へ

ご支援いただいた方の中でご希望される方は、NFCタグを埋め込んだ「文字キーホルダー」をプレゼントさせていただきたいと思います。お好きな文字をお申し付けください。

このオリジナル返礼品には、本プロジェクトへ愛着と想いが込められています。

当初はNFCタグを使用し、学食の会計を自動化することを目指しておりました。食器の下にNFCタグを装着し、スムーズな会計処理を行おうとしたのですが、食器の数が多すぎたため、やむを得ずこの方法を断念し、別のアプローチを採用することとなりました。

チーム一丸となり、試行錯誤しながら本プロジェクトをつくりあげてきました。

このアイデアにも深い愛着があったため、今回NFCタグを利用したキーホルダーを返礼品として活用する形にいたしました。
 

5,000円のご寄附

以下の内容でご注文いただけます。

フォント：MSゴシック、HGS創英角ポップ体、HGS行書体、HGP明朝E
選択文字：漢字・ひらがな・カタカナ一文字、アルファベット3文字まで
デザイン：白地に黒
そのほか：HGS創英角ポップ体の場合画数が多い感じだと文字がつぶれる場合があります。
 

10,000円のご寄附

フォント：MSゴシック、HGS創英角ポップ体、HGS行書体、HGP明朝E
選択文字：漢字・ひらがな・カタカナ一文字、アルファベット3文字まで
デザイン：白・黒・赤・緑・青から選択
そのほか：HGS創英角ポップ体の場合画数が多い感じだと文字がつぶれる場合があります。

30,000円以上のご寄附

フォント：MSゴシック、HGS創英角ポップ体、HGS行書体、HGP明朝E
選択文字：カスタムメイドします
デザイン：白・黒・赤・緑・青から選択
そのほか：HGS創英角ポップ体の場合画数が多い感じだと文字がつぶれる場合があります。
 

HGS創英角ポップ体

HGP明朝E

HGS行書体

HGS創英角ポップ体

複数文字にも対応

色も指定可能

簡単なマークも可能

NFCタグは、専用アプリケーションを使って、URLなどを埋め込むことができます。

参考動画はこちらから。

ご寄附の方法

【個人の方】

クレジットカード・銀行振込・コンビニ決済・郵便振替をご利用いただけます。
ページ内にある「寄附をする」ボタンをクリックしていただき、お手続きをお願いいたします。
※ コンビニ決済ではお申込みいただく店舗によって、上限金額が変わります。詳細は以下をご確認ください。

＜コンビニ決済上限金額＞

　セブンイレブン、デイリーヤマザキ：49,000円以内

　それ以外のコンビニエンスストア：299,000円以内

【法人・団体の方】

2023年2月より法人・団体様からのお申込も可能となりました。

お申込は専用申込書（銀行振込によるお手続き）をご提出いただいておりましたが、申込書の提出方法に加え、WEBお申込フォームからもお申込みいただけるようになりました。
WEBお申込みフォームでは、各種支払方法もご用意しております。

お申込方法については以下をご確認ください。

【WEBによるお申込み】

WEBお申込ページにアクセス

https://www.kikin.tohoku.ac.jp/tohoku/entry.php?fmMode=donationForm

　↓

「申込者区分」の「法人・団体」にチェック

　↓

「寄附の目的」をリストから選択

　↓

「寄附の金額」を入力

なお、入力できる金額の上限は以下となります。

＜上限金額＞

・クレジットカード決済：9,999,000円以内

・コンビニ決済：

　セブンイレブン、デイリーヤマザキ：49,000円以内

　それ以外のコンビニエンスストア：299,000円以内

・銀行振込：99,999,000円以内

※上記金額を超える場合は、以下の寄附予定書（専用申込書：銀行振込）によるお申込みとなります。
 

【寄附予定書（専用申込書：銀行振込）によるお申込み】

寄附予定書をダウンロードいただき、必要事項をご記入のうえ、FAXまたは郵送にて、東北大学基金までお送りください。

ダウンロードページへ

【Amazon Payによるお申込み】

Amazon Payからのご寄附はこちら▽

領収書あり・返礼品あり・1,000円〜のご寄附

領収書なし・返礼品なし・100円〜のご寄附

①Amazonアカウントがあれば、面倒な情報の入力が不要に！

②領収書不要の場合は、より簡単にお手続きできます。

③100円からのご寄附が可能に（領収書なし・返礼品なしの場合のみ）
　Amazon Payご利用で領収書不要の場合は100円からご支援いただけます。

　※少額でご支援いただけるのはAmazon Payでのご利用のみです。

なお、Amazon Payでご寄附いただいた場合も、税制上の優遇措置を受けることができます。
（ただし、領収書発行の場合のみ）

詳細はこちら▷https://www.kikin.tohoku.ac.jp/news/news_detail/view_express_entity/53

※ページ上部の寄附総額は、申し込み完了後、翌営業日以降に反映されます。