HSR 社会実装の実証実験

飲食店舗でのHSR社会実装に向けた研究開発と実証実験

HSR(トヨタ自動車製 Human Support Robot)を用い、「'Loom」(株式会社セラム・グループ、相模原市中央区)のご協力のもと、「飲食店を想定したアプリケーション」の研究開発を実施しました。実証実験は、テイクアウト専門の飲食店において、HSRがお客様への案内、および会計、商品の受け渡しを行うという内容です。

研究成果とねらい

コロナ禍であるということから、極力スタッフとお客様の接触を減らすこと、およびHSRの接客中にスタッフが別の作業を可能とすることを目指したアプリケーションを開発しました。

動作フロー

図の赤い線がお客様の移動ルートとなります。お客様は入口より入店後、1~9のイベントを経て出口から退出します。
HSR社会実装の実証実験画像
  • STEP1
    お客様の入店
    • HSRは入口付近で動体検知を行っており、検知した場合は、入店したお客様に対して音声での挨拶および、注文方法について案内を行います。
    お客様入店
  • STEP2
    注文
    • お客様はオーダー用タブレットを使用して注文入力を行います。
    注文
  • STEP3
    受付番号の登録
    • HSRはお客様に受付番号札を見せるように音声で案内をするので、お客様はテーブルから受付番号札を1枚取得し、HSRにスキャンさせます。 ここで登録した受付番号は、商品受け渡しの際の呼び出しおよび本人確認に使用します。
    受付番号の登録
  • STEP4
    会計
    • お客様がオーダー用タブレットに入力した支払い方法に従い、HSRが会計の案内を行います。 現金の場合は腕を伸ばし、腕に備え付けたトレーにお金を乗せるように指示し、電子マネーの場合はテーブル備え付けのキャッシュレス端末で支払うように指示を行います。 支払いが完了すると、HSRは受け取ったお金をレジまで運び、スタッフからお釣り・レシートを受け取りののち、再度お客様の元へと移動しそれを渡します。
    会計1 会計2 会計3
  • STEP5
    商品を待つ
    • お客様は商品ができあがるまで、店内で待機する。
  • STEP6
    商品完成
    • 商品が完成し、スタッフがスタッフ用タブレットを操作すると、HSRはレジ付近へと商品を受け取りにやってきます。 HSRのハンドが開くので、スタッフは商品をハンドに装着します。
    商品完成
  • STEP7
    受付番号の確認
    • HSRは商品を渡すポイントへ移動し、音声による受付番号の呼び出しと、受付番号札を見せるように指示します。 お客様はそれを聞いてHSRに受付番号札を見せます。
    受付番号の確認
  • STEP8
    商品の受け渡し
    • HSRは商品をお客様の前へ持っていき、受け取るように指示します。 このときHSRは力覚センサーによるチェックをしており、商品が外されたことが分かると、「ありがとうございました。」と挨拶を述べ、商品受け渡しを完了とします。
    商品の受け渡し
  • STEP9
    受付番号札の破棄
    • お客様は出口付近にある回収ボックスに、受付番号札を入れて退店します。

実証実験のようす

機器構成

HSR社会実装の実証実験画像

以下の機器でネットワークを構成し、システムを作成。ネットワーク構成と、各機器の役割について記載します。

①ルーター 一般的な有線・無線に対応したルーター。店内裏のお客様から見えない場所で運用する。
②制御用PC HSRをSSHで操作するためのPC。店内裏のお客様から見えない場所で運用する。
③スタッフ用タブレット 後述のスタッフ用プログラムを動作させるためのタブレット。レジに配置し、スタッフはロボットの状態および店内のお客様の状態を一覧することができる。また、HSRがスタッフのレスポンスを待つ際の操作窓口となる。本機器はデータベースサーバーとして稼働させ、他の機器は本機器のデ ータベースへの問い合わせを行う。
④オーダー用タブレット 後述のオーダー用プログラムを動作させるためのタブレット。店内入口に配置し、お客様が本機器を使用して注文を行う。また、会計完了まで、HSRがお客様のレスポンスを待つ際の操作窓口となる。
⑤HSR お客様入店時の案内、会計、商品の受け渡しを行う。

受付番号札

受付番号は人間向けに番号を記載し、HSR向けにARマーカーを配置しました。
HSR社会実装の実証実験画像

HSRの移動について

店内の移動先に予めARマーカーを配置しておき、それをHSRに認識させることで、3D空間上に移動先の登録を行います。(例えば、ARマーカー正面の左40cm、手前50cmを待機ポイントとして登録など。)
HSRを移動させる際には上記で登録したポイントに移動するように指示を行います。なお、HSRを動作させ続けると徐々に座標ズレが発生するため、腕で視界を塞がないように移動しながらARマーカーをカメラで捉え、こまめに座標の修正を行うようにしました。

登録ポイントの一覧

HSR社会実装の実証実験画像

店内の配置図

HSR社会実装の実証実験画像

タブレット搭載プログラム

スタッフ用プログラム

店内のお客様が一覧表示され、画面上部にHSRが今何をしているのか表示を行います。商品ができあがった場合など、スタッフからHSRにアクションが必要な場合は、画面上のお客様をタッチすることで指示を出すことが可能です。
HSR社会実装の実証実験画像

オーダー用プログラム

メニューから注文する商品を選択、支払い方法の選択を行い、会計完了までのHSRとの操作窓口となります。
①商品選択画面
HSR社会実装の実証実験画像
②支払い方法の選択画面
HSR社会実装の実証実験画像
③HSRに対して、お金を渡したことを伝える画面
HSR社会実装の実証実験画像
④HSRに対して、お釣り・レシートを受け取ったことを伝える画面
HSR社会実装の実証実験画像
⑤注文の完了画面
HSR社会実装の実証実験画像

弊社の取り組みにご興味ございましたら、ぜひお問い合わせください!