【新機能】音声解析機能

ARカメラを作るSpark AR StudioがV89にアップデートされ、BGM機能、音声解析機能、メディアギャラリー機能が追加されました。
メディアギャラリー機能は二ヶ月ほど前からベータテストされており、ベータテスターはすでに公開できていたので、そちらの記事をご覧ください。
BGM機能も追加されましたが、それについてはその記事をご覧ください。

音声解析機能は8つの周波数や音量を取得しそれに合わせてエフェクトを変えることができます。
上記の音楽を入れる機能で音楽を解析して自分の顔がイコライザーになるエフェクトと、空間が歪むエフェクトを作ってみたのでお試しください。

この機能は昨年Facebookにインドに招待され参加したハッカソンで使用しました。
ハッカソンでは高音でしか倒せない敵と低音でしか倒せない敵が四方八方から登場するので、その方向を向いて声を発して敵を倒すというゲームを作りました。動画があるのでご覧ください。

この機能にも注意点があります。

• 動画録画時しか音声解析機能が使えない
  1つ前の記事で書いた任意の曲を追加するBGM機能や、事前にエフェクトに組み込んだBGMの場合は録画時でなくても音の解析機能は使えますが、マイクから入力した音を解析する場合は録画時にしか解析できません。
  しゃべることで何かアクションが起きるようなエフェクトの場合、ユーザーからすると録画時でないと何もおきず混乱してしまうのが致命的です。
  これは昨年のハッカソンからそのような仕様だったのでリリース時には修正されると思っいてたんですが、残念ながらそのままでした。
• 写真撮影時はマイクからの音声解析できない
  上でも書いたように動画録画時にしか解析できないので、写真だと音声が取得できずエフェクトがかけることはできません。
  マイク入力ではなく、エフェクトに音声が組み込まれていたり、ひとつ前の記事で書いたBGM機能で音声を入れている場合は写真撮影時も解析はされています。
  動画撮影時じゃなくても音声解析できるようにならないとこの点はどうしようもなさそうです。

12月のハッカソン時使えた機能で導入されていない機能はまだいくつかあるので、今後導入されるのに期待して待ちたいと思います。