ハッカデイ賞 2023: EyeBREAK は画期的な可能性がある

脳卒中やその他の衰弱性疾患を患っている人にとって、まぶたの制御は、最後に残された運動機能の 1 つになる可能性があります。 テレビのインタビューでモールス信号で瞬きした [ジェレマイア デントン] に触発され、[MBW] は瞬きを言葉に解読する ESP32 ベースのデバイスを設計しました。

ESP32 はキーボードをシミュレートするための Bluetooth を提供し、消費電力は比較的低いですが、制約された環境で 20 フレーム/秒で適切なまばたき検出システムを実行するのは困難です。 以前の試みでは、顔のランドマークを使用して、目が開いているか閉じているかを比率に基づいて判断しようとしていました。 XGBoost 分類器と組み合わせたカスケード検出器は優れたパフォーマンスを提供しましたが、目が中心にない場合は困難でした。 最終的には、TensorFlow Lite の 50×50 の 4 層 CNN がカメラ フレームを処理し、目が開いていても閉じていても 1 つの出力を生成します。 デバッグ目的で、OpenCV 経由で注釈を付けたカメラ フレームを Wi-Fi 経由でストリーミングしますが、OpenCV を ESP32 用にコンパイルすることも簡単ではありませんでした。

[MBW] は、MRL データセットを使用してモデルをトレーニングし、次に int8 に量子化しました。 Bluetooth と Wi-Fi スタックを同時に実行するのは、RAM の管理と同様に少し面倒でした。 SRAM と IRAM を使い果たした後、[MBW] は PRAM に移動する必要がありました。 システム全体が軽量のゴーグルに組み込まれており、かなり快適な体験を実現します。

TensorFlow とマイクロコントローラーは少し奇妙な組み合わせのように思えるかもしれませんが、結局のところ、推論エンジンはいくつかの重みを持つ入力の配列に対して何らかの計算を行っているだけです。 Commodore 64 で TensorFlow Lite を使用していることさえ確認しました。[ジェリマイア・デントン提督] についてご存知ない場合は、私たちがそれについて少し説明します。