Paragon Project: Deep Learning Work Assistant
Jeśli chodzi o produktywność, majsterkowicze wykorzystują mikroprocesory i mikrokontrolery na różne sposoby.
Jednak ten asystent głębokiego uczenia się znajduje się na szczycie listy jako jeden z najbardziej kreatywnych projektów, jakie widzieliśmy od dłuższego czasu!
Ten projekt, opracowany przez Benjamina z WIZnet MakersRobi zdjęcia co 5 sekund, a następnie odczytuje je za pomocą sztucznej inteligencji, aby rozpoznać wzorce pracy.
Benjamin wytrenował model, aby rozpoznawał niektóre z wielu sytuacji, z którymi wszyscy mamy do czynienia podczas pracy. Rozpoznaje, kiedy czujesz się normalnie lub jesteś senny, a także czy ziewasz. Co ważniejsze, skanując twarz, może stwierdzić, czy jesteś rozproszony, a nawet czy korzystasz z telefonu komórkowego.
Dzięki tym wszystkim informacjom będziesz w stanie określić, jak bardzo jesteś produktywny!
Hardware
Jeśli chodzi o Hardware, Benjamin wybrał zmodyfikowany klon Raspberry Pi Pico wydany przez WIZnet wraz z Arducam.
W razie potrzeby można jednak użyć standardowego Raspberry Pi Pico z inną kamerą.
Co więcej, w zależności od tego, jak szybko chcesz to zrobić, możesz rozważyć sprawdzenie, co to jest Google Coral może zrobić w tym wyścigu z prędkością błyskawicy!
Jednak mikrokontroler i kamera z pewnością wystarczą do stworzenia przynajmniej zmodyfikowanej formy tego projektu.
Z mojego doświadczenia wynika, że to właśnie sprawia, że coś takiego jest tak ekscytujące: mieszanie i dopasowywanie sprzętu może często prowadzić do nowych rezultatów i projektów!
Oprogramowanie
Opierając się na CircuitPython, Benjamin był na tyle uprzejmy, że opublikował kod tego projektu na stronie GitHub. Po zainstalowaniu tego kodu na Pico wszystko powinno działać.
Kod opiera się na modelu nano aplikacji Ultralytics YOLOv8który jest "modelem wykrywania obiektów i segmentacji obrazu w czasie rzeczywistym". Jeśli jesteś zainteresowany bardziej ogólną strukturą modelu YOLOv8, możesz ją znaleźć tutaj.
Tymczasem, jeśli chcesz dowiedzieć się więcej na temat głębokiego uczenia, mój kolega Nathan napisał świetny post na ten temat tutaj.
W nano modelu YOLOv8 Benjamin uruchamia wszystko za pomocą aplikacji Flask, aby wypluwać informacje w czasie rzeczywistym, śledząc czyjś przepływ pracy.
Wypróbuj sam i sprawdź, czy potrafisz zidentyfikować własne wzorce pracy!
Przynajmniej ten asystent głębokiego uczenia pomoże odpowiedzieć na moje odwieczne pytanie: Ile razy ziewam przed trzecią filiżanką kawy?
Możesz znaleźć więcej projektów Paragon tutaj.
Co byś zrobił z takim asystentem?