Paragon Project: Deep Learning-werkassistent
Op het gebied van productiviteit hebben knutselaars op verschillende manieren gebruik gemaakt van microprocessors en microcontrollers.
Deze deep learning-werkassistent staat echter bovenaan de lijst als een van de meest creatieve projecten die we in lange tijd hebben gezien!
Dit project, ontwikkeld door Benjamin bij WIZnet Makersneemt elke 5 seconden foto's en leest ze vervolgens door AI om werkpatronen te herkennen.
Benjamin heeft het model getraind om een aantal van de vele situaties te herkennen waarmee we allemaal te maken krijgen als we aan het werk zijn. Het herkent wanneer je je normaal of slaperig voelt en of je gaapt. Belangrijker nog, door je gezicht te scannen kan het je vertellen of je afgeleid bent en zelfs of je je mobiele telefoon gebruikt.
Met al deze informatie kun je bepalen hoe productief je eigenlijk bent!
Hardware
Voor Hardware ging Benjamin voor een aangepaste Raspberry Pi Pico-kloon uitgebracht door WIZnet samen met een Arducam.
Je kunt echter ook een standaard Raspberry Pi Pico met een andere camera gebruiken.
Verder kun je, afhankelijk van hoe snel je dit wilt hebben, overwegen om te kijken wat een Google Koraal kan doen om deze race razendsnel te laten verlopen!
Maar met een microcontroller en een camera heb je zeker genoeg om een aangepaste vorm van dit project te ontwikkelen.
In mijn ervaring is dat vaak wat iets als dit zo spannend maakt: het mixen en matchen van hardware kan vaak leiden tot nieuwe resultaten en spin-off projecten!
Software
Vertrouwend op CircuitPython was Benjamin zo vriendelijk om de code voor dit project te publiceren op GitHub. Dus zodra je die code op je Pico hebt geïnstalleerd, zou alles moeten werken.
De code is gebaseerd op het nanomodel van Ultralytics YOLOv8Dit is een "realtime objectdetectie- en beeldsegmentatiemodel". Als je meer in het algemeen geïnteresseerd bent in de modelstructuur van YOLOv8, kun je deze vinden hier.
Ondertussen, als je meer wilt lezen over deep learning, mijn collega Nathan heeft er een geweldige post over geschreven hier.
Met het nano-model van YOLOv8 laat Benjamin alles door een Flask-applicatie lopen om de realtime informatie uit te spugen terwijl hij iemands workflow volgt.
Probeer het zelf en kijk of je je eigen werkpatronen kunt herkennen!
Deze deep learning-werkassistent zal in ieder geval helpen mijn levenslange vraag te beantwoorden: Hoe vaak gaap ik voor mijn derde kop koffie?
Meer Paragon Projecten hier.
Wat zou jij doen met zo'n assistent?