Paragon-projektet: Arbetsassistent för djupinlärning

När det kommer till produktivitet har uppfinnare använt sig av mikroprocessorer och mikrokontroller på en mängd olika sätt.

Denna arbetsassistent för djupinlärning toppar dock listan som ett av de mest kreativa projekt vi har sett på länge!

Detta projekt, som utvecklats av Benjamin på WIZnet Tillverkaretar bilder var 5:e sekund och läser sedan av dem med hjälp av AI för att känna igen arbetsmönster.

Benjamin har tränat modellen att känna igen några av de många situationer som vi alla ställs inför när vi arbetar. Den identifierar när du känner dig normal eller dåsig eller om du gäspar. Ännu viktigare är att den genom att skanna ditt ansikte kan se om du är distraherad och till och med om du använder din mobiltelefon.

Med all denna information kommer du att kunna avgöra hur produktiv du egentligen är!

Hårdvara

För hårdvara valde Benjamin en modifierad Raspberry Pi Pico-klon som utfärdats av WIZnet tillsammans med en Arducam.

Men du kan definitivt använda en vanlig Raspberry Pi Pico med en annan kamera istället om det skulle behövas.

Beroende på hur snabbt du vill att det ska gå kan du dessutom överväga att kolla in vad en Google Korall kan göra för att göra detta lopp blixtsnabbt!

Men med en mikrokontroller och en kamera har du definitivt tillräckligt för att åtminstone utveckla en modifierad form av detta projekt.

Enligt min erfarenhet är det ofta det som gör sådana här saker så spännande: att blanda och matcha hårdvara kan ofta leda till nya resultat och spin-off-projekt!

Programvara

Benjamin förlitade sig på CircuitPython och var vänlig nog att publicera koden för detta projekt på GitHub. Så när du har installerat koden på din Pico bör saker och ting vara igång.

Koden bygger på nanomodellen av Ultralytics YOLOv8som är en "modell för objektdetektering och bildsegmentering i realtid". Om du är intresserad av modellstrukturen för YOLOv8 mer generellt kan du hitta den här.

Om du är intresserad av att läsa mer om djupinlärning har min kollega Nathan skrivit ett bra inlägg om det här.

Med nanomodellen av YOLOv8 kör Benjamin allt genom en Flask-applikation för att spotta ut realtidsinformationen när den spårar någons arbetsflöde.

Prova själv och se om du kan identifiera dina egna arbetsmönster!

Åtminstone kommer denna djupinlärda arbetsassistent att hjälpa mig att besvara min livslånga fråga: Hur många gånger gäspar jag innan jag dricker min tredje kopp kaffe?

Du kan hitta fler Paragon Projects här.

Vad skulle du göra med en arbetsassistent som denna?