Ce este recunoasterea gesturilor? Recunoasterea gesturilor este un subiect in informatica si tehnologia limbajului cu scopul de a interpreta gesturile umane prin algoritmi matematici. Este o subdisciplina a vederii computerizate. Gesturile pot proveni din orice miscare sau stare a corpului, dar de obicei provin de la fata sau de la mana.
Actualele abordari in domeniu includ recunoasterea emotiilor din recunoasterea fetei si a gesturilor mainii. Utilizatorii pot folosi gesturi simple pentru a controla sau a interactiona cu dispozitivele fara a le atinge fizic. Au fost facute multe abordari folosind camere si algoritmi de viziune computerizata pentru a interpreta limbajul semnelor.
Cu toate acestea, identificarea si recunoasterea posturii, a mersului si a comportamentelor umane este, de asemenea, subiectul tehnicilor de recunoastere a gesturilor.
Recunoasterea gesturilor poate fi vazuta ca o modalitate prin care computerele incep sa inteleaga limbajul corpului uman, construind astfel o punte mai bogata intre masini si oameni decat interfetele primitive cu utilizatorul cu text sau chiar interfetele GUI (interfete grafice de utilizator), care inca limiteaza majoritatea intrarilor la tastatura. si mouse-ul si interactioneaza in mod natural fara dispozitive mecanice.
Prezentare generala
Caracteristici de recunoastere a gesturilor:
- Mai exact
- Stabilitate ridicata
- Economie de timp pentru a debloca un dispozitiv
Principalele domenii de aplicare ale recunoasterii gesturilor in scenariul actual sunt:
- Sectorul auto
- Sectorul electronicelor de larg consum
- Sectorul de tranzit
- Sectorul jocurilor de noroc
- Pentru a debloca smartphone-urile
- Aparare
- Automatizare pentru acasa
- Traducere automata in limbajul semnelor
Recunoasterea gesturilor poate fi realizata cu tehnici de viziune computerizata si procesare a imaginii. Literatura de specialitate include lucrari in desfasurare in domeniul vederii computerizate cu privire la capturarea gesturilor sau a pozitiei umane mai generale si a miscarilor cu ajutorul camerelor conectate la un computer.
Recunoasterea gesturilor si calcularea prin creion: calculul cu stilou reduce impactul hardware al unui sistem si, de asemenea, mareste gama de obiecte din lumea fizica utilizabile pentru control dincolo de obiectele digitale traditionale, cum ar fi tastaturile si mousii. Astfel de implementari ar putea permite o noua gama de hardware care nu necesita monitoare.
Aceasta idee poate duce la crearea unui afisaj holografic. Termenul de recunoastere a gesturilor a fost folosit pentru a se referi mai restrans la simbolurile scrise de mana care nu sunt introduse de text, cum ar fi cerneala pe o tableta grafica, gesturile multi-touch si recunoasterea gesturilor mouse-ului. Aceasta este interactiunea cu computerul prin desenarea simbolurilor cu un cursor al dispozitivului de indicare.
Ce este recunoasterea gesturilor? Tipuri de gesturi
In interfetele computerului, se disting doua tipuri de gesturi: Luam in considerare gesturile online, care pot fi considerate si manipulari directe, cum ar fi scalarea si rotirea. In schimb, gesturile offline sunt de obicei procesate dupa terminarea interactiunii; e. g. este desenat un cerc pentru a activa un meniu contextual.
Gesturi offline: acele gesturi care sunt procesate dupa interactiunea utilizatorului cu obiectul. Un exemplu este gestul de a activa un meniu.
Gesturi online: Gesturi de manipulare directa. Sunt folosite pentru a scala sau a roti un obiect tangibil.
Interfata fara atingere
Interfata de utilizator fara atingere este un tip de tehnologie in curs de dezvoltare in ceea ce priveste controlul gesturilor. Interfata de utilizator fara atingere (TUI) este procesul de comanda a computerului prin miscarea corpului si gesturi fara a atinge tastatura, mouse-ul sau ecranul. Interfata fara atingere, pe langa controalele prin gesturi, devine foarte populara, deoarece ofera abilitatile de a interactiona cu dispozitivele fara a le atinge fizic.
Ce este recunoasterea gesturilor? Tipuri de tehnologie fara atingere
Exista o serie de dispozitive care utilizeaza acest tip de interfata, cum ar fi smartphone-uri, laptopuri, jocuri, televizoare si echipamente muzicale.
Un tip de interfata fara atingere utilizeaza conectivitatea bluetooth a unui smartphone pentru a activa sistemul de gestionare a vizitatorilor unei companii. Acest lucru previne nevoia de a atinge o interfata in timpul pandemiei de COVID-19.
Dispozitive de intrare
Capacitatea de a urmari miscarile unei persoane si de a determina gesturile, poate fi efectuata poate fi obtinuta prin diverse instrumente.
Interfetele cinetice cu utilizatorul (KUI) sunt un tip emergent de interfete cu utilizatorul care le permit utilizatorilor sa interactioneze cu dispozitivele de calcul prin miscarea obiectelor si a corpurilor. Exemplele de KUI includ interfete de utilizator tangibile si jocuri constiente de miscare, cum ar fi Wii si Kinect de la Microsoft si/sau alte proiecte interactive.
Desi exista o mare cantitate de cercetari efectuate in recunoasterea gesturilor bazata pe imagini/video, exista unele variatii in instrumentele si mediile utilizate intre implementari.
- Manusi cu fir. Acestea pot furniza computerului informatii despre pozitia si rotatia mainilor folosind dispozitive de urmarire magnetice sau inertiale. In plus, unele manusi pot detecta indoirea degetelor cu un grad ridicat de precizie (5-10 grade) sau chiar pot oferi utilizatorului feedback haptic, care este o simulare a simtului tactil. Primul dispozitiv de tip manusa de urmarire a mainilor disponibil comercial a fost DataGlove, un dispozitiv de tip manusa care putea detecta pozitia mainii, miscarea si indoirea degetelor. Aceasta utilizeaza cabluri de fibra optica care merg pe dosul mainii. Se creeaza pulsuri de lumina si cand degetele sunt indoite, lumina se scurge prin mici crapaturi si se inregistreaza actiunea, dand o aproximare a pozitiei mainii.
- Camere de luat vederi pentru adancime. Folosind camere specializate, cum ar fi camerele cu lumina structurata sau time of fly, se poate genera o harta de profunzime a ceea ce este vazut prin camera la o distanta scurta si se pot folosi aceste date pentru a aproxima o reprezentare 3d a ceea ce este vazut. Acestea pot fi eficiente pentru detectarea gesturilor mainii datorita capacitatilor lor de raza scurta.
- Camere stereo. Folosind doua camere ale caror relatii una cu cealalta sunt cunoscute, o reprezentare 3d poate fi aproximata prin rezultatul camerelor. Pentru a obtine relatiile camerelor, se poate folosi o referinta de pozitionare, cum ar fi o banda lexica sau emitatori infrarosii. In combinatie cu masurarea directa a miscarii (6D-Vision) gesturile pot fi detectate direct.
- Controlere bazate pe gesturi. Aceste controlere actioneaza ca o extensie a corpului, astfel incat atunci cand sunt efectuate gesturi, o parte din miscarea lor poate fi capturata in mod convenabil de software. Un exemplu de captura a miscarii emergente bazata pe gesturi este urmarirea mainilor scheletice, care este dezvoltata pentru aplicatii de realitate virtuala si realitate augmentata. Un exemplu al acestei tehnologii este prezentat de companiile de urmarire uSens si Gestigon, care permit utilizatorilor sa interactioneze cu mediul inconjurator fara controlere.
- Detectie Wi-Fi
Un alt exemplu in acest sens este urmarirea gesturilor mouse-ului, in care miscarea mouse-ului este corelata cu un simbol desenat de mana unei persoane care poate studia modificarile acceleratiei in timp, pentru a reprezenta gesturi. Software-ul compenseaza de asemenea tremurul uman si miscarea accidentala. Senzorii acestor cuburi inteligente care emit lumina pot fi utilizati pentru a detecta mainile si degetele, precum si alte obiecte din apropiere si pot fi utilizati pentru a procesa date. Cele mai multe aplicatii sunt in muzica si sinteza sunetului, dar pot fi aplicate in alte domenii.
O singura camera
O camera 2D standard poate fi utilizata pentru recunoasterea gesturilor in cazul in care resursele/mediul nu ar fi convenabil pentru alte forme de recunoastere bazata pe imagini. Anterior s-a crezut ca o singura camera poate sa nu fie la fel de eficienta ca sistemul de camere stereo sau care constientizeaza adancimea, dar unele companii contesta aceasta teorie.
Ce este recunoasterea gesturilor? Provocari
Exista multe provocari asociate cu acuratetea si utilitatea software-ului de recunoastere a gesturilor. Pentru recunoasterea gesturilor bazata pe imagini, exista limitari ale echipamentului utilizat si ale zgomotului din imagine. Este posibil ca imaginile sau videoclipurile sa nu fie sub o lumina constanta sau in aceeasi locatie. Elementele din fundal sau caracteristicile distincte ale utilizatorilor pot face recunoasterea mai dificila.
Varietatea de implementari pentru recunoasterea gesturilor bazata pe imagini poate cauza, de asemenea, probleme pentru viabilitatea tehnologiei pentru utilizarea generala.
De exemplu, un algoritm calibrat pentru o camera poate sa nu functioneze pentru o alta camera. Cantitatea de zgomot de fond cauzeaza, de asemenea, dificultati de urmarire si recunoastere, mai ales atunci cand apar ocluzii (partiale si complete). In plus, distanta fata de camera si rezolutia sau calitatea senzorului camerei cauzeaza, de asemenea, variatii in acuratetea recunoasterii.
Pentru a capta gesturile umane cu ajutorul senzorilor vizuali, sunt necesare si metode robuste de viziune pe computer, de exemplu pentru urmarirea mainilor si recunoasterea posturii mainii sau pentru captarea miscarilor capului, a expresiilor faciale sau a directiei privirii.
Acceptabilitatea sociala
O provocare semnificativa pentru adoptarea interfetelor cu gesturi pe dispozitivele mobile de consum, cum ar fi smartphone-urile si ceasurile inteligente, provine din implicatiile de acceptabilitate sociala ale inputului gestual. In timp ce gesturile pot facilita introducerea rapida si precisa pe multe computere noi cu factor de forma standardizat, adoptarea si utilitatea lor este adesea limitata de factori sociali, mai degraba decat de cei tehnici. In acest scop, designerii de metode de introducere prin gesturi pot incerca sa echilibreze atat considerentele tehnice, cat si disponibilitatea utilizatorului de a efectua gesturi in diferite contexte sociale. In plus, diferitele dispozitive hardware si mecanisme de detectare accepta diferite tipuri de gesturi recunoscute.
Dispozitive mobile
Interfetele gesturilor pe dispozitivele mobile si cu factor de forma mic sunt adesea sustinute de prezenta senzorilor de miscare, cum ar fi unitatile de masura inertiale (IMU). Pe aceste dispozitive, detectarea gesturilor se bazeaza pe utilizatorii care efectueaza gesturi bazate pe miscare, capabile sa fie recunoscute de acesti senzori de miscare. Acest lucru poate face dificila captarea semnalului din gesturi subtile sau cu miscare redusa, deoarece pot deveni dificil de distins de miscarile naturale sau de zgomot.
Printr-un sondaj si un studiu al utilizarii gesturilor, cercetatorii au descoperit ca gesturile care incorporeaza miscare subtila, care par similare cu tehnologia existenta, arata sau se simt similar cu fiecare actiune si care sunt placute au mai multe sanse sa fie acceptate de utilizatori, in timp ce gesturile care arata ciudat, care sunt inconfortabil de executat, interfereaza cu comunicarea sau implica miscari neobisnuite, determina utilizatorii sa respinga utilizarea acestora. Acceptabilitatea sociala a gesturilor dispozitivelor mobile se bazeaza in mare masura pe naturaletea gestului si pe contextul social.
