ESP32-S3-BOX-Lite súprava na vývoj hlasu AI
Používateľská príručka

Príručka je použiteľná pre súpravy ESP32-S3-BOX a súpravy ESP32-S3-BOX-Lite s najnovšou verziou firmvéru. V tejto príručke sú súhrnne označované ako séria vývojových dosiek BOX.

Začíname

Séria vývojových dosiek BOX integrovaných so SoC ESP32-S3 poskytuje používateľom platformu na vývoj riadiaceho systému inteligentných domácich spotrebičov pomocou hlasovej asistencie + ovládača s dotykovou obrazovkou, senzora, infračerveného diaľkového ovládača a inteligentnej brány Wi-Fi. Séria vývojových dosiek BOX prichádza s predpripraveným firmvérom, ktorý podporuje budenie hlasom a offline rozpoznávanie reči v čínštine aj angličtine. ESP-BOX SDK obsahuje rekonfigurovateľnú hlasovú interakciu AI, ktorá vám umožňuje prispôsobiť príkazy na ovládanie domácich spotrebičov. Táto príručka stručne predstaví, čo môžete robiť s najnovšou verziou firmvéru, aby ste mohli začať. Po prečítaní sprievodcu môžete začať s vývojom aplikácie sami. Teraz začnime!

Súprava BOX obsahuje:

ESP32-S3-BOX	ESP32-S3-BOX-Lite
Hlavná jednotka, ktorá dokáže pracovať sama	Hlavná jednotka, ktorá dokáže pracovať sama
Modul RGB LED a vodiče Dupont na testovanie	Modul RGB LED a vodiče Dupont na testovanie
Dock, príslušenstvo, ktoré slúži ako stojan pre hlavnú jednotku	N/A

Požadovaný hardvér:
Nájdite si kábel USB-C.

Pripojte modul RGB LED k vášmu zariadeniu

Pozrite si definíciu pinov nižšie a pripojte RGB LED modul k BOXu pomocou vodičov DuPont. Modul má štyri samčie kolíky, R, G, B a GND. Pripojte ich k zásuvkám G39, G40, G41 a GND na PMOD 1.

Zapnite svoje zariadenie

1. Zapnite svoje zariadenie pomocou kábla USB-C.
2. Po zapnutí zariadenia sa na obrazovke prehrá animácia spustenia loga Espressif.
   

Poďme sa hrať!

1. Prvé dve strany rýchleho sprievodcu predstavujú funkciu tlačidiel na vývojových doskách série BOX. Klepnutím na Ďalej prejdete na ďalšiu stránku.
   
2. Posledné dve strany rýchleho sprievodcu predstavujú spôsob používania hlasového ovládania AI. Klepnutím na OK Let's Go vstúpte do ponuky.
   
3. V ponuke je päť možností: Ovládanie zariadenia, Sieť, Prehrávač médií, Pomocník a O nás. Potiahnutím prstom doľava a doprava môžete prejsť na rôzne možnosti. Naprample, vstúpte na obrazovku Ovládanie zariadenia a klepnutím na Svetlo zapnite alebo vypnite LED svetlo na module.
   Potom sa môžete vrátiť do ponuky a vstúpiť na obrazovku prehrávača médií na prehrávanie hudby alebo nastavenie hlasitosti.
   Iba ESP32-S3-BOX podporuje nasledujúce funkcie:
4. Stlačením tlačidla stlmenia v hornej časti zariadenia zakážete budenie hlasom a rozpoznávanie reči. Opätovným stlačením ich aktivujete.
   
5. Klepnutím na červený kruh pod obrazovkou sa vrátite na poslednú stránku.
   

Offline hlasový asistent

1. Na prebudenie zariadenia môžete na ľubovoľnej obrazovke povedať „ahoj ESP“. Keď sa prebudí, na obrazovke sa zobrazí slovo prebudenia, ktoré ste práve použili. Ak sa slovo prebudenia nezobrazí, skúste to znova. Obrazovka nižšie ukazuje, že vaše zariadenie počúva.
   
2. Do 6 sekúnd po pípnutí vyslovte príkaz, napríklad „zapnite svetlo“. Uvidíte príkaz zobrazený na obrazovke a LED svetlo na module sa rozsvieti a budete počuť „OK“. Približne o 6 sekúnd neskôr opustíte obrazovku hlasového ovládania, ak už nie je k dispozícii žiadny príkaz.
   
3. Na vychutnávanie hudby môžete použiť hlasové príkazy. Najprv prebuďte zariadenie a potom povedzte „prehrať hudbu“. Otvorí sa hudobný prehrávač a začne prehrávať vstavanú hudbu. Môžete tiež použiť hlasové príkazy na preskočenie skladieb alebo pozastavenie hudby. Vstavané sú dve skladby.
   Tipy:
   • Ak sa kontrolka LED nerozsvieti, skontrolujte, či sú kolíky modulu zasunuté do správnych portov.
   • Ak BOX nerozpozná žiadny príkaz v určenom čase, uvidíte Timeout a opustíte obrazovku približne o 1 sekundu.
   
4. Predvolené príkazy sú: zapnúť svetlo, vypnúť svetlo, zmeniť farbu na červenú, zmeniť farbu na zelenú, zmeniť farbu na modrú, prehrať hudbu, nasledujúcu skladbu, pozastaviť prehrávanie.

Nepretržité rozpoznávanie reči

Zaujímavejšie je, že zariadenie podporuje nepretržité rozpoznávanie reči po prebudení. Táto funkcia robí hlasovú interakciu prirodzenou a hladkou a prináša ľudský dotyk do interaktívneho zážitku.

Ako používať

• Ak chcete zariadenie prebudiť, povedzte „ahoj, ES P“ a budete počuť pípnutie.
• Povedz svoj príkaz. Ak zariadenie rozpozná príkaz, budete počuť „OK“ a potom bude pokračovať v rozpoznávaní ďalších príkazov.
• Ak nie je rozpoznaný žiadny príkaz, zariadenie počká. Ak do 6 sekúnd nezadáte žiadny príkaz, zariadenie automaticky opustí obrazovku hlasového ovládania a musíte ho znova prebudiť.

Pozornosť
Ak zariadenie viackrát nerozpozná váš príkaz, počkajte na časový limit a znova ho zobuďte, aby ste mohli túto funkciu použiť.
Po vyslovení slova na prebudenie nehýbte zariadením. V opačnom prípade zariadenie nedokáže rozpoznať váš príkaz.
Odporúčame hlasové povely v rozsahu 3-5 slov.
V súčasnosti zariadenie nedokáže rozpoznať príkazy pri prehrávaní výziev.

Prispôsobenie hlasových príkazov

Séria vývojových dosiek BOX je vybavená proprietárnym systémom rozpoznávania reči AI spoločnosti Espressif, ktorý vám umožňuje prispôsobiť príkazy prostredníctvom našej aplikácie ESP BOX. LED svetlo na module budeme brať ako example, aby ste ukázali, ako vytvoriť svoje vlastné hlasové príkazy. Podrobnosti o algoritme nájdete v časti Technická architektúra.

1. Pripojte sa k mobilnej aplikácii ESP BOX
   1.1. Zadajte Sieť a v pravom hornom rohu klepnite na Nainštalovať aplikáciu. Naskenujte QR kód alebo vyhľadajte „ESP BOX“ v App Store alebo Google Play a nainštalujte aplikáciu.
   1.2. Ak ste v tejto aplikácii noví, najskôr si zaregistrujte účet.
   1.3. Prihláste sa pomocou svojho účtu ESP BOX a zapnite Bluetooth na svojom telefóne. Klepnite na + v dolnej časti obrazovky a naskenujte QR kód na svojom zariadení, aby ste nastavili sieť.
   1.4 Po pridaní zariadenia sa zobrazia nasledujúce výzvy:
   

Tipy:

• Uistite sa, že ste zariadenie pripojili k 2.4 GHz Wi-Fi namiesto 5 GHz a zadali správne heslo Wi-Fi. Ak je heslo Wi-Fi nesprávne, zobrazí sa výzva „Autentifikácia Wi-Fi zlyhala“.
• Dlhým stlačením tlačidla Boot (tj tlačidlo funkcie) na 5 sekúnd vymažete informácie o sieti a obnovíte výrobné nastavenia zariadenia. Po resetovaní zariadenia, ak QR kód alebo Bluetooth nefunguje, reštartujte zariadenie stlačením tlačidla Reset.
  

Prispôsobte si hlasové príkazy

1. Klepnite na ikonu zariadenia ESP-BOX a prejdite na obrazovku nižšie. Svetlo môžete jednoducho zapnúť alebo vypnúť prepnutím tlačidla, ako je znázornené na obrázku. Funkcie ventilátora a prepínača môžete vyvinúť sami.
   
2. Klepnite na Svetlo a na karte Konfigurovať sa zobrazia predvolené informácie o pine a príkazy. Kolíky pre červenú, zelenú a modrú farbu je možné podľa potreby meniť.
   
3. Na karte Konfigurovať môžete tiež prispôsobiť príkazy na zapnutie alebo vypnutie svetla a zmenu jeho farby. Naprample, môžete nastaviť „dobré ráno“ ako príkaz na zapnutie svetla. Kliknutím na tlačidlo Uložiť sa vrátite na predchádzajúcu obrazovku. Potom znova kliknite na tlačidlo Uložiť, ako je uvedené nižšie.
   
4. Na karte Ovládanie môžete upraviť farbu, jas a sýtosť svetla.
   
5. Teraz si môžete vyskúšať svoj nový príkaz! Najprv povedzte „ahoj ESP“, aby ste zariadenie prebudili. Potom do 6 sekúnd povedzte „dobré ráno“, aby ste zapli svetlo. Nový príkaz sa zobrazí na obrazovke so zapnutým svetlom modulu.
   

Aby príkazy fungovali správne, všimnite si:

• Dĺžka príkazov: Príkaz by mal pozostávať z 2-8 slov. Pri vytváraní série príkazov sa snažte zachovať ich v podobnej dĺžke.
• Vyhnite sa opakovaniu: Prosím, nezahŕňajte kratšie príkazy do dlhších príkazov, inak kratšie príkazy nebudú rozpoznané. NaprampAk vytvoríte príkazy „zapnúť“ aj „zapnúť svetlo“, príkaz „zapnúť“ nebude rozpoznaný.

Predpisy FCC:
Toto zariadenie je v súlade s časťou 15 pravidiel FCC. Prevádzka podlieha nasledujúcim dvom podmienkam: (1) Toto zariadenie nesmie spôsobovať škodlivé rušenie a (2) toto zariadenie musí akceptovať akékoľvek prijaté rušenie, vrátane rušenia, ktoré môže spôsobiť nežiaducu prevádzku. Toto zariadenie bolo testované a zistilo sa, že vyhovuje limitom pre digitálne zariadenie triedy B v súlade s časťou 15 pravidiel FCC. Tieto limity sú navrhnuté tak, aby poskytovali primeranú ochranu pred škodlivým rušením pri inštalácii v obytných priestoroch. Toto zariadenie generuje, používa a môže vyžarovať rádiofrekvenčnú energiu a ak nie je nainštalované a používané v súlade s pokynmi, môže spôsobiť škodlivé rušenie rádiovej komunikácie. Neexistuje však žiadna záruka, že pri konkrétnej inštalácii nedôjde k rušeniu. Ak toto zariadenie spôsobuje škodlivé rušenie rádiového alebo televízneho príjmu, čo sa dá zistiť vypnutím a zapnutím zariadenia, používateľovi sa odporúča, aby sa pokúsil napraviť rušenie jedným alebo viacerými z nasledujúcich opatrení:

• Presmerujte alebo premiestnite prijímaciu anténu.
• Zväčšite vzdialenosť medzi zariadením a prijímačom.
• Zapojte zariadenie do zásuvky v inom okruhu, než ku ktorému je pripojený prijímač.
• Požiadajte o pomoc predajcu alebo skúseného rádio/TV technika.

Upozornenie FCC:
Zmeny alebo úpravy, ktoré nie sú výslovne schválené stranou zodpovednou za zhodu, môžu zrušiť oprávnenie používateľa prevádzkovať zariadenie.
Informácie o vystavení RF
Toto zariadenie spĺňa vládne požiadavky na vystavenie rádiovým vlnám.
Toto zariadenie je navrhnuté a vyrobené tak, aby neprekračovalo emisné limity pre vystavenie rádiofrekvenčnej (RF) energii stanovené federálnym úradom
Komunikačná komisia vlády USA.
Toto zariadenie vyhovuje limitom FCC pre vystavenie žiareniu stanoveným pre nekontrolované prostredie. Aby sa predišlo možnosti prekročenia limitov vystavenia rádiovej frekvencii FCC, vzdialenosť človeka od antény nesmie byť počas bežnej prevádzky menšia ako 20 cm.
Sprievodca vám poskytuje iba stručnú predstavu o tom, ako používať najnovší firmvér na vývojových doskách série BOX. Teraz môžete začať písať programy a vydať sa na cestu internetu vecí!

© 2022 GitHub, Inc

Dokumenty / zdroje

Súprava na vývoj hlasu AI ESPESSIF ESP32-S3-BOX-Lite [pdfPoužívateľská príručka ESPS3WROOM1, 2AC7Z-ESPS3WROOM1, 2AC7ZESPS3WROOM1, ESP32-S3-BOX, ESP32-S3-BOX-Lite, ESP32-S3-BOX AI Voice Development Kit, AI Voice Development Kit

Referencie

• Používateľská príručka