Ce Forum passera en lecture seule en janvier 2020
Image
Merci de vous rendre sur https://community.jeedom.com maintenant pour vos prochains postes ;)

[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

Pour parler de tout, et surtout de rien !
Avatar de l’utilisateur
nitro24
Timide
Messages : 46
Inscription : 29 août 2014, 15:01
Localisation : Aquitaine

Re: [Sujet officiel] l'assistant vocal Snips

Message par nitro24 » 26 août 2018, 11:54

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
HomeLab Dell R210II, HP DL380 G6 & G7, HP DL360 G6 & G7, Proxmox, Jeedom sur VM Debian , Zwave Aeon Labs Z-Stick S2, RfxTrx433, IPX800V3 + SHT-x3, eco-device, 2 karotz libres sous OpenKarotz, Téléphonie IP WAZO.

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 26 août 2018, 12:59

nitro24 a écrit :
26 août 2018, 11:54
Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
+1 Ca serait top effectivement.

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 26 août 2018, 13:45

fwehrle a écrit :
25 août 2018, 16:28
Hello,

Juste pour vous dire qu'en plus des interractions et de la possibilité de vocaliser directement scenario_return, CoorFang viens d'ajouter la gestion du Ask au plugin!
Il faut créer une intent de réponse, avec un slot avec par ex. oui et non dedans (et des synonymes). On pourra bien entendu mettre les réponses que l'on veux, mais faudra les gérer ensuite dans les scénarios. Je vous conseille de faire un intent/slot séparé pour oui/non, et le reste dans d'autres intents.
Capture d’écran 2018-08-25 à 16.29.23.png

Ensuite, on met l'assistant à jour sur snips et sur jeedom, et on créé un binding sans condition, qui remplit juste une variable de réponse avec le slot.
Capture d’écran 2018-08-25 à 16.29.40.png

Et pour finir, le ask dans les scénario se rempli comme suit...
Capture d’écran 2018-08-25 à 16.29.49.png
Petite astuce : il faut rajouter le nom du compte a qui appartient l'app JeedomOfficial, ou le votre si l'app est forké.

Testé et approuvé. :)

Salut,

Merci pour ce nouvel exemple.

En revanche, de mon côté, j'ai un soucis avec le training pour ce nouvel Intent. J'ai essayé de le supprimer/recréer ainsi que le slot mais ca ne change rien. Une idée ?
Pièces jointes
GetAskAnswerJeedomIntent_SlotError.png
GetAskAnswerJeedomIntent_SlotError.png (55.66 Kio) Consulté 678 fois

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 26 août 2018, 13:54

fwehrle a écrit :
15 août 2018, 22:33
Et le scénario de gestion globale :
Capture d'écran 2018-08-15 19.37.29.png
Capture d'écran 2018-08-15 19.37.54.png

Il y a juste à remplacer le site default par la piece dans laquelle se trouve le serveur Snips. Le reste est dynamique, à condition de nommer les satellites du nom des pieces.
Et ca permet donc, si on est dans le salon, de dire soit "eteins la lumière du salon", soit "eteins la lumière".
A terme, je séparerais les actions par intent dans des scénarios séparés, pour simplifier.

Autre astuce : ca permet aussi de contextualiser certaines actions, et de les interdire si on est pas présent à la maison, si il fait nuit, si l'alarme est activée, etc...

Salut fwehrle,

Une petite question concernant ton scénario lorsque la variable "snips_house_room" est égale à "salle à manger". Est-ce que cela fonctionne pour toi avec les espaces ? De mon côté, pour toutes les pièces avec des espaces (salle à manger, chambre d'amis, ...), je suis obligé de supprimer les espaces car je le reçois sans espace.

Code : Tout sélectionner

[SCENARIO] Evaluation de la condition : ["chambred'amis" == "chambred'amis"] = Vrai

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 26 août 2018, 14:56

Arnog23 :
Il faut que tu précise le slot dans tes phrases d'entraînement. Juste avant de l'ajouter, tu clic droit sur le mot oui, et tu choisis le slot. Ou sinon, il y a une synthaxe a respecter. Tu la vois quand tu exporte les phrases d'un intent.

J'ai remarque aussi pour les espaces. J'ai réglé le problème en créant un binding spécial pour ca, et j'ai mis le tag en dur dans l'appel du scénario. J'en toucherais mot a coorfang.
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 26 août 2018, 14:59

nitro24 a écrit :Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
Pas la moindre idée. Valentin saura peut-être nous répondre.
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 26 août 2018, 15:48

fwehrle a écrit :
26 août 2018, 14:59
nitro24 a écrit :Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
Pas la moindre idée. Valentin saura peut-être nous répondre.
Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 26 août 2018, 16:23

fwehrle a écrit :
26 août 2018, 14:56
Arnog23 :
Il faut que tu précise le slot dans tes phrases d'entraînement. Juste avant de l'ajouter, tu clic droit sur le mot oui, et tu choisis le slot. Ou sinon, il y a une synthaxe a respecter. Tu la vois quand tu exporte les phrases d'un intent.

J'avais effectivement loupé cette subtilité. C'est tout bon maintenant. Merci
J'ai remarque aussi pour les espaces. J'ai réglé le problème en créant un binding spécial pour ca, et j'ai mis le tag en dur dans l'appel du scénario. J'en toucherais mot a coorfang.
OK. Merci

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 26 août 2018, 22:17

valentinf a écrit :
26 août 2018, 15:48
fwehrle a écrit :
26 août 2018, 14:59
nitro24 a écrit :Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
Pas la moindre idée. Valentin saura peut-être nous répondre.
Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!
Ou alors il faudrait pouvoir remplacer le coeur du lapin par un RPI3 (ou zero w) et le micro par un ReSpeaker 2-Mics Pi HAT. Un peu comme ici : https://www.hackster.io/bastiaan-slee/n ... aiy-e9f2c8

Avatar de l’utilisateur
maxredphenix
Actif
Messages : 539
Inscription : 18 sept. 2015, 21:36
Localisation : Bourgogne

Re: [Sujet officiel] l'assistant vocal Snips

Message par maxredphenix » 27 août 2018, 07:01

arnog23 a écrit :
24 août 2018, 23:35
Bonsoir,

@maxredphenix

Pour ton soucis de son en accéléré, regarde ici, j'avais le même souci.

viewtopic.php?p=641659#p641659
Salut,

Parfait merci tout est ok maintenant et en plus j'avais un souci sur la partie audio-server qui a disparu au final !!!

Reste maintenant à continuer poyr Jeedom car pour le moment j'ai juste un retour TTS "crochet ouvert crochet fermant" :)
DIY Intel NUC i5 7Gen(via Proxmox) - Jeedom 3.2.

IPX800 v4 + 2 modules X-4FP
Détecteur fuite d'eau + fumée fibaro
Divers modules Zwave

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

[Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 27 août 2018, 14:13

Salut,

Je vais préparer une nouvelle plateforme avec hub/satellites pour ma prod car mes tests sont pour le moment sur un seul RPI3 (Jeedom et Snips).

D'après le site de Debian, il est recommandé 512M de RAM et 2Go de disque (sans bureau) pour la version 8.

Un RPi3 a 1G de RAM et Snips recommande une SD de 4Go.

Pour ceux qui ont installé le Hub sur une VM, combien de RAM et de disque avez vous mis pour votre Debian ? 1G de RAM et 4Go de disque ?

chsalmon
Timide
Messages : 185
Inscription : 23 déc. 2014, 11:25

Re: [Sujet officiel] l'assistant vocal Snips

Message par chsalmon » 27 août 2018, 15:34

Salut,

j'ai mis 2Go de ram et 40Go de disque.. mais je met toujours large, c'est mon coté généreux.. (sur VMWARE ESXI)
Il y a 2,5 Go d'utilisé d'apres "df -H" (debian 8 avec juste un serveur web et ssh cochés à l'install )
Mets un peu de marge pour le disque (6 ou 10Go) c'est toujours embêtant quand on a pas assez de place, pour la mémoire ça se change facilement.
Au pire tu mets un disque dynamique si tu veux économiser de la place physique.

Avatar de l’utilisateur
Jeandhom
Actif
Messages : 1386
Inscription : 20 oct. 2015, 17:32

Re: [Sujet officiel] l'assistant vocal Snips

Message par Jeandhom » 27 août 2018, 15:38

valentinf a écrit :
26 août 2018, 15:48
fwehrle a écrit :
26 août 2018, 14:59
nitro24 a écrit :Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.
Pas la moindre idée. Valentin saura peut-être nous répondre.
Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!
Et pour recycler des google home mini en satellite snips ?

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 27 août 2018, 17:29

Jeandhom a écrit :
27 août 2018, 15:38
valentinf a écrit :
26 août 2018, 15:48
fwehrle a écrit :
26 août 2018, 14:59
Pas la moindre idée. Valentin saura peut-être nous répondre.
Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!
Et pour recycler des google home mini en satellite snips ?
j'offre une tournée à celui qui fait ça :)

Les Google home ne sont pas assez puissants (les bienfait de processer la data dans le cloud ... je crois qu'ils utilisent les mêmes CPU que les chromecasts). Donc pas assez puissant (ni Amazon d'ailleurs), le seul moyen ... bidouiller pour mettre une RPI3 dedans.

EDIT, quoique pour un satellite ça demande pas la même puissance que pour tout l'audio server effectivement ... y'a peut être un truc à faire mais bon pour accéder aux pins de débug et re-coder le proc, bon courage :D

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 27 août 2018, 17:53

valentinf a écrit :
27 août 2018, 17:29
Jeandhom a écrit :
27 août 2018, 15:38
valentinf a écrit :
26 août 2018, 15:48


Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!
Et pour recycler des google home mini en satellite snips ?
j'offre une tournée à celui qui fait ça :)

Les Google home ne sont pas assez puissants (les bienfait de processer la data dans le cloud ... je crois qu'ils utilisent les mêmes CPU que les chromecasts). Donc pas assez puissant (ni Amazon d'ailleurs), le seul moyen ... bidouiller pour mettre une RPI3 dedans.

EDIT, quoique pour un satellite ça demande pas la même puissance que pour tout l'audio server effectivement ... y'a peut être un truc à faire mais bon pour accéder aux pins de débug et re-coder le proc, bon courage :D
Je suis entrain de designer un boitier à imprimer en 3D qui reprends la forme des GHome mini, et qui hébergera mes Satelittes Snips a base de Pi0 et respeaker 2 mic array. Je partagerais. :)
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 27 août 2018, 18:03

Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 27 août 2018, 22:34

chsalmon a écrit :
25 août 2018, 11:47
Moi j'essai de fais tourner le serveur sur une VM (VMWARE ESXI) debian 8 amd64 , mais ça ne fonctionne pas, j'ai un probleme avec le service NLU :

Code : Tout sélectionner

Aug 25 11:36:57 SnipsServer snips-nlu[2865]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: -> caused by: Expected model version 0.15.0 but found 0.16.0
Le reste semble ok, en tout cas comme sur ma version Raspberry qui fonctionne:
(pas d'audio, c'est juste un serveur, j'ai un satellite )

Code : Tout sélectionner

OS version ................... Debian GNU/Linux 8 (jessie)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.56.4 (not running)
snips-asr .................... 0.56.4 (running)
snips-audio-server ........... 0.56.4 (not running)
snips-dialogue ............... 0.56.4 (running)
snips-hotword ................ 0.56.4 (running)
snips-nlu .................... 0.56.4 (not running)
snips-skill-server ........... 0.56.4 (running)
snips-tts .................... 0.56.4 (running)


et dans le fichier /usr/share/snips/assistant/assistant.json j'ai le parametre :

Code : Tout sélectionner

.../...
 "version" : {
    "nluModel" : "0.16.0"
  },
  "platform" : {
    "type" : "raspberrypi"
  },
  .../...
  
Donc je suppose que ça n'est pas compatible avec Debian ?
j'ai fais des "sam update-assistant" , "sam install assistant" et autre "sudo apt-get update && sudo apt-get upgrade snips-platform-voice" mais rien n'y fait.

quelqu'un l'a dejà fait fonctionné sur une VM ?


Edit:

Sur le raspberry, je suis en version 0.58.3 , c'est pas à jour sur les paquets Debian ?

Code : Tout sélectionner

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.58.3 (not running)
snips-asr .................... 0.58.3 (running)
snips-audio-server ........... 0.58.3 (running)
snips-dialogue ............... 0.58.3 (running)
snips-hotword ................ 0.58.3 (running)
snips-nlu .................... 0.58.3 (running)
snips-skill-server ........... 0.58.3 (not running)
snips-tts .................... 0.58.3 (running)
Edit:

Ca fonctionne !
j'ai remis rasbian dans snips.list

Code : Tout sélectionner

#deb https://debian.snips.ai/jessie stable main
deb https://raspbian.snips.ai/stretch stable main
et refait une mise à jour sudo apt-get --reinstall install -y snips-nlu (qui m'a tout reinstallé du coup)
et ça fonctionne.

c'est bizarre parce que j'avais du mettre les paquets debian (deb https://debian.snips.ai/jessie stable main) pour la premiere installe, surement que ça avait installé les bonnes dependances...
Bref, c'est bon sur mon serveur Debian.
Salut,

J'ai le même souci avec le service snips-nlu sur ma VM mais le fait de changer le repository avec celui de Raspbian ne change rien :-(

chsalmon
Timide
Messages : 185
Inscription : 23 déc. 2014, 11:25

Re: [Sujet officiel] l'assistant vocal Snips

Message par chsalmon » 28 août 2018, 09:01

C'est bien la même erreur ?
je la voyait en faisant :

redemarre les services snips

Code : Tout sélectionner

sudo systemctl restart 'snips-*'
attend un peu et regarde les logs :

Code : Tout sélectionner

sudo more  /var/log/syslog | tail -n 50
tu as bien fait un sudo apt-get update apres avoir remis raspbian.snips.ai ?


j'avais pas mal galéré avant et fais plusieurs fois des "sam update-assistant" , "sam install assistant",...
j'ai bouclé sur la doc : https://snips.gitbook.io/documentation/troubleshooting

sinon retente un

Code : Tout sélectionner

sudo apt-get update && sudo apt-get upgrade snips-platform-voice
mais du coup ça reprend les paquets rasbian, je ne sais pas si c'est bien
(https://github.com/snipsco/snips-issues/issues/49 , https://github.com/snipsco/snips-issues/issues/48)

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

[Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 28 août 2018, 09:05

Il me semble avoir déjà testé tout ça mais je vais revérifier.

Sinon, je suis allé poser ma question sur le discord Snips et il semblerait qu'il faille passer en Debian 9 malgré que la version 8 soit indiquée dans la doc. Je vais aussi tenter avec une Debian 9.

arnog23
Timide
Messages : 428
Inscription : 02 mars 2016, 21:50

Re: [Sujet officiel] l'assistant vocal Snips

Message par arnog23 » 28 août 2018, 11:36

Bon, et bien ... aucun souci avec une Debian 9. Cela fonctionne du premier coup pour l'install. Je suis bien en 0.58.3 et le nlu est ok.

Répondre

Revenir vers « Discussions Générales »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 2 invités