[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[arnog23]

Bon, à priori, j'ai 2 services qui ont des soucis :

Code : Tout sélectionner

● snips-skill-server.service - Snips Skill Server
   Loaded: loaded (/lib/systemd/system/snips-skill-server.service; enabled)
   Active: activating (auto-restart) (Result: exit-code) since Wed 2018-08-22 12:16:56 CEST; 3s ago
  Process: 2267 ExecStart=/usr/bin/snips-skill-server (code=exited, status=1/FAILURE)
 Main PID: 2267 (code=exited, status=1/FAILURE)
   CGroup: /system.slice/snips-skill-server.service

Aug 22 12:16:56 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.

● snips-nlu.service - Snips NLU
   Loaded: loaded (/lib/systemd/system/snips-nlu.service; enabled)
   Active: activating (auto-restart) (Result: exit-code) since Wed 2018-08-22 12:16:58 CEST; 1s ago
  Process: 2270 ExecStart=/usr/bin/snips-nlu (code=exited, status=1/FAILURE)
 Main PID: 2270 (code=exited, status=1/FAILURE)

Aug 22 12:16:58 jeedom systemd[1]: Unit snips-nlu.service entered failed state.

Code : Tout sélectionner

#journalctl -f -u snips-skill-server.service
-- Logs begin at Wed 2018-08-22 12:15:12 CEST. --
Aug 22 12:24:02 jeedom snips-skill-server[4026]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:02 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:02 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.
Aug 22 12:24:07 jeedom systemd[1]: snips-skill-server.service holdoff time over, scheduling restart.
Aug 22 12:24:07 jeedom systemd[1]: Stopping Snips Skill Server...
Aug 22 12:24:07 jeedom systemd[1]: Starting Snips Skill Server...
Aug 22 12:24:07 jeedom systemd[1]: Started Snips Skill Server.
Aug 22 12:24:07 jeedom snips-skill-server[4079]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:07 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:07 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.
Aug 22 12:24:12 jeedom systemd[1]: snips-skill-server.service holdoff time over, scheduling restart.
Aug 22 12:24:12 jeedom systemd[1]: Stopping Snips Skill Server...
Aug 22 12:24:12 jeedom systemd[1]: Starting Snips Skill Server...
Aug 22 12:24:12 jeedom systemd[1]: Started Snips Skill Server.
Aug 22 12:24:12 jeedom snips-skill-server[4089]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:12 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:12 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.

Code : Tout sélectionner

#journalctl -f -u snips-nlu.service
-- Logs begin at Wed 2018-08-22 12:15:12 CEST. --
Aug 22 12:24:33 jeedom systemd[1]: snips-nlu.service holdoff time over, scheduling restart.
Aug 22 12:24:33 jeedom systemd[1]: Stopping Snips NLU...
Aug 22 12:24:33 jeedom systemd[1]: Starting Snips NLU...
Aug 22 12:24:33 jeedom systemd[1]: Started Snips NLU.
Aug 22 12:24:33 jeedom snips-nlu[4118]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 22 12:24:33 jeedom snips-nlu[4118]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 22 12:24:33 jeedom snips-nlu[4118]: -> caused by: Expected model version 0.15.0 but found 0.16.0
Aug 22 12:24:33 jeedom snips-nlu[4118]: ERROR:rumqtt::client  : 0d6683e5fdb94501b0e9cfa55f9c47d9 Disconnected: (Error(SyncMpsc(Disconnected), State { next_error: None, backtrace: None }))
Aug 22 12:24:33 jeedom systemd[1]: snips-nlu.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:33 jeedom systemd[1]: Unit snips-nlu.service entered failed state.
Aug 22 12:24:38 jeedom systemd[1]: snips-nlu.service holdoff time over, scheduling restart.
Aug 22 12:24:38 jeedom systemd[1]: Stopping Snips NLU...
Aug 22 12:24:38 jeedom systemd[1]: Starting Snips NLU...
Aug 22 12:24:38 jeedom systemd[1]: Started Snips NLU.
Aug 22 12:24:38 jeedom snips-nlu[4127]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 22 12:24:38 jeedom snips-nlu[4127]: ERROR:rumqtt::client  : 57a8401cef464bbba1135a2196151892 Disconnected: (Error(SyncMpsc(Disconnected), State { next_error: None, backtrace: None }))
Aug 22 12:24:38 jeedom snips-nlu[4127]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 22 12:24:38 jeedom snips-nlu[4127]: -> caused by: Expected model version 0.15.0 but found 0.16.0
Aug 22 12:24:38 jeedom systemd[1]: snips-nlu.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:38 jeedom systemd[1]: Unit snips-nlu.service entered failed state.

J'ai voulu aller sur le lien Discord fourni par Valentif mais l'invitation ne semble plus valable.

Une mise à jour à résolue mon problème :

Code : Tout sélectionner

sudo apt-get update && sudo apt-get upgrade snips-platform-voice

bien que le service "snips-skill-server" soit toujours en erreur. => en fait, ce service ne tourne que lorsqu'il y a des actions définies, ce qui n'est pas le cas pour Jeedom. C'est donc normal.

[fwehrle]

1. Snips est-il disponible pour un AIY Google v2 sur Pi zéro ? je l'ai commandé mais pas encore reçu afin de pouvoir mettre une carte SD avec Snips dessus
2. Que veut dire satellite ?, si j’ai bien compris il faut : un pi pour le serveur SNIPS et un pi par satellite avec un micro pour être disséminé un peu partout dans la maison ?

C'est ca. Sur un pi zero, tu peux installer un satellite Snips, c'est à dire un module avec un micro array (Le respeaker 2 mic array a 10€ est très bien) et un petit haut-parleur, pour discuter avec, et qui communiquera avec un serveur snips, qui se chargera de decoder ce que tu dis, et d'envoyer tes demandes décodées aux Apps de l'assistant que tu auras créé et entrainé sur le site de snips et téléchargé ton serveur. Ensuite, les Apps feront des actions en fonction des intents (pour simplifier)
Dans notre cas, c'est l'App JeedomOfficial. (Tu peux installer plusieurs Apps dans un assistant.

3. Que veut dire exactement Skills, forker l'app, les intents? si quelqu’un à un site de traduction de vocabulaire  je suis preneur j'ai lu depuis le debut le fil de discution mais je manque de vocabulaire technique

Skils = Apps = aussi une actions que peux faire l'App. Je crois que pour unifier, Snips a tout appelé App.
Concernant l'App JeedomOfficial, elle ne fait rien d'autre que d'envoyer les resultats des intents sur le réseau Mqtt. Et c'est le plugin Jeedom qui les interprette. Pas de Skills (code) dans ce cas.

Forker une App consiste à en faire une copie pour toi. Il faut aussi forker les intents qui la compose.
Ca veut dire que si le développeur deploye une nouvelle version, tu n'en profitera pas si tu as forké l'app.
Mais idem, dans le cas de l'App JeedomOfficial, elle ne fait rien d'autre que de contenir une liste d'Intents et de slots.
Donc tu peux la forker, ainsi que les intents. Et modifier intents et slots à ta guise, sans risque.

Un intent consiste en un regroupement de phrase d'entrainement, composées de variables, et les slots permettent de définir des valeurs pour certaines variables.
Exemple :
Une phrase "Eteins la lumière de la de la [cuisine](house_room)" dans l'intent "LightSetJeedom" qui contient le slot house_room.
Et si le slot house_room contient les valeurs : salon, salle de bain, cuisine, chambre
Et bien snips comprendra l'ordre pour toutes ces pieces, avec une seule phrase. Un peu comme les interractions jeedom.
Et il activera donc l'intent LightSetJeedom avec le slot house_room = cuisine.
Il ne restera plus qu'a créer le binding pour l'intent LightSetJeedom avec la condition house_room = cuisine qui devra actionner l'action on de l'équipement lumiere cuisine de jeedom. Ou mieux : il actionnera un scenario qui fera plein de choses (ne pas allumer la lumiere si il fait jour, si personne a la maison, etc..)

4. Lorsque l’on installe Snips et que l’on configure Jeedom, lors d’ajout de dispositifs Jeedom ou de nouvelles interactions il faut remettre à jour Snips ? comment cela se passe ? une reinstall total ? ou une mise a jour en cliquant sur un bouton ?

Pour l'instant, snips n'utilise pas les interractions jeedom. Il faut créer son propre binding.
Si tu ajoutes une nouvelle piece a ta maison, ou un equipement inconnu dans les slots : oui, il faudra modifier ton App Jeedom dans Snips , pour réentrainer les intents, et la retélécharger sur le serveur snips. Et coté jeedom, a moins d'avoir ajouté des intents, pas besoin de recharger. Il faudra juste ajouter les conditions des nouvelles pieces ou equipements dans les bindings.
Mais si tu as deja une piece cuisine, et comme tu as deja un intent pour allumer et eteindre la lumiere, imaginons que tu décide de domitiser la lumiere de la cuisine, tu n'as rien a faire d'autre que de rajouter le binding dans le plugin snips de jeedom.

Il est plusieurs fois fait mention de documentation en français mais je ne la trouve pas, est elle disponible ou pas encore ? car je peche un peu dans le tout anglais qui devient par moment très technique.
Pach

Snips se concentre sur le développement de leurs produits et ils vont donc d'abord à l'essentiel : le produit et les langues le plus parlé. L'anglais donc..
La doc est donc uniquement dispo en anglais pour le moment. Mais elle est très complète.
Perso, je préfère ca que le contraire que l'on voit beaucoup plus souvent : une doc multilingues, mais pas a jour ou incomplète.

[chsalmon]

@chsalmon
j'utilise cet outil : https://github.com/Psychokiller1888/satConnect
j'ai pas cherché s'il y a une alternative, c'est simple à utiliser. en gros cela se charge de configurer les settings snips.
quand tu rajoutes un satellite, il faut recharger l'assistant dans le plugin jeedom pour voir apparaitre le nouveau satellite dans le plugin (en tout cas j'avais eu besoin de faire ce refresh)

Merci ça fonctionne.
j'ai un peu galérer pour tout mettre à jour mais ça marche.
Le Respeaker 2 fonctionne bien.
Au moins pour le satellite, je ne peux pas trop tester le serveur, tout le monde dors et ce n'est pas tres discret
Par contre, comment on peut choisir le TTS dans jeedom pour répondre à celui à qui on a parlé ? c'est en dur dans les action binding jeedom ?
Si j'envoi sur #[Snips-Intents][Snips-TTS-satellite1][say]# ça va toujours faire parler le satellite, meme si je commande à partir du serveur ?

[fwehrle]

Pour l'instant, on peut choisir le satellite de retour, mais dans la prochaine version du plugin, qui sera dispo d'ici la fin de semaine je pense, on pourra choisir de vocaliser sur le satellite d'origine de la demande.
Cela dit, tu peux deja le faire en lancant une commande TTS depuis le scenario, en fonction du siteId.

[chsalmon]

Merci, c'est une bonne nouvelle.
Effectivement on peut utiliser le siteid, mais j'attendrais le nouveau plugin du coup.

Dernière question pour ceux qui savent...
comment on fait pour que les LED du respeaker 2 s'allument lors de la reconnaissance du mot clé ?
il y a d'autre chose à installer que le driver du respeaker ? ou du paramétrage dans snips ?

Edit: https://github.com/respeaker/mic_hat : j'ai peut etre pas fais ça : Use raspi-config to enable SPI. ? je regarde ce soir en rentrant...
Edit 2 : il faut installer ça ? : https://github.com/snipsco/snips-skill-respeaker sur le satellite ?

merci

[chsalmon]

Merci, c'est une bonne nouvelle.
Effectivement on peut utiliser le siteid, mais j'attendrais le nouveau plugin du coup.

Dernière question pour ceux qui savent...
comment on fait pour que les LED du respeaker 2 s'allument lors de la reconnaissance du mot clé ?
il y a d'autre chose à installer que le driver du respeaker ? ou du paramétrage dans snips ?

Edit: https://github.com/respeaker/mic_hat : j'ai peut etre pas fais ça : Use raspi-config to enable SPI. ? je regarde ce soir en rentrant...
Edit 2 : il faut installer ça ? : https://github.com/snipsco/snips-skill-respeaker sur le satellite ?

Edit 3 : Si je met #[Snips-Intents][Snips-TTS-main][say]# (le serveur) ça fonctione parfaitement, il me répond sur le device où j'ai parlé (même sur le satelitte), donc pas de problème pour le TTS.

merci

[chsalmon]

Bon, ça ne fonctionne pas en installant https://github.com/snipsco/snips-skill-respeaker
Je suppose que ça s'installe sur le satellite, mais c'est pas bon.

Code : Tout sélectionner

pi@snipssat1:~ $ sam install skills -g https://github.com/snipsco/snips-skill-respeaker.git
Checking for skills
â Error reading the Snipsfile for skills, reason: cat: /usr/share/snips/assistant/Snipsfile.yaml: No such file or directory
Cloning skill from url: https://github.com/snipsco/snips-skill-respeaker.git
Already up-to-date.

Generating virtual environment for python actions done
â Error setting up virtualenv, one or more actions might not be able to run. Reason :
Could not find a version that satisfies the requirement hermes_python>=0.1 (from -r requirements.txt (line 1)) (from versions: )
No matching distribution found for hermes_python>=0.1 (from -r requirements.txt (line 1))

Checking actions for end-user parameters
Relaunching snips-skill-server
â Error: No assistant installed

c'est pas grave, le principal fonctionne a peu pres...

[fwehrle]

Bon, ça ne fonctionne pas en installant https://github.com/snipsco/snips-skill-respeaker
Je suppose que ça s'installe sur le satellite, mais c'est pas bon.

Code : Tout sélectionner

pi@snipssat1:~ $ sam install skills -g https://github.com/snipsco/snips-skill-respeaker.git
Checking for skills
â Error reading the Snipsfile for skills, reason: cat: /usr/share/snips/assistant/Snipsfile.yaml: No such file or directory
Cloning skill from url: https://github.com/snipsco/snips-skill-respeaker.git
Already up-to-date.

Generating virtual environment for python actions done
â Error setting up virtualenv, one or more actions might not be able to run. Reason :
Could not find a version that satisfies the requirement hermes_python>=0.1 (from -r requirements.txt (line 1)) (from versions: )
No matching distribution found for hermes_python>=0.1 (from -r requirements.txt (line 1))

Checking actions for end-user parameters
Relaunching snips-skill-server
â Error: No assistant installed

c'est pas grave, le principal fonctionne a peu pres...

Je sais que ca peut se faire directement via mqtt, mais je ne sais pas faire, et je n'ai pas encore eu le temps de chercher.
Mais si tu trouves, ca serait sympa de partager ici.

[scalz]

@chsalmon
on dirait que tout n'est pas prêt pour lancer des skills.
as-tu fait ? sam install actions
ou si ça ne suffit pas, essaie dans ton assistant sur la console snips, d'ajouter une app avec action (je pense que tu n'en as pas encore d'installée).
ensuite:
sam install assistant
sam install actions (au cas où)
sudo systemctl restart snips* (au cas où)
sam status (le skills server devrait être en route)

Si ok, alors relance ta commande pour installer la skill que tu voulais..

mais j'avoue je n'ai pas essayé d'installer cette skill, j'utilise les leds directement dans le code d'une skill sur laquelle je bosse pour l'instant..
concernant un topic mqtt pour piloter les leds, en natif dans snips, j'ai pas vu ça. il y a pour la notif audio. (qu'on me corrige)

[chsalmon]

Il faut le faire aussi pour un satellite ?
parce que j'ai le Snips principal (serveur) sur un autre Raspberry qui fonctionne aussi, il répond bien aux demandes et fait bien les actions.
Là c'est pour le satellite. Il fonctionne bien, je voulais juste que les led s'allument.

[fwehrle]

@scalz : pour ma part, j'ai installé la skills comme indiqué sans problème sur le Hub Pi3. Mais rien ne s'allume, même après restart des services.
Pourtant, quand je test la led avec le script de seedstudio, ca marche bien.
J'ai egalement essayé de mettre le path du fichier de configuration config.json dans le fichier config.ini, sans succès.
Quelqu'un a réussi ?
Pour le satellite, j'imagine qu'il faudra également l'installer dessus (et donc skills-server)

[pachira25]

@fwehrle

Un grand merci à toi pour tes explications ! c'est beaucoup plus claire maintenant !
il me faut donc encore acheter un rpi3 pour le serveur. j'ai hâte de découvrir le monde de Snips quand j'aurai reçu le matériel !

[SnakeLeBlanc]

Salut à tous,

est ce que l un d'entre vous a déjà testé sur une OPI type PCPLUS ou 2E ?
cette question, car j'essaie de faire l'installation, mais n'étant pas bien calé, je vous avoue que ça me parait un peu complexe.
Merci

[fwehrle]

Tiens, je viens juste de découvrir qu'on pouvait changer le mode des bindings : snips binding ou... jeedom interractions!
(En fait, le bouton ne réagit pas : il faut cliquer dessus, et enregistrer, puis rafraichir..)
Mais je n'ai rien vu dans la doc a ce sujet.. Et je ne sais pas comment utiliser le mode interraction. Une petite explication?

[maxredphenix]

Bonsoir tout le monde.
Bon j'ai enfin SNIPS d'installé, tout est OK sur mon RPI avec pour le moment un JABRA 410

Merci Arnog23 pour la commande sudo apt-get update && sudo apt-get upgrade snips-platform-voice qui m'a supprimée mon disable sur le snips-skills-server !!!

Par contre, j'ai un léger souci sur la compréhension des phrases ainsi que sur le retour (même si c'est assez drôle).
En effet, j'ai beau parler lentement ou rapidement, attendre un peu après le mot clé, la phrase n'est pas totalement prise en compte.

Pareil le retour TTS automatique ou manuel si je clique sur lecture dans le binding c'est .. particulier. La phrase est lue tellement vite qu'on dirait un chipmunks (désolé pour la référence ). Donc c'est assez rôle, mais pas pratique.

Par contre le micro du JABRA est impressionant, le mot clé est détecté dans ma salle qui est à 8m de ma chambre avec 2 obstacles

voila ce que me donne SAM en temps réel :

Capture.JPG (156.51 Kio) Consulté 1789 fois

Pour Jeedom

Capture1.JPG (54.59 Kio) Consulté 1789 fois

Et donc forcément pas d'allumage de la lumière...

[arnog23]

Bonsoir,

@maxredphenix

Pour ton soucis de son en accéléré, regarde ici, j'avais le même souci.

viewtopic.php?p=641659#p641659

[SnakeLeBlanc]

Je me réponds et je pense que d autres ont dû chercher aussi

Currently, snips only support running on a Raspberry Pi, so if you would have two systems on one device, it has to be a Raspberry Pi. If you have a separate configuration, the one running snips has to be a Raspberry Pi 3(+

Bon ben voilà !! Il suffisait de trouver la bonne page

[chsalmon]

Moi j'essai de fais tourner le serveur sur une VM (VMWARE ESXI) debian 8 amd64 , mais ça ne fonctionne pas, j'ai un probleme avec le service NLU :

Code : Tout sélectionner

Aug 25 11:36:57 SnipsServer snips-nlu[2865]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: -> caused by: Expected model version 0.15.0 but found 0.16.0

Le reste semble ok, en tout cas comme sur ma version Raspberry qui fonctionne:
(pas d'audio, c'est juste un serveur, j'ai un satellite )

Code : Tout sélectionner

OS version ................... Debian GNU/Linux 8 (jessie)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.56.4 (not running)
snips-asr .................... 0.56.4 (running)
snips-audio-server ........... 0.56.4 (not running)
snips-dialogue ............... 0.56.4 (running)
snips-hotword ................ 0.56.4 (running)
snips-nlu .................... 0.56.4 (not running)
snips-skill-server ........... 0.56.4 (running)
snips-tts .................... 0.56.4 (running)

et dans le fichier /usr/share/snips/assistant/assistant.json j'ai le parametre :

Code : Tout sélectionner

.../...
 "version" : {
    "nluModel" : "0.16.0"
  },
  "platform" : {
    "type" : "raspberrypi"
  },
  .../...
  

Donc je suppose que ça n'est pas compatible avec Debian ?
j'ai fais des "sam update-assistant" , "sam install assistant" et autre "sudo apt-get update && sudo apt-get upgrade snips-platform-voice" mais rien n'y fait.

quelqu'un l'a dejà fait fonctionné sur une VM ?


Edit:

Sur le raspberry, je suis en version 0.58.3 , c'est pas à jour sur les paquets Debian ?

Code : Tout sélectionner

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.58.3 (not running)
snips-asr .................... 0.58.3 (running)
snips-audio-server ........... 0.58.3 (running)
snips-dialogue ............... 0.58.3 (running)
snips-hotword ................ 0.58.3 (running)
snips-nlu .................... 0.58.3 (running)
snips-skill-server ........... 0.58.3 (not running)
snips-tts .................... 0.58.3 (running)

Edit:

Ca fonctionne !
j'ai remis rasbian dans snips.list

Code : Tout sélectionner

#deb https://debian.snips.ai/jessie stable main
deb https://raspbian.snips.ai/stretch stable main

et refait une mise à jour sudo apt-get --reinstall install -y snips-nlu (qui m'a tout reinstallé du coup)
et ça fonctionne.

c'est bizarre parce que j'avais du mettre les paquets debian (deb https://debian.snips.ai/jessie stable main) pour la premiere installe, surement que ça avait installé les bonnes dependances...
Bref, c'est bon sur mon serveur Debian.

[fwehrle]

Hello,

Juste pour vous dire qu'en plus des interractions et de la possibilité de vocaliser directement scenario_return, CoorFang viens d'ajouter la gestion du Ask au plugin!
Il faut créer une intent de réponse, avec un slot avec par ex. oui et non dedans (et des synonymes). On pourra bien entendu mettre les réponses que l'on veux, mais faudra les gérer ensuite dans les scénarios. Je vous conseille de faire un intent/slot séparé pour oui/non, et le reste dans d'autres intents.

Capture d’écran 2018-08-25 à 16.29.23.png (224.45 Kio) Consulté 1742 fois

Ensuite, on met l'assistant à jour sur snips et sur jeedom, et on créé un binding sans condition, qui remplit juste une variable de réponse avec le slot.

Capture d’écran 2018-08-25 à 16.29.40.png (709.46 Kio) Consulté 1742 fois

Et pour finir, le ask dans les scénario se rempli comme suit...

Capture d’écran 2018-08-25 à 16.29.49.png (214.3 Kio) Consulté 1742 fois

Petite astuce : il faut rajouter le nom du compte a qui appartient l'app JeedomOfficial, ou le votre si l'app est forké.

Testé et approuvé.

[Tristan35]

Je viens de faire un test, c'est excellent ^^ Merci !