[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[benj29]

Y a t'il des utilisateurs de plusieurs satellites en TTS - avec la fonction "say".
J'ai 4 satellites dans la maison et je suis assez étonné du délai quand je veux lire le même message dans plusieurs HP.
C'est pas terrible quand deux satellites sont proches (par exemple, entrée & garage).

[Jeandhom]

Pour ceux qui réinstallent souvent les dépendances du plugin snips : viewtopic.php?f=154&t=41740&p=689840#p689840

[maxredphenix]

Bonsoir à tous,

J'ai suivi le tuto suivant pour avoir un SNIPS en maitre sur une VM et pour le moment 1 satellite sur un RPI3.
https://www.coxprod.org/domotique/insta ... s-snips/4/

Les 2 étaient fonctionnels avant le "couplage" en mode A pour le satellite
J'ai bien tout respecté et pourtant quand je prononce Jarvis maintenant... rien, je n'ai même pas de détection envoyé sur le réseau apparemment (PS: sur la capture snips-hotword est activé, mais c'était juste pour test entre temps..).

Est-ce que quelqu'un aurait une idée ?

Merci

snips.JPG (105.91 Kio) Consulté 1515 fois

[maxredphenix]

Euh....
chose bizarre le fait de redémarrer comme indiquer à la fin du tuto me vide le fichier asound.conf (et après test, il se vide à chaque redémarrage)

Et idem : quand je fais aplay -l mon jabra 410 n’apparaît plus dans la liste donc logique que derrière sam watch ne détecte rien.
Du coup par logique snips-audio-server est en not running...

[maxredphenix]

AU final, si je remets à jour asound.conf et redémarre le serveur audio, je récupère une partie (test HP et micro OK sur mon JABRA 410) mais pourtant pas de détection du mot Jarvis...

[benj29]

T'as pas un souci de droits ?

Envoyé de mon JSN-L21 en utilisant Tapatalk

[benj29]

Petite astuce pour piloter le volume de vos satellites, soit par un cron en local sur chaque pi, soit depuis Jeedom en fonction de l'heure. J'ai un scénario global qui gère le TTS de la maison en fonction de l'heure.



Le numéro 1 est celui de mon HP.
Quand vous faites la commande sudo alsamixer puis choix de la carte. Le contrôle est PCM comme indiqué sur la copie d'écran.
Liste des contrôles avec la commande suivante :
sudo amixer scontrols

[maxredphenix]

T'as pas un souci de droits ?

Envoyé de mon JSN-L21 en utilisant Tapatalk

Pourtant non je n'ai pas l'impression, je suis bien en root en plus

[benj29]

Bizarre que ton fichier asound se vide.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[maxredphenix]

Euh je comprends pas pourquoi je n'ai plus accès à Alsa...

alsamixer.JPG (45.34 Kio) Consulté 1452 fois

[cedcox]

@maxredphenix : Le plus simple pour un diag serait que tu viennes sur le discord de snips car sinon, on va surcharger le post

https://discordapp.com/invite/XRFcuHe

Ced

[maxredphenix]

@maxredphenix : Le plus simple pour un diag serait que tu viennes sur le discord de snips car sinon, on va surcharger le post

https://discordapp.com/invite/XRFcuHe

Ced

Merci pour ton aide.
Je viens de commencer sur Discord

[maxredphenix]

Encore un GRAND merci à Cedcox qui m'a résolu mes problèmes

Pour ceux qui ont un JABRA 410 :
Ne surtout pas installer les drivers seed-voicecard.
Cela générait un problème pour le asound.conf. Il se vidait de toute configuration à chaque redémarrage du PI3

Code : Tout sélectionner

$ sudo apt-get install git
$ cd
$ git clone https://github.com/respeaker/seeed-voicecard.git

Et sinon le asound.conf avec un TTS normal et non en accéléré !!!!

Code : Tout sélectionner

pcm.!default {
   type asym
   playback.pcm {
      type plug
      slave {
        pcm "hw:1,0"
        rate 48000
        format "S16_LE"
      }
   }
   capture.pcm {
   type plug
   slave.pcm "hw:1,0"
   }
}

[cedcox]

@maxredphenix : Je viens de voir sur le discord que tu avais un soucis avec le plugin snips-jeedom.

Tu trouveras plus d'experts ici pour ce plugin. Je n'utilise plus jeedom, je ne vais donc pas pouvoir t'aider beaucoup plus même si je pourrais essayer de jeter un oeil.
Tu peux aussi poster un message sur le forum snips ici : https://forum.snips.ai/c/home-automation/jeedom-fr
Le français y est autorisé.

Les logs d'installation du plugins snips sont sur ton jeedom. Je ne sais pas trop pourquoi il veut installer mosquitto sur jeedom mais peut-être est ce mosquitto client et non le serveur. Et c'est normal que tu n'aies pas ça sur ton snips car il est déjà dans les sources officielles (pas besoin de repo)

Pour la seconde image, l'erreur peut être due au fait que snips n'a pas reçu le "end-session", c'est à dire que le plugin jeedom n'a pas fait ce qu'il devrait faire. Certainement un problème de configuration.

Il y a une vidéo si au cas où tu ne l'avais pas vu : https://www.youtube.com/watch?v=6CprakYJZEU

Si tu ne t'en sors pas, dis moi et j'essaierai de jeter un oeil.

En attendant, normalement dans jeedom tu as la possibilité de passer les logs en "debug", c'est à dire des logs plus complètes. Active cette option pour le plugin jeedom et regarde dedans si tu ne vois pas un truc qui cloche

Ced

[benj29]

Salut cedcox,

Tu utilises quoi ?

Envoyé de mon JSN-L21 en utilisant Tapatalk

[maxredphenix]

@maxredphenix : Je viens de voir sur le discord que tu avais un soucis avec le plugin snips-jeedom.

Tu trouveras plus d'experts ici pour ce plugin. Je n'utilise plus jeedom, je ne vais donc pas pouvoir t'aider beaucoup plus même si je pourrais essayer de jeter un oeil.
Tu peux aussi poster un message sur le forum snips ici : https://forum.snips.ai/c/home-automation/jeedom-fr
Le français y est autorisé.

Les logs d'installation du plugins snips sont sur ton jeedom. Je ne sais pas trop pourquoi il veut installer mosquitto sur jeedom mais peut-être est ce mosquitto client et non le serveur. Et c'est normal que tu n'aies pas ça sur ton snips car il est déjà dans les sources officielles (pas besoin de repo)

Pour la seconde image, l'erreur peut être due au fait que snips n'a pas reçu le "end-session", c'est à dire que le plugin jeedom n'a pas fait ce qu'il devrait faire. Certainement un problème de configuration.

Il y a une vidéo si au cas où tu ne l'avais pas vu : https://www.youtube.com/watch?v=6CprakYJZEU

Si tu ne t'en sors pas, dis moi et j'essaierai de jeter un oeil.

En attendant, normalement dans jeedom tu as la possibilité de passer les logs en "debug", c'est à dire des logs plus complètes. Active cette option pour le plugin jeedom et regarde dedans si tu ne vois pas un truc qui cloche

Ced

Bonjour Cedcox,

Merci pour tes infos, je vais regarder à mon retour à midi et te tient au courant rapidement.
Après ton intervention d'hier j'y suis presque

@Benj29 : j'allais être aussi curieux que toi sûrement Openhab vu le tuto sur son site.

[cedcox]

Hello,

En me relisant, je vois que je parle du "plugin jeedom".

Bien évidemment, c'est le plugins snips dans jeedom dont je souhaite parler ^^

@maxredphenix : Tiens nous au courant de ce que tu as trouvé

Ced

[benj29]

Et il nous dira ce qu'il utilise !!!

[maxredphenix]

Hello,

En me relisant, je vois que je parle du "plugin jeedom".

Bien évidemment, c'est le plugins snips dans jeedom dont je souhaite parler ^^

@maxredphenix : Tiens nous au courant de ce que tu as trouvé

Ced

Alors voila ce que donne SAM WATCH :
Détection correcte de la phrase et des 2 paramètres (pièce : chambre parentale et action de type lumière)

Code : Tout sélectionner

pi@snips-sat-salle:~ $ sam watch
[11:03:24] Watching on snips-vm1:1883 (MQTT)
[11:03:37] [Hotword] detected on site salle, for model default
[11:03:37] [Asr] was asked to stop listening on site salle
[11:03:37] [Hotword] was asked to toggle itself 'off' on site salle
[11:03:37] [Dialogue] session with id '6939fa8d-4bb7-46cf-b9da-a6a07e7ade26' was started on site salle
[11:03:37] [AudioServer] was asked to play a wav of 41.1 kB with id 'd4839c93-f615-4683-9802-4d0195d0a43e' on site salle
[11:03:38] [AudioServer] finished playing wav with id 'd4839c93-f615-4683-9802-4d0195d0a43e'
[11:03:38] [Asr] was asked to listen on site salle
[11:03:42] [Asr] captured text "allume la lumière de la chambre parentale" in 3.0s
[11:03:42] [Asr] was asked to stop listening on site salle
[11:03:42] [AudioServer] was asked to play a wav of 93.1 kB with id '0a45bcc3-bda3-4133-860f-998de2770841' on site salle
[11:03:43] [AudioServer] finished playing wav with id '0a45bcc3-bda3-4133-860f-998de2770841'
[11:03:43] [Nlu] was asked to parse input "allume la lumière de la chambre parentale"
[11:03:43] [Nlu] detected intent valf:TurnOnJeedom with probability 1.000 for input "allume la lumière de la chambre parentale"
              Slots ->
                 device_name -> lumière (confidence: 1.000)
                  house_room -> chambre parentale (confidence: 1.000)
[11:03:43] [Dialogue] New intent detected valf:TurnOnJeedom with probability 1.000
              Slots ->
                 device_name -> lumière (confidence: 1.000)
                  house_room -> chambre parentale (confidence: 1.000)
[11:03:43] [Dialogue] was ask to end session with id 6939fa8d-4bb7-46cf-b9da-a6a07e7ade26 by saying 'Désolé, je ne trouve pas les actions !'
[11:03:43] [Tts] was asked to say "Désolé, je ne trouve pas les actions !"
[11:03:43] [AudioServer] was asked to play a wav of 83.9 kB with id 'eda92767-7e20-4986-aa66-ba68c3715fa1' on site salle
[11:03:46] [AudioServer] finished playing wav with id 'eda92767-7e20-4986-aa66-ba68c3715fa1'
[11:03:46] [Tts] finished speaking with id '0aaefc43-b954-47cd-a159-c844a95583b4'
[11:03:46] [Dialogue] session with id '6939fa8d-4bb7-46cf-b9da-a6a07e7ade26' was ended on site salle. The session ended as expected
[11:03:46] [Asr] was asked to stop listening on site salle
[11:03:46] [Hotword] was asked to toggle itself 'on' on site salle

Et pour ce qui est du plugin SNIPS :

Code : Tout sélectionner

[2019-01-28 12:03:37][DEBUG] : [logmq] code: 16 : Client mosq/[43vQa?^Jw55QbW8O9 received PUBLISH (d0, q0, r0, m0, 'hermes/hotword/default/detected', ... (169 bytes))
[2019-01-28 12:03:37][DEBUG] : [message] Received message. Topic:hermes/hotword/default/detected
[2019-01-28 12:03:37][DEBUG] : [message] Set salle => snipsMsgSiteId
[2019-01-28 12:03:37][DEBUG] : [logmq] code: 16 : Client mosq/[43vQa?^Jw55QbW8O9 received PUBLISH (d0, q0, r0, m0, 'hermes/dialogueManager/sessionStarted', ... (119 bytes))
[2019-01-28 12:03:37][DEBUG] : [message] Received message. Topic:hermes/dialogueManager/sessionStarted
[2019-01-28 12:03:37][DEBUG] : [message] Set salle => snipsMsgSiteId
[2019-01-28 12:03:43][DEBUG] : [logmq] code: 16 : Client mosq/[43vQa?^Jw55QbW8O9 received PUBLISH (d0, q0, r0, m0, 'hermes/intent/valf:TurnOnJeedom', ... (1307 bytes))
[2019-01-28 12:03:43][DEBUG] : [message] Received message. Topic:hermes/intent/valf:TurnOnJeedom
[2019-01-28 12:03:43][DEBUG] : [message] Set salle => snipsMsgSiteId
[2019-01-28 12:03:43][DEBUG] : [message] Find a snips device which is not in the list:salle
[2019-01-28 12:03:43][DEBUG] : [postSave] post saved
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Intent:valf:TurnOnJeedom siteId:salle sessionId:6939fa8d-4bb7-46cf-b9da-a6a07e7ade26
[2019-01-28 12:03:43][DEBUG] : [extractSlotsValues] Checking slots: device_name
[2019-01-28 12:03:43][DEBUG] : [extractSlotsValues] No, this does not exist in the array :device_name
[2019-01-28 12:03:43][DEBUG] : [extractSlotsValues] Checking slots: house_room
[2019-01-28 12:03:43][DEBUG] : [extractSlotsValues] No, this does not exist in the array :house_room
[2019-01-28 12:03:43][DEBUG] : [setSlotsCmd] Set slots cmd values
[2019-01-28 12:03:43][DEBUG] : [setSlotsCmd] Slots name is :device_name
[2019-01-28 12:03:43][DEBUG] : [setSlotsCmd] Slots name is :house_room
[2019-01-28 12:03:43][DEBUG] : [executeCallbackScenario]  Intent: valf:TurnOnJeedom
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Cur binding name : Commande Conditionnelle
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Binding count is : 1
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Snips count is : 2
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Cur binding name : Commande non Conditionnelle
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Binding count is : 0
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Snips count is : 2
[2019-01-28 12:03:43][DEBUG] : [generateFeedback] Generating feedback text
[2019-01-28 12:03:43][DEBUG] : [generateFeedback] The 0 variable cmd is not set
[2019-01-28 12:03:43][DEBUG] : [playTTS] Player: #[Snips-Intents][Snips-TTS-salle][say]# Message: Désolé, je ne trouve pas les actions ! Title: default
[2019-01-28 12:03:43][DEBUG] : [execute] cmd: say
[2019-01-28 12:03:43][DEBUG] : [execute] siteId: salle asked to say :Désolé, je ne trouve pas les actions !
[2019-01-28 12:03:43][DEBUG] : [sayFeedback] Publish: Désolé, je ne trouve pas les actions !
[2019-01-28 12:03:43][DEBUG] : [publish] published message: {"text":"D\u00e9sol\u00e9, je ne trouve pas les actions !","sessionId":"6939fa8d-4bb7-46cf-b9da-a6a07e7ade26"} to topic: hermes/dialogueManager/endSession
[2019-01-28 12:03:44][DEBUG] : [resetSlotsCmd] Reset all the slots
[2019-01-28 12:03:44][DEBUG] : [resetSlotsCmd] Set  => snipsMsgSiteId
[2019-01-28 12:03:46][DEBUG] : [logmq] code: 16 : Client mosq/[43vQa?^Jw55QbW8O9 received PUBLISH (d0, q0, r0, m0, 'hermes/dialogueManager/sessionEnded', ... (122 bytes))
[2019-01-28 12:03:46][DEBUG] : [message] Received message. Topic:hermes/dialogueManager/sessionEnded
[2019-01-28 12:03:46][DEBUG] : [message] Set salle => snipsMsgSiteId

Quand on regarde les on dirait que le plugin fait son boulot car la commande s'exécute et le scénario associé aussi :
Les commandes dans le plugin snips :

commande Lightset.JPG (79.71 Kio) Consulté 1320 fois

Les log du scénario :

Code : Tout sélectionner

[2019-01-28 11:55:25][SCENARIO] Start : Lancement provoque.
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [condition] : if
[2019-01-28 11:55:25][SCENARIO] Evaluation de la condition : [""== ""] = Vrai
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [action] : then
[2019-01-28 11:55:25][SCENARIO] Exécution d'un bloc élément : 208
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [condition] : if
[2019-01-28 11:55:25][SCENARIO] Evaluation de la condition : [""=="default" OU ""=="null"] = Faux
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [action] : else
[2019-01-28 11:55:25][SCENARIO] Affectation de la variable snips_house_room =>  = 
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [condition] : if
[2019-01-28 11:55:25][SCENARIO] Evaluation de la condition : [""=="LightsSetJeedom"] = Faux
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [action] : else
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [condition] : if
[2019-01-28 11:55:25][SCENARIO] Evaluation de la condition : [""=="LightsTurnOffJeedom"] = Faux
[2019-01-28 11:55:25][SCENARIO] Exécution du sous-élément de type [action] : else
[2019-01-28 11:55:25][SCENARIO] Fin correcte du scénario

Le scénario

scenario.JPG (163.76 Kio) Consulté 1320 fois

[cedcox]

Alors, voici une première idée mais je n'ai pas de console pour vérifier les intents de l'appli jeedom dans la console snips mais :

Code : Tout sélectionner

[2019-01-28 12:03:43][DEBUG] : [executeCallbackScenario]  Intent: valf:TurnOnJeedom

Il me semblait que pour allumer la lumière, l'intent était plutôt LightsSetJeedom.
Il faut voir avec les experts d'ici qui vont confirmer ou infirmer qu'il s'agit du mauvais intent.

Je dirai donc qu'il y'a peut-être un premier problème à résoudre de ce côté.

L'autre point, je vois

Code : Tout sélectionner

Intent: valf:TurnOnJeedom

ce qui me fait penser que tu n'utilise pas la dernière version de l'app qui est sous le nom de snips (et non plus valf) désormais et que l'intent devrait plutôt être

Code : Tout sélectionner

 snips:LightsSetJeedom

Là encore, les spécialistes sur le forum me corrigeront si je dis une ânerie

Il me semble avoir vu passer sur ce post un problème justement avec un mélange de pinceau pour l'allumage des lumières entre les 2 intents mais qui étaient corrigé avec la dernier app jeedom et le dernier plugins snips pour jeedom.

Les logs ci dessous doivent indiquer une piste mais je connais pas assez le plugin pour savoir quoi :

Code : Tout sélectionner

[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Cur binding name : Commande Conditionnelle
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Binding count is : 1
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Snips count is : 2
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Cur binding name : Commande non Conditionnelle
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Binding count is : 0
[2019-01-28 12:03:43][DEBUG] : [findAndDoAction] Snips count is : 2

Comme il ne trouve pas ses billes, il te répond qu'il n'y arrive pas.

Code : Tout sélectionner

[2019-01-28 12:03:43][DEBUG] : [generateFeedback] Generating feedback text
[2019-01-28 12:03:43][DEBUG] : [generateFeedback] The 0 variable cmd is not set
[2019-01-28 12:03:43][DEBUG] : [playTTS] Player: #[Snips-Intents][Snips-TTS-salle][say]# Message: Désolé, je ne trouve pas les actions ! Title: default

Voilà, je ne suis pas d'une grande aide, et j'espère que les experts ici pourront t'aider. Ne pas hésiter à poster la même chose sur le forum de snips dans la catégorie que j'ai cité plus haut pour multiplier les chances de résolutions

Ced