[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[toufou]

Salut,
Pour le retour feedback, c'est pour ca que je l'ai mis off pour tester. Si le feedback est off, dans le log il ne devrait pas y avoir les deux lignes de l'audioserver indiquant qu'il a recu la demande de jouer un son, si?

Par contre pour les gafa, je ne suis pas d'accord,au moins pour google. J'ai un google home et je peux enchainer une phrase entiere sans pause, tout est reconnu, c'est d'ailleurs ce que je fais tout le temps. Ce n'était pas le cas à sa sortie mais maintenant on peut tout enchainer. D'ailleurs il a fallu que je m'y habitue car j'avais l'habitude de mettre une pause dans mes phrases

[Laregie]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

Effectivement strech est passé à systemd pour faire cela.
Une recherche rapide sur google m'a donné ça: https://unix.stackexchange.com/question ... me-at-boot
Je te laisse creuser un peu, n'ayant pas de conf pour tester chez moi.

Ok merci.
J'essaie ça ce soir.

[glou]

Salut,
Pour le retour feedback, c'est pour ca que je l'ai mis off pour tester. Si le feedback est off, dans le log il ne devrait pas y avoir les deux lignes de l'audioserver indiquant qu'il a recu la demande de jouer un son, si?

Par contre pour les gafa, je ne suis pas d'accord,au moins pour google. J'ai un google home et je peux enchainer une phrase entiere sans pause, tout est reconnu, c'est d'ailleurs ce que je fais tout le temps. Ce n'était pas le cas à sa sortie mais maintenant on peut tout enchainer. D'ailleurs il a fallu que je m'y habitue car j'avais l'habitude de mettre une pause dans mes phrases

je valide pour ghome
"ok google met telle playlist" , ca fonctionne tres bien sans arret dans l'enchainement

[valentinf]

Salut,
Pour le retour feedback, c'est pour ca que je l'ai mis off pour tester. Si le feedback est off, dans le log il ne devrait pas y avoir les deux lignes de l'audioserver indiquant qu'il a recu la demande de jouer un son, si?

Par contre pour les gafa, je ne suis pas d'accord,au moins pour google. J'ai un google home et je peux enchainer une phrase entiere sans pause, tout est reconnu, c'est d'ailleurs ce que je fais tout le temps. Ce n'était pas le cas à sa sortie mais maintenant on peut tout enchainer. D'ailleurs il a fallu que je m'y habitue car j'avais l'habitude de mettre une pause dans mes phrases

je valide pour ghome
"ok google met telle playlist" , ca fonctionne tres bien sans arret dans l'enchainement

Au temps pour moi, ça fais longtemps que je ne l'ai pas utilisé la GH du bureau Ils ont du changer ça, c'est aussi quelque chose sur laquelle on travaille mais pour le moment y'a un temps d'attente entre les deux

[valentinf]

Salut,
Pour le retour feedback, c'est pour ca que je l'ai mis off pour tester. Si le feedback est off, dans le log il ne devrait pas y avoir les deux lignes de l'audioserver indiquant qu'il a recu la demande de jouer un son, si?

Si je pense que si, il ne le joue juste pas.

[valentinf]

Pour ceux qui estiment avoir un délai après le hey snips, pourriez vous nous fournir les logs svp?

Code : Tout sélectionner

sam watch

les délais sont uniquements dans une config Master + satellite? Ou juste le master? Si oui quel appareil utilisez vous pour le master et pour le satellite? Le wakeword est en local sur le satellite ou sur le master?

Plus vous nous fournissez d'infos/logs mieux ça sera

Merci

Bon, j'ai attendu que toutle monde soit couché pour parler tout seul!

Ma configuration:
- Serveur VM (Debian Stretch sur proxmox) dédiée à SNIPS et seulement un lien avec jeedom. Pas d'audio dessus. J'ai arrêté le démon snips-audio-server qui mettait des insultes dans les logs.
- Satellite PiZero avec carte respeaker de seeed. Installé sur le mode A de la doc. J'ai rajouté des enceintes ce soir pour les tests.

Voici un extrait de snips-watch -vvvv

Code : Tout sélectionner

[00:54:10] [Hotword] detected on site snips-salon, for model hey_snips
[00:54:10] [Asr] was asked to stop listening on site snips-salon
[00:54:10] [Hotword] was asked to toggle itself 'off' on site snips-salon
[00:54:10] [Dialogue] session with id '755b3b18-9566-4f8b-8c32-2e66f29f09f3' was started on site snips-salon
[00:54:10] [AudioServer] was asked to play a wav of 41.1 kB with id '164fc0ef-121f-4aac-af53-7d60979ce6c3' on site snips-salon
[00:54:10] [AudioServer] finished playing wav with id '164fc0ef-121f-4aac-af53-7d60979ce6c3'
[00:54:10] [Asr] was asked to listen on site snips-salon
[00:54:14] [Asr] captured text "unknownword lumières" in 3.0s
[00:54:14] [Asr] was asked to stop listening on site snips-salon
[00:54:14] [AudioServer] was asked to play a wav of 93.1 kB with id 'b2844468-7efa-4425-8463-98051f438ed2' on site snips-salon
[00:54:15] [AudioServer] finished playing wav with id 'b2844468-7efa-4425-8463-98051f438ed2'
[00:54:15] [Nlu] was asked to parse input "unknownword lumières"

Dans cet exemple la capture du 1er mot n'a pas marché.
Un fois "hey snips" prononcé la ligne

Code : Tout sélectionner

[00:54:10] [AudioServer] was asked to play a wav of 41.1 kB with id '164fc0ef-121f-4aac-af53-7d60979ce6c3' on site snips-salon

apparait immédiatement.
Ensuite, la petite musique. Et là, parfois (1 fois sur 5 peut-être), il y a un très léger temps d'attente avant

Code : Tout sélectionner

[00:54:10] [Asr] was asked to listen on site snips-salon

et dans ce cas-là le début de l'ordre peut-être perdu.

Avec les enceintes (que je n'avait pas avant) l'enchainement est plus naturel. Sans ce retour, le temps d'attente est moins intuitif. Je referai un point si la situation change.

Après le "Hey Snips" attends un peu plus longtemps avant de parler, j'ai l'impression que cette latence (qu'on arrive pas à reproduire au bureau) est lié à une config VM (j'ai aussi un peu cette latence à la maison et je suis en VM sur NAS Qnap) + peut être qualité du wifi (mais j'y crois moins).

Au bureau j'essai avec le master en RPI3 et 4 sats en hotwords locals et j'ai aucun soucis de latence. Quelqu'un a-t-il de la latence en RPI3?

[toufou]

Salut,
Pour le retour feedback, c'est pour ca que je l'ai mis off pour tester. Si le feedback est off, dans le log il ne devrait pas y avoir les deux lignes de l'audioserver indiquant qu'il a recu la demande de jouer un son, si?

Si je pense que si, il ne le joue juste pas.

Si le feedback est off, la détection de l'action commence après la detection du hotword ou apres le delai "retour son " meme s'il est pas actif?

[valentinf]

Ce qui serait cool c'est que les LED fonctionnent aussi avec un pi zero (pour les satellites), parce qu'a priori il faut python hermes armv7 il me semble pour que ça fonctionne, donc un PI3...

Hello,

chez nous ça fonctionne sur les PI0 mais on est entrain de modifier quelque détails sur la plateforme pour que ça fonctionne publiquement,

La modif et la documentation sera publié d'ici quelques jours quand la release sera effective, ne vous inquietez pas pour les leds, tout sera bientôt fixés

[valentinf]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

ça pourrait t'intéresser: https://github.com/Thyraz/snips-volume

[fwehrle]

Après le "Hey Snips" attends un peu plus longtemps avant de parler, j'ai l'impression que cette latence (qu'on arrive pas à reproduire au bureau) est lié à une config VM (j'ai aussi un peu cette latence à la maison et je suis en VM sur NAS Qnap) + peut être qualité du wifi (mais j'y crois moins).

Au bureau j'essai avec le master en RPI3 et 4 sats en hotwords locals et j'ai aucun soucis de latence. Quelqu'un a-t-il de la latence en RPI3?

Quand je suis passé de la VM au pi3, j'ai noté une petite latence, mais il faudrait que je retest pour être sur..
Par contre, j'ai l'impression que le HW local a engendré pas mal d'instabilité que je ne sais pas identifié : je dois souvent insister plusieurs fois pour que le satellite réponde au HotWord, et parfois, il ne répond pas du tout.. Pourtant, tout est au vert..

[valentinf]

Après le "Hey Snips" attends un peu plus longtemps avant de parler, j'ai l'impression que cette latence (qu'on arrive pas à reproduire au bureau) est lié à une config VM (j'ai aussi un peu cette latence à la maison et je suis en VM sur NAS Qnap) + peut être qualité du wifi (mais j'y crois moins).

Au bureau j'essai avec le master en RPI3 et 4 sats en hotwords locals et j'ai aucun soucis de latence. Quelqu'un a-t-il de la latence en RPI3?

Quand je suis passé de la VM au pi3, j'ai noté une petite latence, mais il faudrait que je retest pour être sur..
Par contre, j'ai l'impression que le HW local a engendré pas mal d'instabilité que je ne sais pas identifié : je dois souvent insister plusieurs fois pour que le satellite réponde au HotWord, et parfois, il ne répond pas du tout.. Pourtant, tout est au vert..

Hmm pour ma part je n'en ai pas remarqué sur une config RPI3 en master et 4 sats avec le WW en local. Attention en revanche il est possible que si les sats sont éloignés du wifi (ou que vous avez peu de bande passante) cela n'arrange pas le problème de latence... Je pense qu'entre 1 et 4 sats, il est préférable d'avoir le WW sur la RPI3 et + de 4 en local mais ça dépend aussi de votre wifi ect.

Pour ton soucis, refais un essai en rapprochant ton satellite du wifi pour voir? Aussi as-tu touché à la sensibilité du micro?

[valentinf]

Info importante:

On a fait des tests de notre côté niveau latence, il est possible d'enchainer "hey snips (1 sec d'attente environ, voir moins) allume la lumière" mais pour cela il faut enlever le feedback audio car sinon il attends la fin de la note de musique pour commencer l'ASR.

Quand vous faites un

Code : Tout sélectionner

snips-watch -vvv

et que vous prononcez "Hey Snips" dés que vous voyez "[Asr] was asked to listen on site salon" alors ça veux dire que l'ASR est lancé et vous pouvez parler, selon nos tests sur une RPI3 c'est une question de 500ms à 1sec max.

1/ assurez-vous que vos satellites et Master ont une bonne connexion wifi
2/ assurez-vous que vous avez retirez l'audio feedback "sam sound-feedback off". Si vous avez fais la config avec des satellites la commande SAM audio-feedback off ne fonctionnera pas car vous avez changez les siteID ect ect, voici ce que vous devez faire:
- connectez vous en SSH sur votre master
- rentrez cette ligne de commande pour le master:

Code : Tout sélectionner

mosquitto_pub -h <VOTREHOSTNAME.LOCAL> -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "<VOTRESATELLITE"}'

dans notre cas de figure cela donnerait

Code : Tout sélectionner

mosquitto_pub -h salonval.local -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "salledebain"}'

- puis pour chaque satellite (restez en SSH sur la master):

Code : Tout sélectionner

mosquitto_pub -h salonval.local -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "<VOTRESATELLITE>"}'

tout en gardant le hostname du salon bien entendu.

Déjà sans le feedback audio vous allez améliorer la latence.

[benj29]

Hello,

Intéressé par le sujet, séduit par le côté privé.
Vous utilisez ça sur la même machine que Jeedom (j'ai lu que c'était déconseillé sur l'aide) ou à part ?
Qu'utilisez vous comme interface micro / hp ?

J'ai des tablettes android qui tournent avec JPI, on peut lui demander d'écouter au micro de celle-ci et de parler via cette synthèse ?

[golfvert]

2/ assurez-vous que vous avez retirez l'audio feedback "sam audio-feedback off". Si vous avez fais la config avec des satellites la commande SAM audio-feedback off ne fonctionnera pas car vous avez changez les siteID ect ect, voici ce que vous devez faire:

La commande c'est:

Code : Tout sélectionner

sam sound-feedback off

En tout cas, audio-feedback n'existe pas chez moi...

- rentrez cette ligne de commande pour le master:

Code : Tout sélectionner

mosquitto_pub -h <VOTREHOSTNAME.LOCAL> -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "<VOTRESATELLITE"}'

dans notre cas de figure cela donnerait

Code : Tout sélectionner

mosquitto_pub -h salonval.local -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "salledebain"}'

- puis pour chaque satellite (restez en SSH sur la master):

Code : Tout sélectionner

mosquitto_pub -h salonval.local -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "<VOTRESATELLITE>"}'

tout en gardant le hostname du salon bien entendu.

La commande pour le master telle qu'écrite est la même que pour les satellites. Donc je ne voit pas trop ce que tu veux dire par là.

En tout cas , j'ai fait

Code : Tout sélectionner

sam sound-feedback off
mosquitto_pub -h 127.0.0.1 -p 1883 -t "hermes/feedback/sound/toggleOff" -m '{"siteId": "<VOTRESATELLITE>"}

Et ça donne:

Code : Tout sélectionner

$ snips-watch -vvv
[23:38:47] Watching on localhost:1883 (MQTT)
[23:38:50] [Hotword] detected on site snips-salon, for model hey_snips
[23:38:50] [Asr] was asked to stop listening on site snips-salon
[23:38:50] [Hotword] was asked to toggle itself 'off' on site snips-salon
[23:38:50] [Dialogue] session with id 'ec445132-3c3f-4a23-8a0b-a9a8827ffc47' was started on site snips-salon
[23:38:50] [Asr] was asked to listen on site snips-salon

Déjà sans le feedback audio vous allez améliorer la latence.

Effectivement. Je peux quasiment enchainer le hey snips et l'ordre et ça passe.... Merci pour le tuyau!

[johndoe2011]

Pour info :
Je valide ! ça fonctionne nickel sur le serveur Debian 9, j'ai mis à jour mon poste précédent pour la config.

Bonjour,
J'ai installé Snips server sur debian 9 (VM esxi) et tout semble OK
Je bloque sur le satellite (RPI3). Est ce le hostname (celui qui apparait dans rasp-config) du satellite que l'on doit mettre dans :
[snips-hotword]
audio=["hostname@mqtt"] ?
et quand on fait un : sam devices sur le serveur , doit on voir apparaitre le satellite comme device trouvé ?
Y a t il d'autre champs à renseigner autre que ceux de ton post ?
Merci !

[fwehrle]

Question satellite (encore) : j'ai mis en service mes 4 satellite en local HW, et je note que les satellites ne sont plus reconnus dans le plugin jeedom (disparus). Le plugin ne gère-t-il pas les satellites avec local HW? (et donc qui ne sont plus dans la liste de bind du serveur?

Et aussi : tout ce que dit Snips est maintenant répété 4x!
Même le son "Le dispositif default est ici" (d'ailleur vocalisé avec un joli accent anglais!

Code : Tout sélectionner

[05:54:54] [Tts] was asked to say "Dispositif default est ici!"
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id '983d0a10-c779-42fa-bbfa-dacaf33e4ec1' on site default
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id 'a0d786be-a843-4d01-a53b-73b336b46bc1' on site default
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id '26607769-44f2-4dcd-be3a-4f00dd35e0d6' on site default
[05:54:56] [AudioServer] was asked to play a wav of 84.9 kB with id '2b7ede1c-f29f-4a53-a796-eb4a918f47c2' on site default
[05:54:57] [AudioServer] finished playing wav with id '983d0a10-c779-42fa-bbfa-dacaf33e4ec1'
[05:54:57] [Tts] finished speaking with id 'UNKNOWN'
[05:55:00] [AudioServer] finished playing wav with id 'a0d786be-a843-4d01-a53b-73b336b46bc1'
[05:55:00] [Tts] finished speaking with id 'UNKNOWN'
[05:55:03] [AudioServer] finished playing wav with id '26607769-44f2-4dcd-be3a-4f00dd35e0d6'
[05:55:03] [Tts] finished speaking with id 'UNKNOWN'
[05:55:06] [AudioServer] finished playing wav with id '2b7ede1c-f29f-4a53-a796-eb4a918f47c2'
[05:55:06] [Tts] finished speaking with id 'UNKNOWN'

[fwehrle]

Question satellite (encore) : j'ai mis en service mes 4 satellite en local HW, et je note que les satellites ne sont plus reconnus dans le plugin jeedom (disparus). Le plugin ne gère-t-il pas les satellites avec local HW? (et donc qui ne sont plus dans la liste de bind du serveur?

Et aussi : tout ce que dit Snips est maintenant répété 4x! sur le satellite ou hub qui a compris la question
Même le son "Le dispositif default est ici" (d'ailleur vocalisé avec un joli accent anglais!

Code : Tout sélectionner

[05:54:54] [Tts] was asked to say "Dispositif default est ici!"
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id '983d0a10-c779-42fa-bbfa-dacaf33e4ec1' on site default
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id 'a0d786be-a843-4d01-a53b-73b336b46bc1' on site default
[05:54:54] [AudioServer] was asked to play a wav of 84.9 kB with id '26607769-44f2-4dcd-be3a-4f00dd35e0d6' on site default
[05:54:56] [AudioServer] was asked to play a wav of 84.9 kB with id '2b7ede1c-f29f-4a53-a796-eb4a918f47c2' on site default
[05:54:57] [AudioServer] finished playing wav with id '983d0a10-c779-42fa-bbfa-dacaf33e4ec1'
[05:54:57] [Tts] finished speaking with id 'UNKNOWN'
[05:55:00] [AudioServer] finished playing wav with id 'a0d786be-a843-4d01-a53b-73b336b46bc1'
[05:55:00] [Tts] finished speaking with id 'UNKNOWN'
[05:55:03] [AudioServer] finished playing wav with id '26607769-44f2-4dcd-be3a-4f00dd35e0d6'
[05:55:03] [Tts] finished speaking with id 'UNKNOWN'
[05:55:06] [AudioServer] finished playing wav with id '2b7ede1c-f29f-4a53-a796-eb4a918f47c2'
[05:55:06] [Tts] finished speaking with id 'UNKNOWN'

[kiboost]

Bonjour,

J'avais installé le plugin en beta sur un jeedom de test. J'avoue que le nombre de dépendances installées m'avait laissé perplexe et j'ai un peu laissé tombé. Du coup il y a qql jours j'ai désinstallé le plugin, et depuis dans le log cron_execution j'ai des tonnes d'erreurs :

Code : Tout sélectionner

PHP Warning:  Module 'mosquitto' already loaded in Unknown on line 0

Pas sur que le plugin snips se désinstalle proprement ...

[Tristan35]

En parlant de mosquitto, un soucis dans le plugin MQTT peut-il être lié au plugin Snips justement ? J'ai sans arrêt depuis quelques temps le message "MQTT The client is not currently connected." qui revient, et mes appareil en MQTT ne fonctionnent plus (ce sont les radiateurs, pas pénalisant pour le moment, mais ça va venir ).

[kiboost]

Effectivement j'ai ces packages installés par snips et toujours là:

Code : Tout sélectionner

ii  mosquitto                       1.3.4-2+deb8u2                    amd64        MQTT version 3.1/3.1.1 compatible message broker
ii  mosquitto-clients               1.3.4-2+deb8u2                    amd64        Mosquitto command line MQTT clients

Si qqlun sait comment virer ces erreurs, j'en ai une par minute ...

Si je fais çà :

Code : Tout sélectionner

sudo apt-get purge --auto-remove mosquitto

J'ai

Code : Tout sélectionner

E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?