[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[valentinf]

@valentinf
Petite question, avez vous fait fonctionner les LEDs d'un ​Respeaker 4 Mics Pi HAT​ ?

J'ai un montage à base d'un PI3 avec un ​Respeaker 4 Mics Pi HAT​ et je n'arrive pas à faire fonctionner les LEDs.
Je pense avoir bien suivi la procédure "Respeaker skill for Snips" mais cela ne marche pas.

Pour le reste, tout fonctionne correctement, très bon boulot.

Pour le ReSpeake 4 on avait fait quelque chose à l'époque mais pas maintenu. On s'occupe principalement du ReSpeaker pi hat 2 qui est dans le kit. D'ailleurs on va ajouter la procédure pour les leds dans la doc aujourd'hui ou Lundi. Il est probable que ça fonctionne aussi pour le 4 et les autres car Seeed utilise le même driver pour toutes leurs boards.

[Laregie]

@valentinf
Petite question, avez vous fait fonctionner les LEDs d'un ​Respeaker 4 Mics Pi HAT​ ?

J'ai un montage à base d'un PI3 avec un ​Respeaker 4 Mics Pi HAT​ et je n'arrive pas à faire fonctionner les LEDs.
Je pense avoir bien suivi la procédure "Respeaker skill for Snips" mais cela ne marche pas.

Pour le reste, tout fonctionne correctement, très bon boulot.

Pour le ReSpeake 4 on avait fait quelque chose à l'époque mais pas maintenu. On s'occupe principalement du ReSpeaker pi hat 2 qui est dans le kit. D'ailleurs on va ajouter la procédure pour les leds dans la doc aujourd'hui ou Lundi. Il est probable que ça fonctionne aussi pour le 4 et les autres car Seeed utilise le même driver pour toutes leurs boards.

Ok merci

[Jeandhom]

Je découvre ce projet suis friand aussi de la suite. Tellement content de voir une réelle alternative à GH et Aleax & co. Je vais suivre ce post attentivement et surement commander du matériel pour faire des tests aussi

J'ai aussi acheté le matériel pour faire des tests, mais c'est tellement bluffant que c'est en prod.

[chsalmon]

Ce qui serait cool c'est que les LED fonctionnent aussi avec un pi zero (pour les satellites), parce qu'a priori il faut python hermes armv7 il me semble pour que ça fonctionne, donc un PI3...

[mortyre]

Je découvre ce projet suis friand aussi de la suite. Tellement content de voir une réelle alternative à GH et Aleax & co. Je vais suivre ce post attentivement et surement commander du matériel pour faire des tests aussi

J'ai aussi acheté le matériel pour faire des tests, mais c'est tellement bluffant que c'est en prod.

Oui j'ai lu tout le post et ça à l'air au top alors que c'est que le début

Pour l'instant j'ai 1 GH et 4 mini en Prod qui marchent parfaitement, et 3 amazon en test (dot, spot, alexa). et j'avoue que sortir des Gafa au moins pour piloter la domotique ca m'irait bien ! Y a deux ans j'étais sur du Sarah avec micro de xbox donc ca va me rappelait des souvenirs mais bon avant je vais regarder comment faire des satellites qui passent le test WAF

J'ai vu ca mais y doit avoir mieux ?

[fwehrle]

Hello,
Petit retour sur la doc des satellite : ca a très bien fonctionné sur mon satellite de test, mais moins sur celui de la cuisine, qui marchait très bien avant le passage au HW local. (Les 2 sont des pi0 + respeaker 2mic
Une idée?

Code : Tout sélectionner

Sep  7 20:24:09 Snips-Cuisine snips-audio-server[695]: INFO:snips_audio_portaudio: Use input device: "default"
Sep  7 20:24:22 Snips-Cuisine systemd-timesyncd[185]: Synchronized to time server 209.115.181.102:123 (2.debian.pool.ntp.org).
Sep  7 20:24:22 Snips-Cuisine systemd[646]: Time has been changed
Sep  7 20:24:22 Snips-Cuisine systemd[1]: Time has been changed
Sep  7 20:24:22 Snips-Cuisine systemd[1]: apt-daily.timer: Adding 34min 47.767130s random time.
Sep  7 20:24:22 Snips-Cuisine systemd[1]: apt-daily-upgrade.timer: Adding 49min 39.959305s random time.
Sep  7 20:24:31 Snips-Cuisine kernel: [   77.992890] NOHZ: local_softirq_pending 02
Sep  7 20:24:31 Snips-Cuisine kernel: [   77.992914] NOHZ: local_softirq_pending 02
Sep  7 20:24:48 Snips-Cuisine snips-hotword[431]: INFO:snips_hotword_hermes        : Hotword detected: site_id:cuisine model:default
Sep  7 20:24:48 Snips-Cuisine snips-hotword[431]: INFO:snips_hotword_lib::features : Audio thread for site cuisine idle.
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: INFO:snips_audio_portaudio: Playing "81c94dda-62ab-47a1-a68f-dd7ec90df4d3" using output "default", wav spec: WavSpec { channels: 2, sample_rate: 22050, bits_per_sample: 16, sample_format: Int }
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: ALSA lib dlmisc.c:254:(snd1_dlobj_cache_get) Cannot open shared library /usr/lib/arm-linux-gnueabihf/alsa-lib/libasound_module_rate_samplerate.so
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: ALSA lib pcm_rate.c:1362:(snd_pcm_rate_open) Cannot find rate converter
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: Expression 'r' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2097
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: Expression 'PaAlsaStreamComponent_FinishConfigure( &self->playback, hwParamsPlayback, outParams, self->primeBuffers, realSr, outputLatency )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2738
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: Expression 'PaAlsaStream_Configure( stream, inputParameters, outputParameters, sampleRate, framesPerBuffer, &inputLatency, &outputLatency, &hostBufferSizeMode )' failed in 'src/hostapi/alsa/pa_linux_alsa.c', line: 2843
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]: ERROR:snips_audio_server_hermes: could not play "81c94dda-62ab-47a1-a68f-dd7ec90df4d3"
Sep  7 20:24:48 Snips-Cuisine snips-audio-server[695]:  -> caused by: UnanticipatedHostError
Sep  7 20:24:51 Snips-Cuisine kernel: [   97.594799] NOHZ: local_softirq_pending 40
Sep  7 20:24:52 Snips-Cuisine kernel: [   98.234777] NOHZ: local_softirq_pending 40
Sep  7 20:24:54 Snips-Cuisine kernel: [  100.283450] NOHZ: local_softirq_pending 40
Sep  7 20:24:55 Snips-Cuisine kernel: [  101.594870] NOHZ: local_softirq_pending 40
Sep  7 20:24:56 Snips-Cuisine kernel: [  102.843397] NOHZ: local_softirq_pending 40
Sep  7 20:25:03 Snips-Cuisine snips-hotword[431]: INFO:snips_hotword_lib::features : Audio thread for site cuisine running
Sep  7 20:25:06 Snips-Cuisine kernel: [  112.654588] NOHZ: local_softirq_pending 40

Et sinon, pas moyen de faire fonctionner les leds..

[golfvert]

Pour ceux qui estiment avoir un délai après le hey snips, pourriez vous nous fournir les logs svp?

Code : Tout sélectionner

sam watch

les délais sont uniquements dans une config Master + satellite? Ou juste le master? Si oui quel appareil utilisez vous pour le master et pour le satellite? Le wakeword est en local sur le satellite ou sur le master?

Plus vous nous fournissez d'infos/logs mieux ça sera

Merci

Bon, j'ai attendu que toutle monde soit couché pour parler tout seul!

Ma configuration:
- Serveur VM (Debian Stretch sur proxmox) dédiée à SNIPS et seulement un lien avec jeedom. Pas d'audio dessus. J'ai arrêté le démon snips-audio-server qui mettait des insultes dans les logs.
- Satellite PiZero avec carte respeaker de seeed. Installé sur le mode A de la doc. J'ai rajouté des enceintes ce soir pour les tests.

Voici un extrait de snips-watch -vvvv

Code : Tout sélectionner

[00:54:10] [Hotword] detected on site snips-salon, for model hey_snips
[00:54:10] [Asr] was asked to stop listening on site snips-salon
[00:54:10] [Hotword] was asked to toggle itself 'off' on site snips-salon
[00:54:10] [Dialogue] session with id '755b3b18-9566-4f8b-8c32-2e66f29f09f3' was started on site snips-salon
[00:54:10] [AudioServer] was asked to play a wav of 41.1 kB with id '164fc0ef-121f-4aac-af53-7d60979ce6c3' on site snips-salon
[00:54:10] [AudioServer] finished playing wav with id '164fc0ef-121f-4aac-af53-7d60979ce6c3'
[00:54:10] [Asr] was asked to listen on site snips-salon
[00:54:14] [Asr] captured text "unknownword lumières" in 3.0s
[00:54:14] [Asr] was asked to stop listening on site snips-salon
[00:54:14] [AudioServer] was asked to play a wav of 93.1 kB with id 'b2844468-7efa-4425-8463-98051f438ed2' on site snips-salon
[00:54:15] [AudioServer] finished playing wav with id 'b2844468-7efa-4425-8463-98051f438ed2'
[00:54:15] [Nlu] was asked to parse input "unknownword lumières"

Dans cet exemple la capture du 1er mot n'a pas marché.
Un fois "hey snips" prononcé la ligne

Code : Tout sélectionner

[00:54:10] [AudioServer] was asked to play a wav of 41.1 kB with id '164fc0ef-121f-4aac-af53-7d60979ce6c3' on site snips-salon

apparait immédiatement.
Ensuite, la petite musique. Et là, parfois (1 fois sur 5 peut-être), il y a un très léger temps d'attente avant

Code : Tout sélectionner

[00:54:10] [Asr] was asked to listen on site snips-salon

et dans ce cas-là le début de l'ordre peut-être perdu.

Avec les enceintes (que je n'avait pas avant) l'enchainement est plus naturel. Sans ce retour, le temps d'attente est moins intuitif. Je referai un point si la situation change.

[losnono]

salut,

j'ai vu que plusieurs personnes avaient eu le problème d'installation des dépendances du plugin jeedom. Je voulais savoir comment vous vous en étiez sortis sachant que je n'ai rien de particulier dans les logs lorsque je lance l'instal des dépendances. pour info je suis avec debian 9 sous esxi.

merci à vous.

[pachira25]

Bonjour,
avez vous réussi a utiliser vos lumieres (HUE) avec snips ?
J'ai essayer de forker jeedomOfficiel en modifiant un intent mais l'app ne veux pas etre publié (je ne sais pas si cela gene ou pas) j'ai refait un "sam install action" en ssh et dans jeedom un reload assistant with bindings mais je ne trouve pas mon intent. j'ai lu toute la doc mais la je trouve pas.
Peut etre que je m'y prends mal. si quelqu'un a une idée je suis preneur
cordialement.

[Jeandhom]

C'est sam install assistant.

[Laregie]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

[3issa]

Bonjour,

Je viens de m’apercevoir qu'il me manque 2 intents dans mon assistant dans l'interface Jeedom. Je ne comprends pas pourquoi.

Il s'agit de ThermostatSetJeedom et de WindowDevicePauseJeedom. Les 2 apparaissent bien dans la console Snips et je peux constater que j'arrive bien à les activer lorsque je fais "sam watch" et que je prononce les bonnes phrases.

Par contre, je ne peux pas leur créer de bindings car ils n'apparaissent pas dans Jeedom malgré le fait de recharger l'assistant.

Avez-vous une idée de comment je peux trouver ce qui coince ?

[Jeandhom]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

Avant stretch, il y avait /etc/rc.local pour cela.

Ici, une solution pour continuer à utiliser /etc/rc.local : https://www.apb-informatique.fr/debian- ... -obsolete/

[Laregie]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

Avant stretch, il y avait /etc/rc.local pour cela.

Ici, une solution pour continuer à utiliser /etc/rc.local : https://www.apb-informatique.fr/debian- ... -obsolete/

J'avais essayé mais ça ne marche pas.

[3issa]

Bonjour,

Je viens de m’apercevoir qu'il me manque 2 intents dans mon assistant dans l'interface Jeedom. Je ne comprends pas pourquoi.

Il s'agit de ThermostatSetJeedom et de WindowDevicePauseJeedom. Les 2 apparaissent bien dans la console Snips et je peux constater que j'arrive bien à les activer lorsque je fais "sam watch" et que je prononce les bonnes phrases.

Par contre, je ne peux pas leur créer de bindings car ils n'apparaissent pas dans Jeedom malgré le fait de recharger l'assistant.

Avez-vous une idée de comment je peux trouver ce qui coince ?

Je remarque que sur la machine Jeedom, dans le fichier snips/config_running/assistant.json que les 2 intents en question apparaissent bien. Par contre, le champs "name" ne contient pas "Jeedom" (ThermostatSet & WindowDevicesPause). Or, j'ai cru comprendre que la présence de la mention "Jeedom" dans le nom de l'Intent permettait de le faire apparaître dans l'interface Jeedom. Je me demande donc si mon problème ne viendrait pas de là.

Je suis le seul à avoir ce soucis ?

[fwehrle]

Effectivement. Pour les récupérer, tu peux les forker et les renommer. (Et surtout les personnaliser)


Envoyé de mon iPad en utilisant Tapatalk

[toufou]

Bonsoir,

Je reviens concernant le sujet du delai entre la detection du hotword et la detection de l'action suivante.
Je pense que j'avais le feedback activé et que je n'attendais pas le retour son (normal j'ai pas branché de son..), du coup j'ai coupé le feedback avec sam sound-feedback off puis j'ai fais un essai, mais j'ai toujours le delai? D'après les logs, j'ai l'impression que le feedback est toujours activé..

Pour l'essai je dis de facon naturelle: "jarvis, eteins la lumiere dans le salon" et seulement "le salon" et detecté, rien avant.

le log d'un sam watch:

Code : Tout sélectionner

pi@snips1:~ $ sam sound-feedback off
✔ Feedback sound has been turned off
pi@snips1:~ $ sam watch
[22:57:00] Watching on 192.168.0.20:1883 (MQTT)
[22:57:08] [Hotword] detected on site salon, for model default
[22:57:08] [Asr] was asked to stop listening on site salon
[22:57:08] [Hotword] was asked to toggle itself 'off' on site salon
[22:57:08] [Dialogue] session with id 'fe6de4c6-2565-48c9-a05d-dd18a09cadee' was started on site salon
[22:57:08] [AudioServer] was asked to play a wav of 41.1 kB with id '9f61a165-49a8-475d-b953-d7e4faefa402' on site salon
[22:57:09] [AudioServer] finished playing wav with id '9f61a165-49a8-475d-b953-d7e4faefa402'
[22:57:09] [Asr] was asked to listen on site salon
[22:57:12] [Asr] captured text "salon" in 2.0s
[22:57:12] [Asr] was asked to stop listening on site salon
[22:57:12] [AudioServer] was asked to play a wav of 93.1 kB with id 'e4c790c8-a961-4a13-b1d7-e9eb205dabe8' on site salon
[22:57:13] [AudioServer] finished playing wav with id 'e4c790c8-a961-4a13-b1d7-e9eb205dabe8'
[22:57:13] [Nlu] was asked to parse input "salon"
[22:57:13] [Nlu] detected intent valf:WindowDevicePauseJeedom with probability 0.207 for input "salon"
[22:57:13] [Dialogue] New intent detected valf:WindowDevicePauseJeedom with probability 0.207
[22:57:18] [Dialogue] session with id 'fe6de4c6-2565-48c9-a05d-dd18a09cadee' was ended on site salon. The session was ended because one of the component didn't respond in a timely manner
[22:57:18] [Asr] was asked to stop listening on site salon
[22:57:18] [Hotword] was asked to toggle itself 'on' on site salon

Si le feedback est toujours on, il y a une autre commande pour le forcer à off?

[propositionjoe]

Après redémarrage de mon PI3 sur lequel est installé snips, je pers tous mes réglages son effectués avec alsamixer.
Je les restaure avec cette commande: alsactl -f /home/pi/sauvegarde/config-son-snips restore

J'aimerai automatiser cette commande une fois que le PI3 à finit de démarrer.
Ou mettre cette ligne de commande pour quelle soit lancer automatiquement
Merci.

Effectivement strech est passé à systemd pour faire cela.
Une recherche rapide sur google m'a donné ça: https://unix.stackexchange.com/question ... me-at-boot
Je te laisse creuser un peu, n'ayant pas de conf pour tester chez moi.

[3issa]

Effectivement. Pour les récupérer, tu peux les forker et les renommer. (Et surtout les personnaliser)

C'est bien là le problème. Je n'arrive pas à récupérer de nouvelle version de mon assistant.

En fait, quand je fais un déploiement de mon assistant (via sam mais également en téléchargant le zip), j'obtiens toujours la version avec les noms d'intent qui ne contiennent pas "Jeedom".

Du coup, j'ai beau faire un fork de l'app JeedomOfficiel et modifier tout ce que je veux, j'obtiens toujours l'ancienne version m^eme en téléchargeant le zip de la console snips via mon navigateur.

Il y a quelque chose que je loupe ? Il faut faire quelque chose de particulier pour que les modif faites sur la console snips soient prises en compte ?

[valentinf]

Bonsoir,

Je reviens concernant le sujet du delai entre la detection du hotword et la detection de l'action suivante.
Je pense que j'avais le feedback activé et que je n'attendais pas le retour son (normal j'ai pas branché de son..), du coup j'ai coupé le feedback avec sam sound-feedback off puis j'ai fais un essai, mais j'ai toujours le delai? D'après les logs, j'ai l'impression que le feedback est toujours activé..

Pour l'essai je dis de facon naturelle: "jarvis, eteins la lumiere dans le salon" et seulement "le salon" et detecté, rien avant.

le log d'un sam watch:

Code : Tout sélectionner

pi@snips1:~ $ sam sound-feedback off
✔ Feedback sound has been turned off
pi@snips1:~ $ sam watch
[22:57:00] Watching on 192.168.0.20:1883 (MQTT)
[22:57:08] [Hotword] detected on site salon, for model default
[22:57:08] [Asr] was asked to stop listening on site salon
[22:57:08] [Hotword] was asked to toggle itself 'off' on site salon
[22:57:08] [Dialogue] session with id 'fe6de4c6-2565-48c9-a05d-dd18a09cadee' was started on site salon
[22:57:08] [AudioServer] was asked to play a wav of 41.1 kB with id '9f61a165-49a8-475d-b953-d7e4faefa402' on site salon
[22:57:09] [AudioServer] finished playing wav with id '9f61a165-49a8-475d-b953-d7e4faefa402'
[22:57:09] [Asr] was asked to listen on site salon
[22:57:12] [Asr] captured text "salon" in 2.0s
[22:57:12] [Asr] was asked to stop listening on site salon
[22:57:12] [AudioServer] was asked to play a wav of 93.1 kB with id 'e4c790c8-a961-4a13-b1d7-e9eb205dabe8' on site salon
[22:57:13] [AudioServer] finished playing wav with id 'e4c790c8-a961-4a13-b1d7-e9eb205dabe8'
[22:57:13] [Nlu] was asked to parse input "salon"
[22:57:13] [Nlu] detected intent valf:WindowDevicePauseJeedom with probability 0.207 for input "salon"
[22:57:13] [Dialogue] New intent detected valf:WindowDevicePauseJeedom with probability 0.207
[22:57:18] [Dialogue] session with id 'fe6de4c6-2565-48c9-a05d-dd18a09cadee' was ended on site salon. The session was ended because one of the component didn't respond in a timely manner
[22:57:18] [Asr] was asked to stop listening on site salon
[22:57:18] [Hotword] was asked to toggle itself 'on' on site salon

Si le feedback est toujours on, il y a une autre commande pour le forcer à off?

Non ça ne fonctionne pas comme ça tu dois d'abord dire le wake word
Attendre
Puis parler. Tu ne peux pas tout enchainer.

Quand tu as le feedback ON la fin du son t'i'ndique quand tu peux parler.

Pour info les GAFAS aussi fonctionnent comme ça tu ne peux pas dire "Alexa allume la TV" mais "alexa" "allume la TV"