[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[Jeandhom]

Normalement, SAM n'est pas fait pour être installé en local, il est fait pour être installé sur ta machine d'administrateur et te faciliter l'administration de tes machines SNIPS via le réseau.

Au besoin, en utilisant SAM installé sur ton serveur SNIPS, tu dois pouvoir te connecter sur ton satellite SNIPS.

[kiboost]

Sam ne gere pas encore l'installation des satellite.

Cela dit la doc est bien faite et c'est assez simple.

[Hydro]

Apparemment quand on installe le serveur snips sur rpi3 avec un respeaker on peut avoir l'écho cancellation.

Du coup avec l'installe par satellite on a pas cette option. On peut la rajouter par pulse audio ?

Envoyé de mon ONEPLUS A3003 en utilisant Tapatalk

[benj29]

En gros Sam ne permet pas l'installation en local, pas des satellites je comprends pas.

Hormis utilisé depuis une machine l'installation d'un device qui fait tout serveur et satellite je vois pas l'intérêt.

Et non ce n'est pas clair. Désolé je ne trouve pas.

La plupart des liens que j'ai sur snips sont en 404.

Bref je vais faire ce que hydro me conseille et je vois.

Merci pour votre aide.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[kiboost]

Effectivement la doc a pas mal changé et pas mal de 404 du coup

Mais il y a toujours l'essentiel en haut à droite... avec satellite:
https://docs.snips.ai/guides/raspberry- ... satellites

[dcjona]

as tu essayé benj de faire sam watch sur ta vm et puis de parlé a ton satelitte? si le micro détecte quelque chose ca sortira directement sur sam watch. essaye proche très proche du micro pour commencer

[benj29]

Bon clairement, on reprend tout.

Donc pas de sam sauf pour vérifier l'état.
C'est quand même agacant car on peut l'echo cancelation sur le satellite.

Donc sur mon satellite :
- ajout de la bonne source
- update, upgrade, dist-upgrade
- modification du toml :
J'ai un dnsmasq qui donne l'ip juste pour srvsnips.home

Code : Tout sélectionner

[snips-common]
mqtt = "srvsnips.home:1883"
[snips-audio-server]
bind = "satellite1@mqtt"
[snips-dialogue]
sound_feedback_disabled_default = false

puis npm i snips-sam
car je vois une mise à jour.

ensuite
sam connect localhost
sam status

là j'ai une alerte de mise à jour avec npm i snips-sam

sudo systemctl restart 'snips-*'

Je fais la mise à jour puis status donne :

Code : Tout sélectionner

Connected to device localhost

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.1 (not running)
snips-asr .................... 0.60.1 (not running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (not running)
snips-hotword ................ 0.60.1 (not running)
snips-nlu .................... 0.60.1 (not running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

Donc tout semble OK de ce côté.

Je termine avec un sam disconnect.

côté serveur (vm) :

Je modifie les sources
update, upgrade, dist-upgrade,

On commence par les mises à jour recommandé après un sudo sam status :
sudo npm install -g npm
sudo npm i snips-sam

ensuite le toml :

Code : Tout sélectionner

[snips-hotword]
audio = ["satellite1@mqtt"]

Tout autre ligne est en commentaire.

sudo systemctl restart 'snips-*'

sudo sam connect localhost
sudo sam status

Code : Tout sélectionner

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Jeedom
Language ..................... fr
Hotword ...................... jarvis
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (not running)
snips-dialogue ............... 0.60.1 (running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

disconnect derrière.

Ensuite je file côté jeedom.

J'ai changé le nom salon en satellite1 et je le vois !



Là encore je clique sur satellite1, il ne se passe rien dans le hp du satellite.

Du coup, je repars sur mon serveur (vm) :

Code : Tout sélectionner

sam connect 192.168.2.56 (qui est l'ip du satellite)

Il me donne ENCORE une mise à jour ! C'est quoi le délire là !



Je la lance par sécurité en sudo sur le satellite en direct et sur la VM (car je présume que juste npm c'est en local !).

Ensuite donc je me connecte par :

Code : Tout sélectionner

sam connect 192.168.2.56 (qui est l'ip du satellite)

OK pas de mise à jour cette fois ci, on progresse.

sam watch
(je suis donc connecté à mon satellite DEPUIS ma VM).

me dit (regarde sur le serveur snips ?) :

Code : Tout sélectionner

[14:52:21] Watching on srvsnips.home:1883 (MQTT)

et je parle dans mon satellite : jarvis quelque chose...

Code : Tout sélectionner

boss@VM-DEB9-SNIPS:~$ sam watch
[15:12:01] Watching on srvsnips.home:1883 (MQTT)
[15:12:06] [Hotword] detected on site satellite1, for model default
[15:12:06] [Asr] was asked to stop listening on site satellite1
[15:12:06] [Hotword] was asked to toggle itself 'off' on site satellite1
[15:12:06] [Dialogue] session with id '8871df62-f54a-4f94-a90e-72cdb47af2be' was started on site satellite1
[15:12:06] [AudioServer] was asked to play a wav of 41.1 kB with id '23a1147c-c6db-4493-9e3a-3e42099ce3c4' on site satellite1
[15:12:21] [Dialogue] session with id '8871df62-f54a-4f94-a90e-72cdb47af2be' was ended on site satellite1. The session was ended because one of the component didn't respond in a timely manner
[15:12:21] [Asr] was asked to stop listening on site satellite1
[15:12:21] [Hotword] was asked to toggle itself 'on' on site satellite1

Donc oui j'ai du retour par contre visiblement : aucun retour audio et il n'est pas content...

[benj29]

Au cas où j'ai vérifié l'audio :

sur la raspberry en local
sam connect localhost
sam test speaker => OK
sam test microphone => OK, j'entends très bien ce que je dis et de loin ! (j'ai baissé ensuite l'AGC via alsamixer).

[cedcox]

bonjour,

Oui je suis en config B et ça marche très bien. J'ai sam sur les 2, ça permet de faire un "sam watch" et de vérifier que tout se passe correctement.

J'ai listé plus haut les modules snips activés sur chaque snips.

Dans le fichier "/etc/snips.toml" du snips maitre (VM), j'ai modifié ces parties :

Code : Tout sélectionner

[snips-audio-server]
# frame = 256
bind = "snips-master@mqtt"     # MODIF ICI
# mike = "Built-in Microphone"
# disable_playback = false

Pour les fichiers des snips satellites :

Code : Tout sélectionner

[snips-common]
# bus = "mqtt"
mqtt = "snips-master:1883" 
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"

[...]

Code : Tout sélectionner

[snips-audio-server]
# frame = 256
bind = "bureau@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false

Code : Tout sélectionner

[snips-hotword]
model = "/usr/share/snips/hotword"
# hotword_id = "default"
sensitivity = "0.3"
audio = ["bureau@mqtt"]

Comme expliqué plus haut, j'ai installé un snips complètement fonctionnel et indépendant à chaque fois. Puis, j'ai modifié les fichiers tml, puis j'ai fini par désinstaller les modules inutiles.

Ensuite faire un sam watch sur chaque snips. Verifier que le hotword est ok sur le satelite et que le reste est bien traité sur le snips maitre.

Ced

[benj29]

J'ai activé le feedback audio sur la raspberry satellite ou la vm c'est pareil, il me répond yes.
sam sound-feedback on

Par contre aucun "ding" ou autre quand je dis "jarvis".

OK, je reprends tes notes alors...

[cedcox]

@benj29

Attention ! Ton hotword n'est pas activé sur ton satellite.

Voici les seuls modules qui doivent être activés sur ton satellites :
Satellite :
snips-audio-server
snips-hotword
snips-tts


Et arrete le skill-server sur ton satellite, ce n'est pas à lui de traiter la demande.

[benj29]

Bon, j'ai tout repris à plat... mais ça ne marche toujours pas.

Configuration B sur satellite :
snips-audio-server
snips-hotword-server
snips-skill-server (Opt.)

sur la pi :
sam set-hostname satellite1
reboot
sudo apt-get remove snips-skill-server
sudo apt-get install snips-hotword
sudo apt-get install snips-tts

sudo nano /etc/snips.toml
[snips-common]
mqtt = "srvsnips.home:1883" # ip du serveur snips
[snips-audio-server]
bind = "satellite1@mqtt" # MODIF
[snips-hotword]
model = "/usr/share/snips/hotword" # MODIF
# hotword_id = "default"
sensitivity = "0.3" # MODIF
audio = ["satellite1@mqtt"] # MODIF

sudo systemctl restart 'snips-*'

sam status me donne alors :
snips-analytics .............. 0.60.1 (not running)
snips-asr .................... 0.60.1 (not running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (not running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (not running)
snips-skill-server ........... 0.60.1 (not running)
snips-tts .................... 0.60.1 (running)

ensuite côté VM serveur :
j'ouvre la fenêtre scp
/usr/share/snips/hotword
je copie les 3 fichiers sur mon bureau
la fenêtre scp de la pi satellite1
je copie les 3 fichiers sur le home
sudo mv config.json /usr/share/snips/hotword
sudo mv model.pb /usr/share/snips/hotword
sudo mv thresholds_curve.json /usr/share/snips/hotword

les fichiers appartiennent à root sur la vm serveur donc je fais de même sur le satellite :
cd /usr/share/snips/hotword/
sudo chown root:root *

au cas où sur le satellite :
sudo systemctl restart 'snips-*'
sam status => rien n'a bougé

ensuite on revient sur le serveur :
sudo nano /etc/snips.toml

[snips-audio-server]
bind = "srvsnips@mqtt" #MODIF
[snips-hotword]
audio = ["satellite1@mqtt"]

sudo systemctl restart 'snips-*'

sam status me donne :
snips-analytics .............. (not running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (not running)
snips-dialogue ............... 0.60.1 (running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

Je fais un sam watch, je dis jarvis mais je n'ai aucun signal sonore ...

Code : Tout sélectionner

[16:34:37] Watching on localhost:1883 (MQTT)
[16:34:42] [Hotword] detected on site satellite1, for model default
[16:34:42] [Asr] was asked to stop listening on site satellite1
[16:34:42] [Hotword] was asked to toggle itself 'off' on site satellite1
[16:34:42] [Dialogue] session with id '0a5ae880-595b-4db7-9b26-f5eb73a1ebf0' was started on site satellite1
[16:34:42] [AudioServer] was asked to play a wav of 41.1 kB with id '2cf672ce-e62f-4a33-8343-6b4d79c0c43b' on site satellite1
[16:34:57] [Dialogue] session with id '0a5ae880-595b-4db7-9b26-f5eb73a1ebf0' was ended on site satellite1. The session was ended because one of the component didn't respond in a timely manner
[16:34:57] [Asr] was asked to stop listening on site satellite1
[16:34:57] [Hotword] was asked to toggle itself 'on' on site satellite1

J'ai donc que le satellite dans le plugin jeedom et si je clique dessus nada bien sûr... pas de bruit.

[benj29]

Bon, je ne pige pas ce qui se passe. Visiblement, c'est le retour audio de la VM vers le satellite1 qui ne marche pas car le micro détecte bien quand je dis jarvis.

Et pourtant un sam test speaker sur le satellite marche bien.

j'ai encore vérifié les fichiers toml, je ne vois pas.

[cedcox]

ok, démarre "snips-analytics" sur ta VM (snips maitre)

[benj29]

fait :

sudo apt-get install snips-analytics
sudo systemctl restart 'snips-*'
sam status

donne :

Code : Tout sélectionner

snips-analytics .............. 0.60.1 (running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (not running)
snips-dialogue ............... 0.60.1 (running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

Et sam watch, pas de son.

Code : Tout sélectionner

[16:57:25] Watching on localhost:1883 (MQTT)
[16:57:28] [Hotword] detected on site satellite1, for model default
[16:57:28] [Asr] was asked to stop listening on site satellite1
[16:57:28] [Hotword] was asked to toggle itself 'off' on site satellite1
[16:57:28] [Dialogue] session with id 'bd7afa44-9d26-4486-af24-a84f65620987' was started on site satellite1
[16:57:28] [AudioServer] was asked to play a wav of 41.1 kB with id 'cb6f6611-660a-436e-beea-4568f9b9e6cf' on site satellite1
[16:57:43] [Dialogue] session with id 'bd7afa44-9d26-4486-af24-a84f65620987' was ended on site satellite1. The session was ended because one of the component didn't respond in a timely manner
[16:57:43] [Asr] was asked to stop listening on site satellite1
[16:57:43] [Hotword] was asked to toggle itself 'on' on site satellite1
[16:59:17] [Hotword] detected on site satellite1, for model default
[16:59:17] [Asr] was asked to stop listening on site satellite1
[16:59:17] [Hotword] was asked to toggle itself 'off' on site satellite1
[16:59:17] [Dialogue] session with id '2f0aae28-5fd3-41d9-afaf-fae62f0e71cd' was started on site satellite1
[16:59:17] [AudioServer] was asked to play a wav of 41.1 kB with id 'dc502d1a-5bc7-4d9f-be82-add63c246196' on site satellite1

[cedcox]

Voici mon log sam watch sur mon satellite :

Code : Tout sélectionner

[16:58:53] Watching on snips-master:1883 (MQTT)
[16:58:54] [Hotword] detected on site bureau, for model hey_snips
[16:58:54] [Asr] was asked to stop listening on site bureau
[16:58:54] [Hotword] was asked to toggle itself 'off' on site bureau
[16:58:54] [Dialogue] session with id '9c2cb382-2eb7-4921-bb63-1b1456cea570' was started on site bureau
[16:58:54] [AudioServer] was asked to play a wav of 41.1 kB with id '43aec2c9-4916-440a-bc47-6dc4d6e9f67e' on site bureau
[16:58:55] [AudioServer] finished playing wav with id '43aec2c9-4916-440a-bc47-6dc4d6e9f67e'
[16:58:55] [Asr] was asked to listen on site bureau

La première ligne est importante :

Code : Tout sélectionner

"Watching on snips-master:1883 (MQTT)"

On voit bien que c'est mon snips maitre qui gère la demande

Code : Tout sélectionner

[Hotword] detected on site bureau, for model hey_snips

Sur cette seconde ligne, on voit bien que le hotword a été détecté par le snips satellite (dans le bureau)

Code : Tout sélectionner

[AudioServer] was asked to play a wav of 41.1 kB with id '43aec2c9-4916-440a-bc47-6dc4d6e9f67e' on site bureau

Cette ligne nous dis qu'il a joué le "tadam"

Peux tu me dire d'où vien ton sam watch ? snips VM ou stateliite ?

[benj29]

J'ai bien écrit plus haut que mon sam watch est en fait en localhost sur la VM.

Si je le lance en localhost sur la pi, je vois logiquement qu'il adresse l'IP de la VM.
Bon, j'ai fait des essais en changeant par le dnsmasq de l'ip srvsnips.home ou l'ip en direct.

Là où je suis perplexe, c'est quoi toi c'est juste un nom, c'est à dire le hostname de ta VM ?)

[benj29]

Bon si je mets le hostname de la VM ça ne marche pas (logique).

Code : Tout sélectionner

boss@satellite1:/usr/share/snips/hotword$ sam watch
Could not start MQTT client on VM-DEB9-SNIPS:1883
 -> caused by: failed to lookup address information: Name or service not known

Que ce soit la première ou la seconde :

Code : Tout sélectionner

mqtt = "srvsnips.home:1883" # ip du serveur snips
#mqtt = "192.168.2.93:1883"

Ca tourne parfaitement pour moi, il parle bien à la VM.

Code : Tout sélectionner

[17:12:38] Watching on srvsnips.home:1883 (MQTT)
[17:12:39] [Hotword] detected on site satellite1, for model default
[17:12:39] [Asr] was asked to stop listening on site satellite1
[17:12:39] [Hotword] was asked to toggle itself 'off' on site satellite1
[17:12:39] [Dialogue] session with id '86a4d235-c50b-493a-a9e6-9b4684158e9e' was started on site satellite1
[17:12:39] [AudioServer] was asked to play a wav of 41.1 kB with id 'abe3a78a-ccbb-43a2-b492-ead347b13c9a' on site satellite1

Ce qui me fait dire que le souci ne vient pas de là, c'est que si je fais un sam watch sur la VM en localhost, je vois bien arriver des infos du satellite1 quand je dis jarvis.
Par contre je n'ai aucun retour audio (hp).

[benj29]

Et je le redis car je me doute que tu n'as pas tout lu, un sam test speaker en localhost sur le satellite fait bien frontleft, frontright, etc...

[cedcox]

Oui oui, j'essaye de tout lire

C'est bizarre car dans ton log, je vois ça :

Code : Tout sélectionner

[AudioServer] [17:12:39] [AudioServer] was asked to play a wav of 41.1 kB with id 'abe3a78a-ccbb-43a2-b492-ead347b13c9a' on site satellite1

Donc ça veut dire que pour snips, il joue le "tadam" sur le satellite.

Peux tu exécuter cette commande sur ton satellite :

Code : Tout sélectionner

sudo aplay /usr/share/snips/assistant/custom_dialogue/sound/start_of_input.wav