[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[benj29]

Bon, j'ai ensuite tenté en direct d'installer la carte son par sur la pi satellite :

Code : Tout sélectionner

git clone https://github.com/respeaker/seeed-voicecard
cd seeed-voicecard
sudo ./install.sh 
sudo reboot

J'ai installé alsamixer pour vérifier tout ça et je vois 3 "cartes"



Je présume que :
1 => haut parleur usb ?
2 => ma carte respeaker pour les micros.

Donc je modifie alors mon fichier asound.conf :

Code : Tout sélectionner

# The IPC key of dmix or dsnoop plugin must be unique
# If 555555 or 666666 is used by other processes, use another one


# use samplerate to resample as speexdsp resample is bad
defaults.pcm.rate_converter "samplerate"

pcm.!default {
    type asym
    playback.pcm "playback"
    capture.pcm "capture"
}

pcm.playback {
    type plug
#    slave.pcm "dmixed"
    slave.pcm "hw:1,0"
}

pcm.capture {
    type plug
#    slave.pcm "array"
    slave.pcm "hw:2,0"
}

pcm.dmixed {
    type dmix
    slave.pcm "hw:seeed2micvoicec"
    ipc_key 555555
}

pcm.array {
    type dsnoop
    slave {
        pcm "hw:seeed2micvoicec"
        channels 2
    }
    ipc_key 666666
}

Et quand je reviens sur la VM que je fais :

sam test speaker :

[cedcox]

Bonjour,

@benj29
Ce n'est pas très clair. quand tu listes ton materiel audio on voir que tu as un pi 2 mic hat. donc je suppose que c'est un raspberry.
Mais le sam test speaker, tu as l'air de le faire sur une VM... donc pas très clair.

Peux tu donner les infos suivantes :
snips maitre :
nom :
matériel : (VM vs raspberry)

snips satelite :
nom :
résultat de la commande : aplay -l

Avec ça, on devrait avancer.

Ced

[cedcox]

Voici les modules de ma VM snips maitre :

Code : Tout sélectionner

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Cedcox assistant
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.60.1 (running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (not running)
snips-dialogue ............... 0.60.1 (running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... (not running)

Voici les modules (config B) d'un de mes snips satelite :

Code : Tout sélectionner

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Cedcox assistant
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.60.1 (not running)
snips-asr .................... 0.60.1 (not running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (not running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (not running)
snips-skill-server ........... 0.60.1 (not running)
snips-tts .................... 0.60.1 (running)

Tous les "not running", tu les désactives voir désinstalles. C'est ce que j'ai fait.

[Hydro]

On peut installer l'écho cancelation tout seul ?

Envoyé de mon ONEPLUS A3003 en utilisant Tapatalk

[benj29]

Non depuis ma VM serveur snips j'ai fait un Sam connect iprasperrysatellite puis j'ai déroulé les commandes init puis setup audio puis test speaker.

Les commandes pour alsa et asound.conf sont en direct depuis un terminal sur la rpi.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[cedcox]

@benj29 : que donne la commande aplay -l (L en minuscule) sur ton satellite ?

Grosso merdo, voila comment j'ai fait. J'ai installé snips de manière autonome sur chacun des pi et sur la VM. j'ai vérifié qu'ils fonctionnaient correctement.
Ensuite j'ai modifié le fichier /etc/snips.tom (un truc du genre) pour appliquer la config tel que cette doc : https://docs.snips.ai/guides/raspberry- ... satellites

Ensuite j'ai désinstallé les modules inutiles sur chacun des raspberry...

Et ça a marché du premier coup

@Hydro :
pour répondre à ta question, j'ai testé le 2 mics, je suis actuellement avec le 4 mics et j'ai commandé sur le site de seeed (depuis 3 semaines) le ReSpeaker Mic Array v2.0 qui se branche en USB (pas de branchement direct sur un raspberry si j'ai bien compris). Où alors il faut acheter le respeaker core 2.0 mais ça fait cher la bête.
Au vu de mon utilisation, je n'ai pas vu de différence entre le 2 mics et le 4 mics sauf peut-être plus de faux positif au hotword sur le 4 mics. j'ai dû mettre la sensibilité à 0,3. Et épisodiquement, il se déclenche encore à côté des enceintes de l'ordi quand je regarde des vidéos youtube.
Le 4 mic à l'avantage d'avoir les leds avec lesquelles je vais pouvoir jouer quand je mettrai tout ça dans une boite.

Ced

[diabolyk]

Salut,

Le voice recognition de jpi ne marche pas sur ma tablette, du coup je suis venu ici...
par contre sur le premier post il y a un lien pour la doc en français mais il ne marche pas.

Où trouver cette doc pour démarrer avec snips ?

Merci.

[Jeandhom]

https://docs.snips.ai/

[diabolyk]

https://docs.snips.ai/

Merci

désolé j'avais pas précisé que je cherchais une doc en français pour démarrer....

ou un tuto ?!?

[Hydro]

@benj29 : que donne la commande aplay -l (L en minuscule) sur ton satellite ?

Grosso merdo, voila comment j'ai fait. J'ai installé snips de manière autonome sur chacun des pi et sur la VM. j'ai vérifié qu'ils fonctionnaient correctement.
Ensuite j'ai modifié le fichier /etc/snips.tom (un truc du genre) pour appliquer la config tel que cette doc : https://docs.snips.ai/guides/raspberry- ... satellites

Ensuite j'ai désinstallé les modules inutiles sur chacun des raspberry...

Et ça a marché du premier coup

@Hydro :
pour répondre à ta question, j'ai testé le 2 mics, je suis actuellement avec le 4 mics et j'ai commandé sur le site de seeed (depuis 3 semaines) le ReSpeaker Mic Array v2.0 qui se branche en USB (pas de branchement direct sur un raspberry si j'ai bien compris). Où alors il faut acheter le respeaker core 2.0 mais ça fait cher la bête.
Au vu de mon utilisation, je n'ai pas vu de différence entre le 2 mics et le 4 mics sauf peut-être plus de faux positif au hotword sur le 4 mics. j'ai dû mettre la sensibilité à 0,3. Et épisodiquement, il se déclenche encore à côté des enceintes de l'ordi quand je regarde des vidéos youtube.
Le 4 mic à l'avantage d'avoir les leds avec lesquelles je vais pouvoir jouer quand je mettrai tout ça dans une boite.

Ced

Alors là je suis carrément intéressé par ton retour sur le respeaker 2.0 vu que je compte sur celui là aussi !!

Envoyé de mon ONEPLUS A3003 en utilisant Tapatalk

[benj29]

J'ai un 2mics. Je vais voir essayer ce que me donne hydro.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[benj29]

@benj29 : que donne la commande aplay -l (L en minuscule) sur ton satellite ?

Grosso merdo, voila comment j'ai fait. J'ai installé snips de manière autonome sur chacun des pi et sur la VM. j'ai vérifié qu'ils fonctionnaient correctement.
Ensuite j'ai modifié le fichier /etc/snips.tom (un truc du genre) pour appliquer la config tel que cette doc : https://docs.snips.ai/guides/raspberry- ... satellites

Ensuite j'ai désinstallé les modules inutiles sur chacun des raspberry...

Et ça a marché du premier coup

@Hydro :
pour répondre à ta question, j'ai testé le 2 mics, je suis actuellement avec le 4 mics et j'ai commandé sur le site de seeed (depuis 3 semaines) le ReSpeaker Mic Array v2.0 qui se branche en USB (pas de branchement direct sur un raspberry si j'ai bien compris). Où alors il faut acheter le respeaker core 2.0 mais ça fait cher la bête.
Au vu de mon utilisation, je n'ai pas vu de différence entre le 2 mics et le 4 mics sauf peut-être plus de faux positif au hotword sur le 4 mics. j'ai dû mettre la sensibilité à 0,3. Et épisodiquement, il se déclenche encore à côté des enceintes de l'ordi quand je regarde des vidéos youtube.
Le 4 mic à l'avantage d'avoir les leds avec lesquelles je vais pouvoir jouer quand je mettrai tout ça dans une boite.

Ced

Comme je l'indiquais plus haut, aplay -l ne donne aucune carte son n'a été trouvée.

Je fais aussi un sudo alsamixer pour voir un peu et là j'ai bcm2835 (la base du PI je présume), USB2 device (hp usb branché), seeed2mic la carte sur les gpio.

[benj29]

Un sam status en direct sur la console de la pi satellite donne :

Code : Tout sélectionner

boss@PI-SNIPS1:~$ sam status

Connected to device localhost

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.1 (not running)
snips-asr .................... 0.60.1 (not running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (not running)
snips-hotword ................ 0.60.1 (not running)
snips-nlu .................... 0.60.1 (not running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

Une sam status sur la vm server :

code]Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Jeedom
Language ..................... fr
Hotword ...................... jarvis
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.58.2 (not running)
snips-audio-server ........... 0.58.2 (not running)
snips-dialogue ............... 0.58.2 (running)
snips-hotword ................ 0.58.2 (running)
snips-nlu .................... 0.58.2 (not running)
snips-skill-server ........... 0.58.2 (running)
snips-tts .................... 0.58.2 (running)[/code]

Il me semble que la VM est bien installée, mais pour le satellite, je n'ai toujours pas compris comment l'installer pour la partie audio. Il y a des dizaines de guide, moins clair les uns que les autres...

[cedcox]

@benj29

Si alsamixer le voit, aplay doit voir... Y'a un truc de paranormal. Si tu tapes ceci :

Code : Tout sélectionner

sudo alsactl init

ça te donne quoi en résultat ?

Edit : je viens de voir tes résultats sam status.. c'est le b....

On va traiter un problème après l'autre. On va déjà essayer d'avoir 2 snips autonomes fonctionnels
Pour la VM se sera basique, concentrons nous sur le sat et sa carte son.

Edit 2 : On est d'accord le aplay, tu le fais avec sudo ?
Tapes ceci : sudo aplay -l

[benj29]

C'est bon j'ai trouvé, merci pour ton aide !

Sincèrement, je ne comprends pas comment font les gens vraiment !

Dans l'ordre :

depuis ma raspberry en direct :

sudo apt-get remove pulseaudio
sudo apt autoremove
sudo alsactl init
sudo reboot

Oui c'était lui l'objet du bord*l qui m'empêchait de voir mes cartes sons.

Ensuite :

aplay -l

Code : Tout sélectionner

**** Liste des Périphériques Matériels PLAYBACK ****
carte 0: ALSA [bcm2835 ALSA], périphérique 0: bcm2835 ALSA [bcm2835 ALSA]
  Sous-périphériques: 7/7
  Sous-périphérique #0: subdevice #0
  Sous-périphérique #1: subdevice #1
  Sous-périphérique #2: subdevice #2
  Sous-périphérique #3: subdevice #3
  Sous-périphérique #4: subdevice #4
  Sous-périphérique #5: subdevice #5
  Sous-périphérique #6: subdevice #6
carte 0: ALSA [bcm2835 ALSA], périphérique 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
  Sous-périphériques: 1/1
  Sous-périphérique #0: subdevice #0
carte 1: Device [USB2.0 Device], périphérique 0: USB Audio [USB Audio]
  Sous-périphériques: 1/1
  Sous-périphérique #0: subdevice #0
carte 2: seeed2micvoicec [seeed-2mic-voicecard], périphérique 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
  Sous-périphériques: 1/1
  Sous-périphérique #0: subdevice #0

Conclusion :
hp usb hw:1,0
2mics hw:2,0

sudo nano /etc/asound.conf

qui donne (et sérieux quand tu lis la doc avec le maker kit composé de l'usb + 2mics faut m'expliquer comment le hw à chaque ligne est le même !) :

Code : Tout sélectionner

# The IPC key of dmix or dsnoop plugin must be unique
# If 555555 or 666666 is used by other processes, use another one


# use samplerate to resample as speexdsp resample is bad
defaults.pcm.rate_converter "samplerate"

pcm.!default {
    type asym
    playback.pcm "hw:1,0"
    capture.pcm "hw:2,0"
}

pcm.playback {
    type plug
    slave.pcm "hw:1,0"
}

pcm.capture {
    type plug
    slave.pcm "hw:2,0"
}

pcm.dmixed {
    type dmix
    slave.pcm "hw:1,0"
    ipc_key 555555
}

pcm.array {
    type dsnoop
    slave {
        pcm "hw:2,0"
        channels 2
    }
    ipc_key 666666
}

Ensuite pour utiliser sam :

sam connect localhost
login + mdp

sam test speaker :
tada : left, right...

sam test microphone :
tu parles c'est OK...

maintenant je continue !

un petit alsamixer pour baisser volume + micro enregistrement.

[benj29]

Bon, j'ai suivi la même doc que toi et que je suivais déjà.
Config A.
Si on admet que la vm s'appelle srvsnips, son petit nom dns est srvsnips.home et que la pi satellite sera salon alors.

Côté PI j'ai modifié le toml comme ceci - j'ai un dnsmasq sur le réseau pour remplacer l'ip par un petit nom+home donc :
Je ne mets que les lignes décommentées !

Code : Tout sélectionner

[snips-common]
mqtt = "srvsnips.home:1883"
[snips-audio-server]
bind = "salon@mqtt"

Ensuite le toml de la vm :

Code : Tout sélectionner

[snips-audio-server]
bind = "srvsnips@mqtt"
[snips-hotword]
audio = ["salon@mqtt"]

sauf qu'ensuite on fait quoi ?

Côté Jeedom, je charge l'assistant, l'ip du serveur snips est bonne.
Il me trouve le satellite salon, je clique dessus il me dit qu'il envoie du son.
Mais je n'entends rien.



un jarvis ne fait rien (hotword sélectionné) jarvis la météo demain etc.
J'ai déployé l'assistant avec ces applications bien sûr.

Pour rappel - et y a un truc qui m'embête !

sur la pi, un sam connect localhost (sans sudo)
puis sam status :

Code : Tout sélectionner

Connected to device localhost

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.1 (not running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (not running)
snips-hotword ................ 0.60.1 (not running)
snips-nlu .................... 0.60.1 (not running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

sur la vm (debian9), il faut que je fasse un sudo sam connect localhost puis sudo sam status

Code : Tout sélectionner

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Jeedom
Language ..................... fr
Hotword ...................... jarvis
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.58.2 (not running)
snips-audio-server ........... 0.58.2 (not running)
snips-dialogue ............... 0.58.2 (running)
snips-hotword ................ 0.58.2 (running)
snips-nlu .................... 0.58.2 (not running)
snips-skill-server ........... 0.58.2 (running)
snips-tts .................... 0.58.2 (running)

Voilà... bon déjà j'ai de l'audio lol !

[dckiller]

ok , J'ai installé sur Debian 9 c'est pas plug n play et j'ai pas testé qu'il réponde bien je ne suis pas chez moi...
Voici la procédure pour info, à partir d'une installe fraiche de debian 9 :

Ajout de la commande sudo qui sert toujours... (changez l'utilisateur chris par le votre)

Code : Tout sélectionner

su
apt-get install sudo -y
usermod -aG sudo chris
sudo nano /etc/sudoers

Rajouter de l'utilisateur chris dans le fichier (mettez le nom que vous voulez...)
je crois qu'il faut NOPASSWD pour l'install de snips, vous pouvez changé apres l'install

Code : Tout sélectionner

# Allow members of group sudo to execute any command
sudo    ALL=(ALL:ALL) ALL
ajouter --> chris   ALL=(ALL) NOPASSWD: ALL

Installer nodejs et SAM (besoin de unzip pour la suite)

Code : Tout sélectionner

sudo apt-get install curl
curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -
sudo apt-get install -y nodejs
sudo npm install -g snips-sam
sudo apt-get install unzip

ajouter la ligne non-free au fichier /etc/apt/sources.list (pour snips-tts)

Code : Tout sélectionner

sudo nano /etc/apt/sources.list
Ajouter -->  deb http://ftp.de.debian.org/debian stretch main non-free

sudo apt-get update

lancer sam init et install de l'assistant du compte snips (saisie lors du login)

Code : Tout sélectionner

sam connect localhost
sam init
sam login
sam install assistant

Code : Tout sélectionner

sudo apt-get install snips-tts

sam status

Code : Tout sélectionner

Connected to device localhost

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. (not running)
snips-asr .................... 0.58.2 (running)
snips-audio-server ........... 0.58.2 (not running)
snips-dialogue ............... 0.58.2 (running)
snips-hotword ................ 0.58.2 (running)
snips-nlu .................... 0.58.2 (running)
snips-skill-server ........... 0.58.2 (not running)
snips-tts .................... 0.58.2 (running)

Voilà en gros la procédure, je l'ai fait apres l'install alors y'a peut etre des détails oubliés...
je test ce soir pour voir si ça fonctionne vraiment


Edit : Je Valide ! ça fonctionne nickel avec debian 9. Du coup j'ai fait pointer mes satellites sur ce serveur.

pensez à éditer le fichier : sudo nano /etc/snips.toml pour paramétrer les satellites

extrait du fichier :

Code : Tout sélectionner

../..  
[snips-hotword]
audio = ["satellite1@mqtt","satellite2@mqtt"]          (par exemple, pour mes deux satellites) 
../..

c'est tout sur le serveur.


Meme fichier à éditer sur les satellites...
sudo nano /etc/snips.toml

(C'est le code de tout le fichier que j'ai sur mes satellites)

Code : Tout sélectionner

  
[snips-tts]
[snips-dialogue]
sound_feedback_enabled_default = true

[snips-asr]

[snips-nlu]

[snips-asr-google]

[snips-analytics]

[snips-hotword]

[snips-audio-server]
bind = "satellite1@mqtt"      (nom du satellite 1)

[snips-common]
mqtt = "192.168.1.93:1883"     (adresse du serveur)

redémarrer les services apres les modifs des fichiers

Code : Tout sélectionner

sudo systemctl restart 'snips-*'

Bonjour,

J'essaye d'installer snips sur une VM debian 9 (vmware workstation) et ton tuto tombie bien. Cependant je rencontre quelques difficultés:

-Au moment de la faire la commande "sam install assistant" j'ai l'erreur suivante:

erreur1.JPG

-la commande sam status ne ressemble pas vraiment à la tienne... (asr et nlu pas démarré)

erreur2.JPG]

Voici les logs pour ces deux services:

logNLU-ASR.JPG

L'idée c'est de n'utiliser cette VM que pour le traitement voix, derrière j'aurais un satellite.

Je vous remercie de votre aide

Bon dimanche

Bonsoir,

Je pense que tu n'es pas à jour. Tu devrais être en version 0.60.1.

Peux tu vérifier dans cette liste que tu as la bonne adresse pour les maj.

Code : Tout sélectionner

sudo nano /etc/apt/sources.list.d/snips.list

Code : Tout sélectionner

deb https://debian.snips.ai/stretch stable main

ensuite tu lances :

Code : Tout sélectionner

sudo apt update && sudo apt dist-upgrade

Refait un sam status, tu devrais être en 0.60.1 avec tes NLU et ASR de démarrer.

Slt benj29,

Sur ta VM tu devrais être aussi en 0.60.1 et non 0.58.2. Regarde mon ancien poste pour mettre a jour.

Envoyé de mon Redmi Note 5 en utilisant Tapatalk

[benj29]

OK je regarde et te dis.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[Hydro]

Pour ma VM sur debian j'ai :

OS version ................... Debian GNU/Linux 9 (stretch)
Installed assistant .......... Jarvis
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.60.1 (running)
snips-asr .................... 0.60.1 (running)
snips-audio-server ........... 0.60.1 (running)
snips-dialogue ............... 0.60.1 (running)
snips-hotword ................ 0.60.1 (running)
snips-nlu .................... 0.60.1 (running)
snips-skill-server ........... 0.60.1 (running)
snips-tts .................... 0.60.1 (running)

Par contre vu que j'installe le satellite en mode A à la main, j'ai pas SAM dessus.

Certain on réussi a installé le mode B avec Sam ?

Envoyé de mon ONEPLUS A3003 en utilisant Tapatalk

[Hydro]

Quand je regarde la documentation il ne parle pas de Sam pour le satellite non ?

https://docs.snips.ai/guides/raspberry- ... satellites

Envoyé de mon ONEPLUS A3003 en utilisant Tapatalk