[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[Cecece]

J'ai commandé un micro array respeaker v2 avec une fonction d'annulation de bruit ambiant, je testerais.
Pour le volume, il suffit de lancer quelques commandes en SSH. ou de créer une skill Snips en python, mais ca, je ne sais pas encore faire...

Hello fwehrle, tu l'as commandé via le site de seedstudio ? Le Jabra 410 marche pas mal du tout, même de loin, il fait du noise reduction, mais vue les caractéristiques du respeaker, je serais bien tenté par essayer !

[fwehrle]

Oui, mais je crois que pour que l'annulation de bruit fonctionne, il faut que ce soit le pi qui diffuse la musique ou la télé.. Et la, ca va être moins sympa avec les sources multiples (TV, squeezebox, etc...). Si qqun a une idée? Parce qu'avec la télé, snips fait un peu n'imp'..

Pour le volume, c'est une BONNE idée. Ca pourrait être intégré au plugin, puisqu'on a les IP de chaque satellite..
Mais en attendant, je crois que je vais juste utiliser le plugin script.

[fwehrle]

J'ai commandé un micro array respeaker v2 avec une fonction d'annulation de bruit ambiant, je testerais.
Pour le volume, il suffit de lancer quelques commandes en SSH. ou de créer une skill Snips en python, mais ca, je ne sais pas encore faire...

Hello fwehrle, tu l'as commandé via le site de seedstudio ? Le Jabra 410 marche pas mal du tout, même de loin, il fait du noise reduction, mais vue les caractéristiques du respeaker, je serais bien tenté par essayer !

Oui. Je vous dirais.
Et j'ai un pote qui a un Jabra 410 : j'essayerai aussi. On en trouve à 50e sur le bon coin..

[fwehrle]

Bon, petit scénario pour minimiser les binding, et utiliser la variable snipsMsgSnipsId avec house_room de manière un peu intelligente.
Si on ne précise pas de house_room, le scénario prend SiteId. Bien sur, il faut avoir nommer les satellites comme les house_room.
Et aussi : plûtot que de multiplier les valeurs du slot house_room, il vaut mieux en avoir un par pièce, et ajouter des synonymes.
Comme ca, dans les binding jeedom, on aura que les valeurs du slot de remonté, et pas les synonymes. Ca simplifie...
Petit exemple de binding : 2 pour chaque intents : un sans condition, et un avec toutes les pieces. On passe la piece en parametre du même scenario, en plus du nom de l'intent (mais on peut aussi faire un scenario par intents. J'ai fait ca juste pour centraliser la gestion du SiteId.
Pour LightsTurnOff :

Capture d'écran 2018-08-15 19.36.19.png (730.99 Kio) Consulté 1080 fois

Pour LightsSet :

Capture d'écran 2018-08-15 19.36.50.png (766.03 Kio) Consulté 1080 fois

Capture d'écran 2018-08-15 19.37.03.png (242.46 Kio) Consulté 1080 fois

[fwehrle]

Et le scénario de gestion globale :

Capture d'écran 2018-08-15 19.37.29.png (560.96 Kio) Consulté 1080 fois

Capture d'écran 2018-08-15 19.37.54.png (512.23 Kio) Consulté 1080 fois

Il y a juste à remplacer le site default par la piece dans laquelle se trouve le serveur Snips. Le reste est dynamique, à condition de nommer les satellites du nom des pieces.
Et ca permet donc, si on est dans le salon, de dire soit "eteins la lumière du salon", soit "eteins la lumière".
A terme, je séparerais les actions par intent dans des scénarios séparés, pour simplifier.

Autre astuce : ca permet aussi de contextualiser certaines actions, et de les interdire si on est pas présent à la maison, si il fait nuit, si l'alarme est activée, etc...

[maxredphenix]

Génial !!!
Merci Fwehrle

[y4ourt]

Il y a effectivement un bug dans l'installation du plugin. Il suffit de supprimer le repertoire en question, et de relancer les dépendances (ou l'installation complète, je sais plus).

Code : Tout sélectionner

sudo rm -Rf /tmp/jeedom/snips

Effectivement, j'ai supprimé le répertoire en question, j'ai supprimé le plugin Snips également puis je l'ai réinstallé et relancé les dépendances.
=> Tout est au vert.

Merci fwehrle !

[maxredphenix]

Je viens de lire la doc du plugin snips pour mon retour de congés
https://snips.gitbook.io/documentation/ ... -on-jeedom

Vraiment c'est super surtout pour une V1 !!!

Il y a juste une chose que je trouve dommage dans tout ce projet.... c'est que pour un Ecosystème Français, on a tout à dispo, mais en Anglais
Même le site principal est entièrement en Anglais.

Je sais très bien que le projet est en cours et que le but est d'attirer un public large surtout côté développeurs, mais bon... dommage de ne pas penser à sa langue natale

Voili voilou, ma petite pensée du jour

[maxredphenix]

J'ai une question sur la partie assistant de rechargement

BEWARE: Each reload (after a plugin update for instance) will completely remove the existing intents and recreate them during the new assistant deployment. If you used some of snips intents in your scenarios, this operation will make those configuration lose efficacy. You will have to go back to your scenarios and update Snips intents.

Du coup si on prend le cas de Fwehrle.
-> A chaque fois qu'il y aura un rechargement (ex : MAJ plugin comme cité ci-dessus) : il va perdre ses modifications intents déjà existantes par défaut et créés par SNIPS (ex: nouvelles phrases pour gestion de la lumière) ?

[valentinf]

Hello

J'ai une question sur la partie assistant de rechargement

BEWARE: Each reload (after a plugin update for instance) will completely remove the existing intents and recreate them during the new assistant deployment. If you used some of snips intents in your scenarios, this operation will make those configuration lose efficacy. You will have to go back to your scenarios and update Snips intents.

Du coup si on prend le cas de Fwehrle.
-> A chaque fois qu'il y aura un rechargement (ex : MAJ plugin comme cité ci-dessus) : il va perdre ses modifications intents déjà existantes par défaut et créés par SNIPS (ex: nouvelles phrases pour gestion de la lumière) ?

Non c'est bon c'est rectifié maintenant faut qu'on mette à jour la documentation (à mon retour de vacances )

Je viens de lire la doc du plugin snips pour mon retour de congés
https://snips.gitbook.io/documentation/ ... -on-jeedom

Vraiment c'est super surtout pour une V1 !!!

Il y a juste une chose que je trouve dommage dans tout ce projet.... c'est que pour un Ecosystème Français, on a tout à dispo, mais en Anglais
Même le site principal est entièrement en Anglais.

Je sais très bien que le projet est en cours et que le but est d'attirer un public large surtout côté développeurs, mais bon... dommage de ne pas penser à sa langue natale

Voili voilou, ma petite pensée du jour

La traduction de la doc du plugin Snips-jeedom en Français est en cours

Pour le site c'est juste trop compliqué de maintenir une langue dans tous les pays où on fonctionne (US, Allemagne, Français, japonais ...) On a des articles de blogs, tutos ect ... Pas évident.

[fwehrle]

Oui, tout est en anglais, mais comme tu le dis, Snips est une boite à vocation mondiale, et la langue commune dans l'IT, c'est l'anglais.
Et après, quand on est une startup, il faut aller vite, et à l'essentiel. donc si ils ont pu nous pondre une app et un plugin jeedom si vite, AVEC de la doc, c'est aussi pour ca.

Pour les mises à jour, comme dis Val, ca n'est plus vrai : je rajoute des phrases tout les 2 jours sur les intents que j'ai forké et créé sur le fork de l'app JeedomOfficiel, et je mets le plugin à jour quand CoorFang publie des updates, et ca se passe très bien.
Et au pire, il nous a mis une jolie fonction d'import/export des bindings!
D'ailleurs, à ce sujet, la seule fois ou j'ai perdu mon binding et ou j'ai du modifié un fichier d'export pour le réimporter, c'est quand j'ai forké les intents sur la console de Snips.
En effet, à ce moment-là, ils changent de préfixe pour prendre mon profil. Un simple chercher/remplacé que j'ai même fait directement depuis la gestion de fichier de jeedom a réglé le problème.
A ce sujet, petite question d'ordre générale pour Val : je me pose une question : ne serait-il pas plus logique de pouvoir forker et ajouter des intents sans pour autant devoir forker l'App ?
Cela permettrait de continuer de profiter des mises à jours d'une App (surtout si celle-ci contient des Skills), en pouvant néanmoins la personnaliser avec des intents.
Je n'ai pas encore exploré l'archi logicielle des Apps Snips, mais si j'ai bien compris, les Apps sont un regroupement d'intents, qui contiennent des des phrases d'entrainement et des slots. Ainsi que des skills en python pour les actions. J'ai bon?

[Jeandhom]

J'ai un soucis avec la sortie audio.

aplay out.wav ne donne rien.

arecord -f cd out.wav génère bien le fichier out.wav que j'arrive à écouter sur une autre machine.

Je suis toujours bloqué avec la sortie audio.

J'ai aussi branché un haut parleur sur la prise jack audio de 3.5 mm de la carte ReSpeaker 2-Mics Pi HAT sans plus de résultats.

J'ai laissé un message sur discord sans réponse de la team Snips.

[y4ourt]

Bonjour,

J'ai commencé a rentrer dans les paramètres du plugin et j'ai réussi à utiliser les intents LightsSetJeedom, LightsTurnOffJeedom et EntityStateValueJeedom. Vraiment bluffant !

J'ai une question fonctionnelle : j'ai 2 lampes dans mon salon et j'arrive à les allumer ou éteindre ensemble grâce aux 2 premiers intents, mais comment puis je les différencier ?
J'ai essayé d'utiliser les intents TurnOnJeedom et TurnOffJeedom (en les appelant par exemple "lampe gauche" et "lampe droite") mais il semble de mes critères sont déroutants pour snips. J'ai l'impression que le terme "allume" ou "lampe" le fait réagir plutôt sur les intents "Lights".

D'autre part, je voulais savoir s'il l'installation de Logitech Media Server sur le même RPI 3 que Snips ne pose pas de problème technique particulier.
J'ai essayé ce matin, l'installation s'est bien déroulée mais pas moyen d'accéder à la page web sur l'IP de mon RPI3 au port 9000 (pas de réponse). Quels points pourrais je vérifier pour voir si le service fonctionne bien ?

[fwehrle]

J'ai un soucis avec la sortie audio.

aplay out.wav ne donne rien.

arecord -f cd out.wav génère bien le fichier out.wav que j'arrive à écouter sur une autre machine.

Je suis toujours bloqué avec la sortie audio.

J'ai aussi branché un haut parleur sur la prise jack audio de 3.5 mm de la carte ReSpeaker 2-Mics Pi HAT sans plus de résultats.

J'ai laissé un message sur discord sans réponse de la team Snips.

Du coup, tu as branché le Respeaker sur le pi3 ou sur le pi zero? Et Aplay -l affiche bien le device du resepaeker?
Du coup, tu as mis quoi dans asound.conf?

[fwehrle]

J'ai une question fonctionnelle : j'ai 2 lampes dans mon salon et j'arrive à les allumer ou éteindre ensemble grâce aux 2 premiers intents, mais comment puis je les différencier ?
J'ai essayé d'utiliser les intents TurnOnJeedom et TurnOffJeedom (en les appelant par exemple "lampe gauche" et "lampe droite") mais il semble de mes critères sont déroutants pour snips. J'ai l'impression que le terme "allume" ou "lampe" le fait réagir plutôt sur les intents "Lights".

Normal. Pour les lampes et lumières, ce sont les intents lightsSetJeedom et lightsTurnOffJeedom qui ont été entrainés avec des phrases pour allumer/eteindre les lumieres. Il ne faut pas mettre des commandes de lumieres sur les bindings TurnOn et TurnOff.
Pour différencier tes lampes (et tes pieces), le plus simple est de forker l'App, et les intents.
Puis de rajouter/supprimer des device_name et house_room (et leur ajouter des synonymes) pour coller à ta maison et ton vocabulaire.

[Jeandhom]

J'ai un soucis avec la sortie audio.

aplay out.wav ne donne rien.

arecord -f cd out.wav génère bien le fichier out.wav que j'arrive à écouter sur une autre machine.

Je suis toujours bloqué avec la sortie audio.

J'ai aussi branché un haut parleur sur la prise jack audio de 3.5 mm de la carte ReSpeaker 2-Mics Pi HAT sans plus de résultats.

J'ai laissé un message sur discord sans réponse de la team Snips.

Du coup, tu as branché le Respeaker sur le pi3 ou sur le pi zero?

Sur un pi3, c'est le maker kit.

Et Aplay -l affiche bien le device du resepaeker?

pi@raspsnips:~ $ aplay -l
**** Liste des Périphériques Matériels PLAYBACK ****
carte 0: ALSA [bcm2835 ALSA], périphérique 0: bcm2835 ALSA [bcm2835 ALSA]
Sous-périphériques: 7/7
Sous-périphérique #0: subdevice #0
Sous-périphérique #1: subdevice #1
Sous-périphérique #2: subdevice #2
Sous-périphérique #3: subdevice #3
Sous-périphérique #4: subdevice #4
Sous-périphérique #5: subdevice #5
Sous-périphérique #6: subdevice #6
carte 0: ALSA [bcm2835 ALSA], périphérique 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
Sous-périphériques: 1/1
Sous-périphérique #0: subdevice #0

Du coup, tu as mis quoi dans asound.conf?

pcm.!default {
type asym
playback.pcm {
type plug
slave.pcm "hw:0,0"
}
capture.pcm {
type plug
slave.pcm "hw:1,0"
}
}

[fwehrle]

La sortie son du respeaker n'apparaît même pas dans la liste. Soit ton respeaker est HS, soit les drivers sont mal installés. Tu es bien sur un pi3 avec un os installé sur la carte sd depuis CE pi. Et pas depuis un pi zéro...

Sur le Pi3B+ : le respeaker est en card 1!

Code : Tout sélectionner

pi@Snips-Server:~ $ sudo aplay -l
**** List of PLAYBACK Hardware Devices ****
card 0: ALSA [bcm2835 ALSA], device 0: bcm2835 ALSA [bcm2835 ALSA]
  Subdevices: 7/7
  Subdevice #0: subdevice #0
  Subdevice #1: subdevice #1
  Subdevice #2: subdevice #2
  Subdevice #3: subdevice #3
  Subdevice #4: subdevice #4
  Subdevice #5: subdevice #5
  Subdevice #6: subdevice #6
card 0: ALSA [bcm2835 ALSA], device 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
  Subdevices: 1/1
  Subdevice #0: subdevice #0
card 1: seeed2micvoicec [seeed-2mic-voicecard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
  Subdevices: 1/1
  Subdevice #0: subdevice #0
pi@Snips-Server:~ $ sudo arecord -l
**** List of CAPTURE Hardware Devices ****
card 1: seeed2micvoicec [seeed-2mic-voicecard], device 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
  Subdevices: 0/1
  Subdevice #0: subdevice #0

Code : Tout sélectionner

pcm.!default {
  type asym
   playback.pcm {
     type plug
     slave.pcm "hw:1,0"
   }
   capture.pcm {
     type plug
     slave.pcm "hw:1,0"
   }
}

[Jeandhom]

Excuse-moi, mais comme je pensais que c'était la carte 0 qui s'occupait de l'audio out, je n'avais pas copier/coller toute la sortie.

pi@raspsnips:~ $ aplay -l
**** Liste des Périphériques Matériels PLAYBACK ****
carte 0: ALSA [bcm2835 ALSA], périphérique 0: bcm2835 ALSA [bcm2835 ALSA]
Sous-périphériques: 7/7
Sous-périphérique #0: subdevice #0
Sous-périphérique #1: subdevice #1
Sous-périphérique #2: subdevice #2
Sous-périphérique #3: subdevice #3
Sous-périphérique #4: subdevice #4
Sous-périphérique #5: subdevice #5
Sous-périphérique #6: subdevice #6
carte 0: ALSA [bcm2835 ALSA], périphérique 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
Sous-périphériques: 1/1
Sous-périphérique #0: subdevice #0
carte 1: seeed2micvoicec [seeed-2mic-voicecard], périphérique 0: bcm2835-i2s-wm8960-hifi wm8960-hifi-0 []
Sous-périphériques: 1/1
Sous-périphérique #0: subdevice #0

J'ai modifié /etc/asound.conf et maintenant ça fonctionne.

pi@raspsnips:~ $ cat /etc/asound.conf
pcm.!default {
type asym
playback.pcm {
type plug
slave.pcm "hw:1,0"
}
capture.pcm {
type plug
slave.pcm "hw:1,0"
}
}

Un grand merci.

[fwehrle]

Seulement si tu branches le jack sur la prise du pi3 (le pi zero n'en a pas, mais le chip audio etant le meme, il affiche quand meme la sortie audio qu'il n'a pas).
Si tu branches sur le jack de respeaker, c'est la carte 1.
Content d'avoir pu t'aider.
PS pour la prochaine fois : ne coupes pas les infos ou logs.. il y a toujours des infos utiles..

[Seki]

Bonjour,

Fort intéressant ce projet.
J'ai une question, snips pourrait tourner sur ce genre carte ?

https://m.fr.aliexpress.com/item/327615 ... 473duXzWYH

Le gpio est compatible pib+.

Pour la sortie son, vous utilisez quoi sur vos pi0 ?

Envoyé de mon ONEPLUS A6003 en utilisant Tapatalk