[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[Laurent R]

Je viens de tout mettre a jour et çà ne fonctionne pas (encore), je suis bloque a "load assistant" du cote de jeedom. Snips est a jour sur le raspberry pi 3 (15 minutes pour tout mettre a jour).

Quelques questions pour m'aider:
- Il faut mettre l'adresse IP réel (192.168.1....) ou l'adresse que me donne "sam devices" (169.254.89. ....) ?
- Le plugin fonctionne avec la dernière jeedom (version jeedom du plugin =2.4)
- @valentinf, tu préférés les questions ici ou sur le lien github ?
- [edit] "sam devices" ne liste plus l'adresse en 169 après ré-demarrage de snips (et n'est plus dans la liste, même si il est actif)
- [edit] J'ai un peu de feedback dans les logs jeedom (voir ci-dessous)

Code : Tout sélectionner

[2018-07-25 09:05:56][ERROR] : Erreur sur snips::mqttClient() : Call to a member function getCmd() on boolean

[valentinf]

Okay idéalement les bugs/issues sont sur github mais je vais répondre ici pour ça;

1/ Peux tu m'expliquer ton setup? C'était peut être l'adresse IP de ton ordinateur.
2/ Oui avec 2.4
3/ Github idéalement (et en Anglais si possible ... mais si c'est pas envisageable tu peux bien entendu les formuler en Français). SINON tu as aussi le discord https://discord.gg/nj8wtK (une espèce de messagerie instantanée) où on pourra répondre en temps réel et t'aider
4/ Oui je pense que c'était une autre adresse ip de ton réseau voir même celle de ton ordinateur
5/ Ce log t'indique qu'il n'y a pas d'assistant loader sur le plugin Snips dans Jeedom. Tu dois bien cliquer sur "load" pour charger les intents de ton assistant qui se trouve sur l'autre RPI (dont tu as pointé l'adresse avec l'IP)

On a ajouté pas mal d'infos à la doc https://snips.gitbook.io/documentation/ ... rms/jeedom, et l'assistant JeedomOfficial est encore amélioré pendant quelques jours donc faudra de temps en temps reloader les intents (par exemple au lieu d'un Intent LightShiftJeedom, on a maintenant LightShiftUp et LightShiftDown donc y'aura peut être quelques configs à refaire si vous avez déjà créer des bindings.)

[Laurent R]

Merci pour l'info. Je vais tout basculer sur Git-hub (15-20 minutes)

[valentinf]

Merci pour l'info. Je vais tout basculer sur Git-hub (15-20 minutes)

ça marche je te remercie, mais vraiment si tu bloques hésites pas à venir sur Discord on est dessus en permanence et on pourra te répondre très rapidement et vérifier l'install avec toi (pendant des heures convenables bien entendu )

EDIT//

bug fixé, on a pusher le fix, faut juste réinstaller le plugin (pour ceux qui l'avaient fais avant 18H40)

[Laurent R]

Ca marche super bien !!!!

[valentinf]

Hello tout le monde

Merci Larry

On a rendu l'app jeedomofficial sur la console Snips "forkable". Ce qui veux dire que vous pouvez la "forker" et l'éditer comme bon vous semble comme par exemple:
- enlever ou ajouter des intents
- enlever ou ajouter des phrases d'entrainements
- enlever ou ajouter des slots values (ajouter des synonymes ect)

Pour que vous puissiez vraiment personnaliser cet assistant selon votre environnement

Avant d'ajouter ou de supprimer des choses, faites bien attention d'avoir bien compris comment un assistant fonctionne, qu'est-ce que une slot value, un intent ect, je vous invite à lire la documentation générale de Snips pour bien être familier avec tout ceci.

[nicoxygen]

Pour l’instant je ne peux tester snips avec jeedom car j’utilise mon dernier rpi mais ça ne devrait plus durer longtemps j’ai déjà testé snips et mycroft, il faut dire que snips est très reactif, j’ai bien vu la réponse concernant les interactions , mais question importante seras-il possible d’integrer la fonction ask de jeedom avec la question/réponse via snips

[valentinf]

Hello Nico , pourrais-tu élaborer sur la fonction exactement?

Je ne vois pas trop en quoi Snips et la fonction Ask ont un rapport. Pourrais-tu me donner un usecase s'il te plaît?

Oui on connaît bien Mycroft mais attention, il y'a bien une différence entre ... crypter les données pour être traité dans le cloud et ... traiter tout localement. C'est un choix bien entendu mais je ne considère pas que ma requête "crypté" envoyé sur un serveur (qui la décrypte) soit "privée" mais c'est un autre débat

Pour Ask, j'imagine que tu veux dire "L'alarme est-elle bien activée dans la maison?" avec Snips? Si oui tu peux déjà le faire en utilisant l'intent "EntityStatevalueJeedom" qui va alors te retourner l'état (1 ou 0 mais qu'on va bientôt pouvoir mapper en fonction de que l'utilisateur veux, feature à venir).
Si ce n'est pas ça je veux bien un exemple

au faite ... c'est mon 100e message sur Jeedom

[Tristan35]

Pour la fonction Ask, je verrais bien un truc du style : Snpis m'interpelle "Tristan ?", je réponds "Oui" si je suis dispo (ou "Pas maintenant" si ce n'est pas le cas), et là il me pose la question "Dois-je fermer les volets ?" puis je lui réponds oui ou non. Mais je ne sais pas du tout si c'est quelque chose d'envisageable ou non...

[valentinf]

Ah ok je vois, hmm non pas du côté de Snips en tout cas (on dirait plus une fonctionnalité chatbot) mais c'est très éloigné de ce qu'on fait.

D'un point de vue jeedom, je vois pas ce qui empêche de le faire? Je veux dire, on crée un scénario, on appelle la fonction ask, et dans le code block on pousse un message hermes MQTT pour trigger le TTS qui dit "Tristan veux tu fermer le volet?" en même temps un autre message MQTT trigger le hotword de Snips pour qu'il se mette en mode écoute.
Tu créer un intent "OuiNon" pour qu'il détecte ta réponse et en fonction de ta réponse tu executes le binding que tu souhaites.

Bon c'est un peu tiré par les cheveux mais en tout cas y'a quelque chose à faire, mais je pense pas que ce sera une feature qu'on va pouvoir développer (on a une liste longue comme le bras déjà) donc si un dev veux s'amuser avec des requêtes MQTT ... avec plaisir

[Tristan35]

Je me doute que c'est pas évident Mais la solution que tu propose est déjà bien vue !

Je compte faire une installation à partir de la semaine prochaine, Snips sur une VM, et un satellite en Pi 0 W avec le mic array 2 que j'espère recevoir rapidement

[Patrick]

Salut Valentin, et bravo pour cet excellent boulot !

J'ai installé la plateforme Snips sur une VM (sous Proxmox) sans aucun problème.
J'allais m'attaquer à l'install sur le RPi, mais je viens de voir que la doc préconise un RPi 3, hors je n'ai qu'un RPi 2 model b v1.1 sous la main.
Dois-je oublier et attendre d’acquérir un Pi3, ou est-ce que c'est jouable avec le Pi2b ?

[fwehrle]

Salut Patrick,

Attention : apparemment, le packet hermes-python n'est dispo que sous archi arm7. Donc si ta vm est sur un nuc Intel comme moi, va falloir patienter que Snips propose le paquet sous archi x86_x64.
(J'espère bien tôt). Sinon, pour le serveur, c'est effectivement mieux sous rpi3 (le pi3 b+ à apparemment des problèmes de stabilité : je te dirais, j'en ai commandé un).
Pour les satellites, un pi zéro suffit.

Envoyé de mon Nexus 6P en utilisant Tapatalk

[valentinf]

Hello

Effectivement cela risque d'etre un peu lent sur RPI2 tu peux essayer mais ce sera pas aussi réactif que sur PI3... Tu risques d'être deçu ...

[Cecece]

Bonjour tout le monde,

Petite partage d'expérience, l'app Snips JeedomOfficiel permet déjà de se bâtir un assistant capable de comprendre pas mal de chose à partir d'un vocabulaire varié mais générique! De fait si comme moi vous avez donné des noms assez spécifiques à vos pièces e.g "Chambre de Toto" (pauvre enfant ), vous allez vite vous apercevoir que l'assistant ne va garder et comprendre que "Chambre" pour le slot "house_room" et de fait l'action demandée ne sera pas exécutée. Rassurez-vous, nos amis de chez Snips ont pensé à tout, pas besoin de Forker l'app et les intents et donc perdre tout le potentiel que nos amis dev nous préparent, vous pouvez utiliser l' "Entity Injection", dans mon coin on dirait mais qu’es aquò ?
Ben justement c'est ce qui va permettre à votre assistant d'apprendre des mots plus spécifiques à votre environnement, comme par exemple le nom de vos pièces qui ne portent pas un nom générique.

Le plus simple c'est de se rendre ici https://snips.gitbook.io/documentation/ ... vocabulary et de suivre la doc.
Quelques points à noter :

• Pour créer/éditer le fichier JSON, un simple "sudo nano injonctions.json" fait l'affaire

• J'ai eu également besoin d'installer Mosquitto_Pub "sudo apt-get install mosquitto-clients"

En espérant que tout ça vous aide à tirer profit de ce bel assistant Snips associé à notre cher Jeedom, les GAFAs peuvent trembler !

[chsalmon]

Bonjour,

il y a un probleme dans l'installation des dependances du plugin Jeedom.
En tout cas pour ma config...

Le programme d'install check si on a php5 avant de verifier php7.
moi j'ai les deux version dans /etc/ du coup il install sur php5 au lieu de php7 qui est la version active d'apres jeedom (dans santé : Version PHP 7.0.31-1~dotdeb+8.1 )
J'ai du bidouiller le install.sh pour bypasser l'install sur php5 et forcer le passage dans l'install dans php7

/var/www/html/jeedom/plugins/snips/resources/install.sh

Code : Tout sélectionner

#if [[ -d "/etc/php5/" ]]; then
#  apt-get -y install php5-dev
#  if [[ -d "/etc/php5/cli/" && ! `cat /etc/php5/cli/php.ini | grep "mosquitto"` ]]; then
#       echo "" | pecl install Mosquitto-alpha
#    echo 80 > /tmp/SNIPS_dep
#       echo "extension=mosquitto.so" | tee -a /etc/php5/cli/php.ini
#  fi
#  if [[ -d "/etc/php5/fpm/" && ! `cat /etc/php5/fpm/php.ini | grep "mosquitto"` ]]; then
#       echo "extension=mosquitto.so" | tee -a /etc/php5/fpm/php.ini
#    service php5-fpm restart
#  fi
#  if [[ -d "/etc/php5/apache2/" && ! `cat /etc/php5/apache2/php.ini | grep "mosquitto"` ]]; then
#       echo "extension=mosquitto.so" | tee -a /etc/php5/apache2/php.ini
#    rm /tmp/SNIPS_dep
#    echo "Dependances installation is done"
#    service apache2 restart
#  fi
#else
  apt-get -y install php7.0-dev
  if [[ -d "/etc/php/7.0/cli/" && ! `cat /etc/php/7.0/cli/php.ini | grep "mosquitto"` ]]; then
    echo "" | pecl install Mosquitto-alpha
    echo 80 > /tmp/SNIPS_dep
    echo "extension=mosquitto.so" | tee -a /etc/php/7.0/cli/php.ini
  fi
  if [[ -d "/etc/php/7.0/fpm/" && ! `cat /etc/php/7.0/fpm/php.ini | grep "mosquitto"` ]]; then
    echo "extension=mosquitto.so" | tee -a /etc/php/7.0/fpm/php.ini
    service php5-fpm restart
  fi
  if [[ -d "/etc/php/7.0/apache2/" && ! `cat /etc/php/7.0/apache2/php.ini | grep "mosquitto"` ]]; then
    echo "extension=mosquitto.so" | tee -a /etc/php/7.0/apache2/php.ini
    rm /tmp/SNIPS_dep
    echo "Dependances installation is done"
    service apache2 restart
  fi
#fi

l'installation des dépendances est bien OK et le demon OK.
ça m'a pris deux heures mais j'ai trouvé pourquoi ça ne marchait pas....
Voilà pour info si d'autres ont le problème...

[Laurent R]

Bonjour tout le monde,

Petite partage d'expérience, l'app Snips JeedomOfficiel permet déjà de se bâtir un assistant capable de comprendre pas mal de chose à partir d'un vocabulaire varié mais générique! De fait si comme moi vous avez donné des noms assez spécifiques à vos pièces e.g "Chambre de Toto" (pauvre enfant ), vous allez vite vous apercevoir que l'assistant ne va garder et comprendre que "Chambre" pour le slot "house_room" et de fait l'action demandée ne sera pas exécutée. Rassurez-vous, nos amis de chez Snips ont pensé à tout, pas besoin de Forker l'app et les intents et donc perdre tout le potentiel que nos amis dev nous préparent, vous pouvez utiliser l' "Entity Injection", dans mon coin on dirait mais qu’es aquò ?
Ben justement c'est ce qui va permettre à votre assistant d'apprendre des mots plus spécifiques à votre environnement, comme par exemple le nom de vos pièces qui ne portent pas un nom générique.

Le plus simple c'est de se rendre ici https://snips.gitbook.io/documentation/ ... vocabulary et de suivre la doc.
Quelques points à noter :

• Pour créer/éditer le fichier JSON, un simple "sudo nano injonctions.json" fait l'affaire

• J'ai eu également besoin d'installer Mosquitto_Pub "sudo apt-get install mosquitto-clients"

En espérant que tout ça vous aide à tirer profit de ce bel assistant Snips associé à notre cher Jeedom, les GAFAs peuvent trembler !

Merci pour l'astuce Cecece !

Larry

[fwehrle]

Hello,

J'ai quelques soucis de config son pour faire cohabiter Snips et Squeezelite (client Logitech media server) sur un même pi zéro.
Un pro de la config alsa dans la salle?
viewtopic.php?f=142&t=38793

[arnog23]

Hello,

@valentinf

Un petit HS car on s'éloigne de Jeedom...

Même si je me doute que tout cela doit rester confidentiel si c'était le cas mais je tente quand même la question

Xavier Niel ayant investi dans Snips, peut-on s'attendre à une intégration de Snips en natif sur la Freebox V7 ?

[valentinf]

Hello,

J'ai quelques soucis de config son pour faire cohabiter Snips et Squeezelite (client Logitech media server) sur un même pi zéro.
Un pro de la config alsa dans la salle?
viewtopic.php?f=142&t=38793

Hello

Regarde du côté de DMIX (mélangeur mixeur) pour utiliser la même carte son par plusieurs devices.

Good luck