[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[nitro24]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

[arnog23]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

+1 Ca serait top effectivement.

[arnog23]

Hello,

Juste pour vous dire qu'en plus des interractions et de la possibilité de vocaliser directement scenario_return, CoorFang viens d'ajouter la gestion du Ask au plugin!
Il faut créer une intent de réponse, avec un slot avec par ex. oui et non dedans (et des synonymes). On pourra bien entendu mettre les réponses que l'on veux, mais faudra les gérer ensuite dans les scénarios. Je vous conseille de faire un intent/slot séparé pour oui/non, et le reste dans d'autres intents.
Capture d’écran 2018-08-25 à 16.29.23.png

Ensuite, on met l'assistant à jour sur snips et sur jeedom, et on créé un binding sans condition, qui remplit juste une variable de réponse avec le slot.
Capture d’écran 2018-08-25 à 16.29.40.png

Et pour finir, le ask dans les scénario se rempli comme suit...
Capture d’écran 2018-08-25 à 16.29.49.png
Petite astuce : il faut rajouter le nom du compte a qui appartient l'app JeedomOfficial, ou le votre si l'app est forké.

Testé et approuvé.

Salut,

Merci pour ce nouvel exemple.

En revanche, de mon côté, j'ai un soucis avec le training pour ce nouvel Intent. J'ai essayé de le supprimer/recréer ainsi que le slot mais ca ne change rien. Une idée ?

[arnog23]

Et le scénario de gestion globale :
Capture d'écran 2018-08-15 19.37.29.png
Capture d'écran 2018-08-15 19.37.54.png

Il y a juste à remplacer le site default par la piece dans laquelle se trouve le serveur Snips. Le reste est dynamique, à condition de nommer les satellites du nom des pieces.
Et ca permet donc, si on est dans le salon, de dire soit "eteins la lumière du salon", soit "eteins la lumière".
A terme, je séparerais les actions par intent dans des scénarios séparés, pour simplifier.

Autre astuce : ca permet aussi de contextualiser certaines actions, et de les interdire si on est pas présent à la maison, si il fait nuit, si l'alarme est activée, etc...

Salut fwehrle,

Une petite question concernant ton scénario lorsque la variable "snips_house_room" est égale à "salle à manger". Est-ce que cela fonctionne pour toi avec les espaces ? De mon côté, pour toutes les pièces avec des espaces (salle à manger, chambre d'amis, ...), je suis obligé de supprimer les espaces car je le reçois sans espace.

Code : Tout sélectionner

[SCENARIO] Evaluation de la condition : ["chambred'amis" == "chambred'amis"] = Vrai

[fwehrle]

Arnog23 :
Il faut que tu précise le slot dans tes phrases d'entraînement. Juste avant de l'ajouter, tu clic droit sur le mot oui, et tu choisis le slot. Ou sinon, il y a une synthaxe a respecter. Tu la vois quand tu exporte les phrases d'un intent.

J'ai remarque aussi pour les espaces. J'ai réglé le problème en créant un binding spécial pour ca, et j'ai mis le tag en dur dans l'appel du scénario. J'en toucherais mot a coorfang.

[fwehrle]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

Pas la moindre idée. Valentin saura peut-être nous répondre.

[valentinf]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

Pas la moindre idée. Valentin saura peut-être nous répondre.

Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

[arnog23]

Arnog23 :
Il faut que tu précise le slot dans tes phrases d'entraînement. Juste avant de l'ajouter, tu clic droit sur le mot oui, et tu choisis le slot. Ou sinon, il y a une synthaxe a respecter. Tu la vois quand tu exporte les phrases d'un intent.

J'avais effectivement loupé cette subtilité. C'est tout bon maintenant. Merci

J'ai remarque aussi pour les espaces. J'ai réglé le problème en créant un binding spécial pour ca, et j'ai mis le tag en dur dans l'appel du scénario. J'en toucherais mot a coorfang.

OK. Merci

[arnog23]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

Pas la moindre idée. Valentin saura peut-être nous répondre.

Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

Ou alors il faudrait pouvoir remplacer le coeur du lapin par un RPI3 (ou zero w) et le micro par un ReSpeaker 2-Mics Pi HAT. Un peu comme ici : https://www.hackster.io/bastiaan-slee/n ... aiy-e9f2c8

[maxredphenix]

Bonsoir,

@maxredphenix

Pour ton soucis de son en accéléré, regarde ici, j'avais le même souci.

viewtopic.php?p=641659#p641659

Salut,

Parfait merci tout est ok maintenant et en plus j'avais un souci sur la partie audio-server qui a disparu au final !!!

Reste maintenant à continuer poyr Jeedom car pour le moment j'ai juste un retour TTS "crochet ouvert crochet fermant"

[arnog23]

Salut,

Je vais préparer une nouvelle plateforme avec hub/satellites pour ma prod car mes tests sont pour le moment sur un seul RPI3 (Jeedom et Snips).

D'après le site de Debian, il est recommandé 512M de RAM et 2Go de disque (sans bureau) pour la version 8.

Un RPi3 a 1G de RAM et Snips recommande une SD de 4Go.

Pour ceux qui ont installé le Hub sur une VM, combien de RAM et de disque avez vous mis pour votre Debian ? 1G de RAM et 4Go de disque ?

[chsalmon]

Salut,

j'ai mis 2Go de ram et 40Go de disque.. mais je met toujours large, c'est mon coté généreux.. (sur VMWARE ESXI)
Il y a 2,5 Go d'utilisé d'apres "df -H" (debian 8 avec juste un serveur web et ssh cochés à l'install )
Mets un peu de marge pour le disque (6 ou 10Go) c'est toujours embêtant quand on a pas assez de place, pour la mémoire ça se change facilement.
Au pire tu mets un disque dynamique si tu veux économiser de la place physique.

[Jeandhom]

Bonjour,
je suis cette discussion avec intérêt. Bravo et merci !
Au risque de dire une bêtise, serait-il possible de compiler le code du satellite snips pour l’implanter sur le Karotz (BusyBox, ARM920T) ?
Ce serait sympa de réanimer la reconnaissance vocale du Lapin.

Pas la moindre idée. Valentin saura peut-être nous répondre.

Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

Et pour recycler des google home mini en satellite snips ?

[valentinf]

Pas la moindre idée. Valentin saura peut-être nous répondre.

Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

Et pour recycler des google home mini en satellite snips ?

j'offre une tournée à celui qui fait ça

Les Google home ne sont pas assez puissants (les bienfait de processer la data dans le cloud ... je crois qu'ils utilisent les mêmes CPU que les chromecasts). Donc pas assez puissant (ni Amazon d'ailleurs), le seul moyen ... bidouiller pour mettre une RPI3 dedans.

EDIT, quoique pour un satellite ça demande pas la même puissance que pour tout l'audio server effectivement ... y'a peut être un truc à faire mais bon pour accéder aux pins de débug et re-coder le proc, bon courage

[fwehrle]

Hmm non je ne pense pas. Pas très puissant ces petites bêtes là!

Et pour recycler des google home mini en satellite snips ?

j'offre une tournée à celui qui fait ça

Les Google home ne sont pas assez puissants (les bienfait de processer la data dans le cloud ... je crois qu'ils utilisent les mêmes CPU que les chromecasts). Donc pas assez puissant (ni Amazon d'ailleurs), le seul moyen ... bidouiller pour mettre une RPI3 dedans.

EDIT, quoique pour un satellite ça demande pas la même puissance que pour tout l'audio server effectivement ... y'a peut être un truc à faire mais bon pour accéder aux pins de débug et re-coder le proc, bon courage

Je suis entrain de designer un boitier à imprimer en 3D qui reprends la forme des GHome mini, et qui hébergera mes Satelittes Snips a base de Pi0 et respeaker 2 mic array. Je partagerais.

[fwehrle]

Info sur la mini ici: https://medium.com/@justlv/google-home- ... 9a23724a26

[arnog23]

Moi j'essai de fais tourner le serveur sur une VM (VMWARE ESXI) debian 8 amd64 , mais ça ne fonctionne pas, j'ai un probleme avec le service NLU :

Code : Tout sélectionner

Aug 25 11:36:57 SnipsServer snips-nlu[2865]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 25 11:36:57 SnipsServer snips-nlu[2865]: -> caused by: Expected model version 0.15.0 but found 0.16.0

Le reste semble ok, en tout cas comme sur ma version Raspberry qui fonctionne:
(pas d'audio, c'est juste un serveur, j'ai un satellite )

Code : Tout sélectionner

OS version ................... Debian GNU/Linux 8 (jessie)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.56.4 (not running)
snips-asr .................... 0.56.4 (running)
snips-audio-server ........... 0.56.4 (not running)
snips-dialogue ............... 0.56.4 (running)
snips-hotword ................ 0.56.4 (running)
snips-nlu .................... 0.56.4 (not running)
snips-skill-server ........... 0.56.4 (running)
snips-tts .................... 0.56.4 (running)

et dans le fichier /usr/share/snips/assistant/assistant.json j'ai le parametre :

Code : Tout sélectionner

.../...
 "version" : {
    "nluModel" : "0.16.0"
  },
  "platform" : {
    "type" : "raspberrypi"
  },
  .../...
  

Donc je suppose que ça n'est pas compatible avec Debian ?
j'ai fais des "sam update-assistant" , "sam install assistant" et autre "sudo apt-get update && sudo apt-get upgrade snips-platform-voice" mais rien n'y fait.

quelqu'un l'a dejà fait fonctionné sur une VM ?


Edit:

Sur le raspberry, je suis en version 0.58.3 , c'est pas à jour sur les paquets Debian ?

Code : Tout sélectionner

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Mirror
Language ..................... fr
Hotword ...................... hey_snips
ASR engine ................... snips
Status ....................... Live

Service status:

snips-analytics .............. 0.58.3 (not running)
snips-asr .................... 0.58.3 (running)
snips-audio-server ........... 0.58.3 (running)
snips-dialogue ............... 0.58.3 (running)
snips-hotword ................ 0.58.3 (running)
snips-nlu .................... 0.58.3 (running)
snips-skill-server ........... 0.58.3 (not running)
snips-tts .................... 0.58.3 (running)

Edit:

Ca fonctionne !
j'ai remis rasbian dans snips.list

Code : Tout sélectionner

#deb https://debian.snips.ai/jessie stable main
deb https://raspbian.snips.ai/stretch stable main

et refait une mise à jour sudo apt-get --reinstall install -y snips-nlu (qui m'a tout reinstallé du coup)
et ça fonctionne.

c'est bizarre parce que j'avais du mettre les paquets debian (deb https://debian.snips.ai/jessie stable main) pour la premiere installe, surement que ça avait installé les bonnes dependances...
Bref, c'est bon sur mon serveur Debian.

Salut,

J'ai le même souci avec le service snips-nlu sur ma VM mais le fait de changer le repository avec celui de Raspbian ne change rien

[chsalmon]

C'est bien la même erreur ?
je la voyait en faisant :

redemarre les services snips

Code : Tout sélectionner

sudo systemctl restart 'snips-*'

attend un peu et regarde les logs :

Code : Tout sélectionner

sudo more  /var/log/syslog | tail -n 50

tu as bien fait un sudo apt-get update apres avoir remis raspbian.snips.ai ?


j'avais pas mal galéré avant et fais plusieurs fois des "sam update-assistant" , "sam install assistant",...
j'ai bouclé sur la doc : https://snips.gitbook.io/documentation/troubleshooting

sinon retente un

Code : Tout sélectionner

sudo apt-get update && sudo apt-get upgrade snips-platform-voice

mais du coup ça reprend les paquets rasbian, je ne sais pas si c'est bien
(https://github.com/snipsco/snips-issues/issues/49 , https://github.com/snipsco/snips-issues/issues/48)

[arnog23]

Il me semble avoir déjà testé tout ça mais je vais revérifier.

Sinon, je suis allé poser ma question sur le discord Snips et il semblerait qu'il faille passer en Debian 9 malgré que la version 8 soit indiquée dans la doc. Je vais aussi tenter avec une Debian 9.

[arnog23]

Bon, et bien ... aucun souci avec une Debian 9. Cela fonctionne du premier coup pour l'install. Je suis bien en 0.58.3 et le nlu est ok.