Comme annoncé, ce forum est passé en lecture seule au 1er janvier 2020. Désormais nous vous invitons à vous rendre sur notre nouvelle page communauté :
Image

A très bientôt !

[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

Pour parler de tout, et surtout de rien !
Avatar de l’utilisateur
Patrick
Helper
Messages : 1029
Inscription : 29 août 2014, 15:21
Localisation : Savoie

Re: [Sujet officiel] l'assistant vocal Snips

Message par Patrick » 29 juin 2018, 20:55

Projet de plugin intéressant, Snips semble prometteur !
Avez vous prévu une option pouvoir récupérer directement (sans actions) la phrase entendue pas snips transcrite en mode texte dans une info coté Jeedom ?
ßêta-Testeur / Développeur plugin / Modérateur du Forum EnOcean

En domotique ou en informatique, il n'y a pas de problème, mais seulement des solutions à trouver...
Pour contribuer au développement des plugins et tutos : Paypal

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 29 juin 2018, 21:17

J'attend un micro pour pouvoir tester mon installation toute fraîche de snips (vm debian + satellite sur pizero). En attendant, je n'ai trouvé aucune interface web sur le serveur : tout le parametrage se fait vraiment uniquement en ssh et depuis le site de snips?
Et pour jeedom, j'ai l'impression qu'il faudra brancher chaque action sur chaque équipements. Vous prévoyez d'utiliser les interactions ?

Envoyé de mon Nexus 6P en utilisant Tapatalk

Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
maxredphenix
Actif
Messages : 539
Inscription : 18 sept. 2015, 21:36
Localisation : Bourgogne

Re: [Sujet officiel] l'assistant vocal Snips

Message par maxredphenix » 29 juin 2018, 21:49

Et pour jeedom, j'ai l'impression qu'il faudra brancher chaque action sur chaque équipements. Vous prévoyez d'utiliser les interactions ?
J'espère car sinon ça risque d'être long.....
DIY Intel NUC i5 7Gen(via Proxmox) - Jeedom 3.2.

IPX800 v4 + 2 modules X-4FP
Détecteur fuite d'eau + fumée fibaro
Divers modules Zwave

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 02 juil. 2018, 09:50

chsalmon a écrit :
28 juin 2018, 21:32
J'ai trouvé comment faire parler Snips, en fait c'est tout con :


Par exemple, un intent du type "Bonjour marcel" avec marcel déclaré en Slot (default)

Code : Tout sélectionner

if len(intentMessage.slots.nom) > 0:
    nom = intentMessage.slots.nom.first().value # We extract the value from the slot "nom"
    result_sentence = "salut "+nom  # The response that will be said out loud by the TTS engine.
else:
    result_sentence = "je ne te connais pas" 

hermes.publish_end_session(intentMessage.session_id, result_sentence)
(oui, c'est dans la doc https://snips.gitbook.io/documentation/ ... et-actions )
Il me répond bien "Salut marcel"

Par contre, le snippet python n'a pas l'air trés évolué... comment on fait pour rajouter des import python ?
Si on veut appeler une URL par exemple ? ( de jeedom au hasard... )
Il faudrait qu'on puisse ajouter des lignes d'import, et eventuellement du code python commun a toutes les actions (des fonctions par ex.)

Au passage, le Discord est incomprehensible, il faudrait plutot un forum classique et efficace... comme celui de jeedom :-) , ce qui est beaucoup plus simple et clair.
Hello,

Le code snippet c'est conçu pour faire du code "simple" et qui permet d'avoir un exemple pour faire quelque chose de plus complexe après.
Une fois le code snippet généré tu peut regarder sur ton pi dans `/var/lib/snips/skills/` pour voir la tête de l'élément.

Tu peut faire des imports dans le code snippet, mais ensuite il faut que tu l'installe dans le venv (on le fait pas automatiquement) donc ça demande une configuration manuelle du snippet après coup

Pour quelque chose de complexe, le plus simple est de créer ton action "à la main" en suivant un exemple de code snippet généré
On va ajouter un exemple dans la doc (cette semaine) tu pourras y voir l'exemple concret d'un code snippet compliqué.

Mais pour résumer : code snippet == code simple pour avoir un exemple, tu peux le modifier depuis le pi ensuite
Pour un code plus compliqué, tu peux ensuite setup un github et faire appel à ton repo.

En tout cas ce sera beaucoup plus clair avec la nouvelle doc qui va sortir incessamment sous peu

Et oui je suis d'accord pour Discord, on prépare un forum ça arrivera sous peu.
Dernière édition par valentinf le 02 juil. 2018, 09:57, édité 1 fois.

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 02 juil. 2018, 09:56

Patrick a écrit :
29 juin 2018, 20:55
Projet de plugin intéressant, Snips semble prometteur !
Avez vous prévu une option pouvoir récupérer directement (sans actions) la phrase entendue pas snips transcrite en mode texte dans une info coté Jeedom ?
On va voir si c'est possible de le faire pour la V1

J'attend un micro pour pouvoir tester mon installation toute fraîche de snips (vm debian + satellite sur pizero). En attendant, je n'ai trouvé aucune interface web sur le serveur : tout le parametrage se fait vraiment uniquement en ssh et depuis le site de snips?
Et pour jeedom, j'ai l'impression qu'il faudra brancher chaque action sur chaque équipements. Vous prévoyez d'utiliser les interactions ?
Le parametrage se fait en SSH oui mais tu peux utiliser SAM qui te mâche en grande partie le travail --> https://snips.gitbook.io/getting-started/installation

L'interface UI est pour la création d'assistant (créer des intents, des utérances ect il n'ya pas encore d'UI pour l'installation mais en suivant le lien ci-dessous c'est vraiment pas compliqué.

Si on a le temps on ajoutera l'option interaction à la place de commande direct (au choix) mais sachant que notre NUL ASR utilise son propre moteur d'interaction il peut être en conflit avec celui de Jeedom. En tout cas on a pas eu des essais fameux lors de nos essais mais encore une fois si on a le temps on l'ajoutera (peut être pas dès la V1).

On essai de vous faire une V1 qui donne pas mal de flexibilité

Tiens d'ailleurs une petite vidéo d'un Maker Allemand avec Snips --> https://vimeo.com/277892638

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 03 juil. 2018, 09:02

Bonjour Valentinf,

Je ne parlais pas tellement de l'installation (que j'ai effectivement effectué en SSH avec SAM), mais bien de l'utilisation/paramétrage.
Une interface web locale permettrait de voir ce qui tourne, les daemon, et pourquoi pas pouvoir parametrer les assistants...

Mais je comprend que ca n'est pas forcement dans la priorités de la V1.. :)

Pour les interractions, je me doutait un peu que ca ferait double emploi avec votre moteur.. En y reflechissant, à l'époque, pour Sarah, c'était pareil : il fallait remapper chaque action...

Vivement la V1
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Hugo
Timide
Messages : 10
Inscription : 27 juin 2018, 14:03

Re: [Sujet officiel] l'assistant vocal Snips

Message par Hugo » 03 juil. 2018, 10:01

fwehrle a écrit :
03 juil. 2018, 09:02

Je ne parlais pas tellement de l'installation (que j'ai effectivement effectué en SSH avec SAM), mais bien de l'utilisation/paramétrage.
Une interface web locale permettrait de voir ce qui tourne, les daemon, et pourquoi pas pouvoir parametrer les assistants...
Il existe un 1er niveau d'interface web : https://github.com/oziee/snipsWebAdmin
Il ne permet pasde gérer tous mais au moins les services démarrés et de voir le syslog

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 03 juil. 2018, 11:21

Sympa.. merci.
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
maxredphenix
Actif
Messages : 539
Inscription : 18 sept. 2015, 21:36
Localisation : Bourgogne

Re: [Sujet officiel] l'assistant vocal Snips

Message par maxredphenix » 04 juil. 2018, 09:51

Hugo a écrit :
03 juil. 2018, 10:01
fwehrle a écrit :
03 juil. 2018, 09:02

Je ne parlais pas tellement de l'installation (que j'ai effectivement effectué en SSH avec SAM), mais bien de l'utilisation/paramétrage.
Une interface web locale permettrait de voir ce qui tourne, les daemon, et pourquoi pas pouvoir parametrer les assistants...
Il existe un 1er niveau d'interface web : https://github.com/oziee/snipsWebAdmin
Il ne permet pasde gérer tous mais au moins les services démarrés et de voir le syslog
Sympa :)
DIY Intel NUC i5 7Gen(via Proxmox) - Jeedom 3.2.

IPX800 v4 + 2 modules X-4FP
Détecteur fuite d'eau + fumée fibaro
Divers modules Zwave

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 05 juil. 2018, 15:26

En revanche il est fort probable que pour la V1, il faille installer Snips sur la même raspi (install) que Jeedom.

En effet, on a besoin de loader les assistants et intents en accédant au dossier correspondant dans notre install. Nous n'avons pas encore la capacité d'avoir accès à ce fichier par API ou de le loader manuellement ce qui empêche le fait d'avoir Snips et Jeedom séparés.

Je tiens à vous le préciser pour ceux qui souhaiteraient tester la beta mi-juillet.
Pour ceux qui aiment avoir Jeedom seul sur une RPI pour des soucis de backup je ne vois pas trop où serait le problème en soit sachant que tous vos assistants seraient de toute manière sauvegardés sur la console (votre compte Snips en ligne).

Des cas de figures où ça pose soucis?

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 05 juil. 2018, 15:49

Hello,
Je n'ai pas bien compris ce que tu entends par "accédant au dossier correspondant sur votre install".. Snips a besoin d'accéder à quel dossier de jeedom? Tu veux proposer la gestion des assistants directement depuis le plugin jeedom?

Et sinon : oui, cela me pose un problème. Déjà au niveau architecture, je ne pense pas qu'il soit judicieux d'installer plusieurs "server" ou services sur une même machine. A moins que vous ne puissiez gérer les services de snips en daemon de jeedom eventuellement.
Je n'ai pas encore pu faire fonctionner snips chez moi car j'ai installé le serveur snips-audio sur un rpi zero qui heberge deja un client squeezebox, et il semblerai que snips n'arrive pas a acceder au peripherique de carte son (probablement car il est utilisé par le client squeezebox, je ne sais pas encore).
Mais deja la, j'ai des interractions non souhaitées. Alors sur jeedom, je n'imagine meme pas..
Et j'ai remarqué que le serveur snips est relativement gourmand (25% de CPU sur mon nuc i5 4 coeurs). Alors sur un pi avec jeedom, ca ne me semble vraiment pas une bonne idée... MAis je peux me tromper..
La semaine prochaine, j'aurais plus de temps pour tester tout ca. Je te dirais.
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
kiboost
Actif
Messages : 1433
Inscription : 19 déc. 2017, 15:02
Localisation : France, Bretagne

Re: [Sujet officiel] l'assistant vocal Snips

Message par kiboost » 05 juil. 2018, 16:30

valentinf a écrit :
05 juil. 2018, 15:26
En revanche il est fort probable que pour la V1, il faille installer Snips sur la même raspi (install) que Jeedom.

Des cas de figures où ça pose soucis?
Désolé, je passe mon tour :lol:
Hors de question d'installer autre chose sur ma smart. Et par principe, si snips fait planter le rpi pour x raison, jeedom tombe avec, donc non, absolument pas safe. Idem, si on veux supprimer snips ensuite, pour revenir à un truc propre, bof ...

Prod : Jeedom Stable sur Smart | Z-wave
Synology DS1512+|Rpis Kodi|Netatmo|SNIPS-Tips|Market
JeedomV4Tips

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 05 juil. 2018, 16:33

Le plugin Snips sur Jeedom a besoin d'accéder à un dossier assistant.js pour loader les assistants (et intents) dans Jeedom. Si c'est sur la même machine ce n'est pas un soucis. Si c'est sur une machine séparé on doit mettre en place un accès par call API et/ou une manip manuel pas idéal pour loader manuellement tout ça.

Il n'y aurait pas de gestion des assistants directement depuis le plugin Jeedom.
Non les services de Snips ne peuvent pas être utilisés en deamon de Jeedom.

De nôtre côté on fait tourner Jeedom et Snips sur la même plateforme et il n'y a aucun soucis de conflits.
En plus il faut bien distinguer le hotword et l'ASR, ils ne tournent pas en même temps donc ne consomme pas au même moment.
Chez nous le hotword prends 17-20% d'un coeur.

Encore une fois, chez nous les deux tournent très bien ensemble. On verra si on peut ajouter la feature pour faire tourner ça séparément mais ce sera pas pour mi-juillet c'est évident.

Vins222
Timide
Messages : 37
Inscription : 23 juil. 2017, 16:59

Re: [Sujet officiel] l'assistant vocal Snips

Message par Vins222 » 05 juil. 2018, 17:09

Pas de possibilité de faire tourner un rpi en plus avec jeedom et jeedom Link ?


Envoyé de mon iPhone en utilisant Tapatalk

Laurent R
Timide
Messages : 222
Inscription : 01 août 2016, 03:46
Localisation : Alabama

Re: [Sujet officiel] l'assistant vocal Snips

Message par Laurent R » 05 juil. 2018, 17:32

Est-il possible d’émettre une interaction vers Jeedom ? Mon idée était d'utiliser snips pour comprendre la demande, puis émettre une demande nettoyer/simplifier pour que jeedom puisse le comprendre via les interactions. Le problème est alors qu'il faut garder le code API dans un endroit "safe" (pas github car public, pas snips non plus). Je pense créer un fichier texte sur le raspberry avec ce code, le programme/skills va lire le fichier pour l'API et l'adresse IP de Jeedom.
Larry

Hugo
Timide
Messages : 10
Inscription : 27 juin 2018, 14:03

Re: [Sujet officiel] l'assistant vocal Snips

Message par Hugo » 05 juil. 2018, 17:33

Hello,

Pour une 1ère Beta il est envisageable de faire tourner snips et Jeedom sur la même machine.
Mais pas sur mon Jeedom de prod :) Ca sera sur un Jeedom déployé sur un rpi3 et connecté a la prod via Jeelink.

En revanche ca ne sera pas acceptable d'avoir les 2 sur la même machine dans le futur :)

De mon coté, j'ai deja un snips installé, dans les logs, l'ASR fonctionne bien par contre je n'ai aucune action derrière pour le moment.
J'ai installé un jeedom dessus.

Donc plus qu'a attendre la beta du plugin pour tester.
Une doc expliquant le principe de fonctionnement et la configuration sera évidement la bienvenue :)

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 05 juil. 2018, 17:43

valentinf a écrit :
05 juil. 2018, 16:33
Le plugin Snips sur Jeedom a besoin d'accéder à un dossier assistant.js pour loader les assistants (et intents) dans Jeedom. Si c'est sur la même machine ce n'est pas un soucis. Si c'est sur une machine séparé on doit mettre en place un accès par call API et/ou une manip manuel pas idéal pour loader manuellement tout ça.

Il n'y aurait pas de gestion des assistants directement depuis le plugin Jeedom.
Non les services de Snips ne peuvent pas être utilisés en deamon de Jeedom.

De nôtre côté on fait tourner Jeedom et Snips sur la même plateforme et il n'y a aucun soucis de conflits.
En plus il faut bien distinguer le hotword et l'ASR, ils ne tournent pas en même temps donc ne consomme pas au même moment.
Chez nous le hotword prends 17-20% d'un coeur.

Encore une fois, chez nous les deux tournent très bien ensemble. On verra si on peut ajouter la feature pour faire tourner ça séparément mais ce sera pas pour mi-juillet c'est évident.
Ok. Ca veut donc dire que Snips doit modifier un fichier javascript sur jeedom? N'y a-t-il pas un autre moyen que de devoir modifier un fichier?
(D'ailleurs, je ne suis même pas sur que ce soit permis par Jeedom SAS..).
Par exemple, l'excellent plugin Lecteur IR v3 génère un fichier de config avec les code des télécommandes, puis les lit ensuite depuis le plugin (en php donc). Et je pense que vous devriez faire qqch de semblable plutot que de modifier un fichier du system du plugin. Non?
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 05 juil. 2018, 17:55

Que veux-tu dire par là? On ne modifie AUCUN fichier JS Jeedom, tout est sur notre plugin, donc tout ce qu'on modifie sur ce plugin n'implique pas je fonctionnement de Jeedom.

Il n'est pas questions d'avoir les 2 sur la même machine, ce n'était même pas envisagé mais pour une V1 il est difficile de régler ça de notre côté.

Je vais voir comment on peut s'arranger en interne pour accélérer le process. Je vous tiens au courant.

Laurent pour l'interaction en API, à terme oui mais si tu veux le faire ce sera à toi de le coder, ce ne sera pas dispo nativement.

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 05 juil. 2018, 18:03

On ne modifie AUCUN fichier JS Jeedom,
Ah ok.. alors c'est moi qui ai mal compris. Mes excuses.
tout est sur notre plugin, donc tout ce qu'on modifie sur ce plugin n'implique pas je fonctionnement de Jeedom.
Pas d'accord. Toute modification effectuée sur ou par un plugin de jeedom peut impliquer des problèmes dans jeedom.. J'ai plein d'exemples en tête..
Il n'est pas questions d'avoir les 2 sur la même machine, ce n'était même pas envisagé mais pour une V1 il est difficile de régler ça de notre côté.
La non plus, ca n'est pas ce que j'avais compris ...


Mais du coup, si c'est juste pour une histoire de temps, perso, je préfère attendre que vous trouviez une solution de communication entre snips et jeedom qui n'impose pas qu'ils soient sur la même machine...
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 05 juil. 2018, 18:05

Bon désolé de vous avoir dérangé mais on a trouvé une solution :) ça devrait pouvoir le faire pour être sur 2 machines dès la V1 :)

Work in progress je retourne dessus ;)

Répondre

Revenir vers « Discussions Générales »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 7 invités