Comme annoncé, ce forum est passé en lecture seule au 1er janvier 2020. Désormais nous vous invitons à vous rendre sur notre nouvelle page communauté :
Image

A très bientôt !

[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

Pour parler de tout, et surtout de rien !
extrapitou
Actif
Messages : 1332
Inscription : 27 juin 2015, 21:53
Localisation : Dijon

Re: [Sujet officiel] l'assistant vocal Snips

Message par extrapitou » 05 juil. 2018, 18:35

Vous etes au top ! On a hâte

Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)

Mon Matos

Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence

Avatar de l’utilisateur
tomdom
Actif
Messages : 925
Inscription : 14 nov. 2016, 05:46

Re: [Sujet officiel] l'assistant vocal Snips

Message par tomdom » 05 juil. 2018, 19:01

Bonjour,
fwehrle a écrit :
05 juil. 2018, 18:03
On ne modifie AUCUN fichier JS Jeedom,
Ah ok.. alors c'est moi qui ai mal compris. Mes excuses.
De ce que j'ai compris des propos de @valentinf c'est que le plugin avait besoin d'accéder à un fichier de Snips en local. Mais ce n'est plus d'actualité ;)
Il y a 10 catégories de personnes, celles qui connaissent le binaire et les autres
.

Avatar de l’utilisateur
nicoxygen
Timide
Messages : 81
Inscription : 10 juil. 2014, 18:19

Re: [Sujet officiel] l'assistant vocal Snips

Message par nicoxygen » 06 juil. 2018, 13:54

Nickel depuis la prise en compte de sam l'installation de snips devient plus intuitif ils manquent encore un tts digne de ce nom, j'ai installé le skills jeedom en attendant de pouvoir tester
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 06 juil. 2018, 14:32

nicoxygen a écrit :
06 juil. 2018, 13:54
Nickel depuis la prise en compte de sam l'installation de snips devient plus intuitif ils manquent encore un tts digne de ce nom, j'ai installé le skills jeedom en attendant de pouvoir tester
Cool que ça te plaise!

En revanche le skill Jeedom sur le Skill Store n'est pas le nôtre (il n'est pas publié pour le moment).

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 06 juil. 2018, 15:29

Hello,

Je profite de l'attente du plugin officiel pour avancer dans l'installation de Snips en mode déporté.
J'ai installé snips-audio-server sur un pizero sur lequel tourne deja squeezelite (client squeezebox). et je viens de me rendre compte que si le client est "allumé" (même sans jouer de musique), alors snips-audio-server ne se lance pas (et je ne peux pas jouer de son avec aplay par ex..).
Il me met :

Code : Tout sélectionner

aplay: main:722: audio open error: Device or resource busy
D'ou ma question : avez-vous deja rencontré ce cas, et y'a-t-il une solution pour "partager" une carte son?
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 07 juil. 2018, 15:30

Bon, j'ai finalement réussi en changeant la sortie audio (de direct a plugin) de squeezelite (pas trouvé sur snips). Et ca permet d'envoyer du son de 2 sources en meme temps.. Bon, pas sur que ca marche pour l'echo czncelation, mais ca, on verra quand ca tournera.. Parce que je galère un peu pour tout dire...
J'ai créé un assistant avec des skills ayant des retours vocaux, je l'ai installé (à la main, parce que sam renvoit une erreur de droit sudo lors du deploiement... Grrr..).
Je vois bien qu'il entends ce que je dis (j'ai un bip de retour, et un bip de fin), il comprend (il trouve bien un intent qui colle a ce que je dis.)
Mais rien ne se passe ensuite (timeout d'un composant apparemment parce que je n'ai pas installé les actions).

Code : Tout sélectionner

[15:13:10] [Hotword] detected on site Cuisine, for model default
[15:13:10] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was started on site Cuisine
[15:13:14] [Asr] captured text "combien font trois fois quatre" in 3.0s
[15:13:15] [Nlu] detected intent dbddv01:getMultiplication with probability 1.000 for input "combien font trois fois quatre"
              Slots ->
                  firstTerm -> 3
                 secondTerm -> 4
[15:13:15] [Dialogue] New intent detected dbddv01:getMultiplication with probability 1.000
              Slots ->
                  firstTerm -> 3
                 secondTerm -> 4
[15:13:21] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was ended on site Cuisine. The session was ended because one of the component didn't respond in a timely manner
[15:13:47] [Hotword] detected on site Cuisine, for model default
snips-skills-server ne tourne pas à cause de la même erreur de droits, et là, je sèche :

Code : Tout sélectionner

✖ Error: sudo: pas de tty présent et pas de programme askpass spécifié
J'ai essayé avec le user admin, avec root, en modifiant visudo, etc... rien n'y fait..

Vivement l'interface web de config n'enpeche... Parce que la, c'est quand même un peu hardu... Courage.. :)
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 10 juil. 2018, 18:12

fwehrle a écrit :
07 juil. 2018, 15:30
Bon, j'ai finalement réussi en changeant la sortie audio (de direct a plugin) de squeezelite (pas trouvé sur snips). Et ca permet d'envoyer du son de 2 sources en meme temps.. Bon, pas sur que ca marche pour l'echo czncelation, mais ca, on verra quand ca tournera.. Parce que je galère un peu pour tout dire...
J'ai créé un assistant avec des skills ayant des retours vocaux, je l'ai installé (à la main, parce que sam renvoit une erreur de droit sudo lors du deploiement... Grrr..).
Je vois bien qu'il entends ce que je dis (j'ai un bip de retour, et un bip de fin), il comprend (il trouve bien un intent qui colle a ce que je dis.)
Mais rien ne se passe ensuite (timeout d'un composant apparemment parce que je n'ai pas installé les actions).

Code : Tout sélectionner

[15:13:10] [Hotword] detected on site Cuisine, for model default
[15:13:10] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was started on site Cuisine
[15:13:14] [Asr] captured text "combien font trois fois quatre" in 3.0s
[15:13:15] [Nlu] detected intent dbddv01:getMultiplication with probability 1.000 for input "combien font trois fois quatre"
              Slots ->
                  firstTerm -> 3
                 secondTerm -> 4
[15:13:15] [Dialogue] New intent detected dbddv01:getMultiplication with probability 1.000
              Slots ->
                  firstTerm -> 3
                 secondTerm -> 4
[15:13:21] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was ended on site Cuisine. The session was ended because one of the component didn't respond in a timely manner
[15:13:47] [Hotword] detected on site Cuisine, for model default
Oui rien ne se passe car tu ne dois pas avoir d'actions associé au skill, voici la partie de la doc qui en parle --> https://snips.gitbook.io/documentation/troubleshooting
snips-skills-server ne tourne pas à cause de la même erreur de droits, et là, je sèche :

Code : Tout sélectionner

✖ Error: sudo: pas de tty présent et pas de programme askpass spécifié
J'ai essayé avec le user admin, avec root, en modifiant visudo, etc... rien n'y fait..

Vivement l'interface web de config n'enpeche... Parce que la, c'est quand même un peu hardu... Courage.. :)
je te conseille d'installer SAM à la main --> https://snips.gitbook.io/documentation/ ... ithout-sam

Je pense que lors de l'installation de ton skill il y'a quelque chose qui pète. Il nous faut plus de logs

Code : Tout sélectionner

sam service log snips-skill-server
et aussi les logs lorsque tu fais

Code : Tout sélectionner

sam install actions
Si tu utilises

Code : Tout sélectionner

Debian 9 en VM Proxmox 5 sur NUC Intel
y'a moyen que ce soit pour cette raison que SAM ne fonctionne pas bien (suis le lien fournis au dessus pour installer tes skills à la main à la place de SAM).

Avatar de l’utilisateur
nicoxygen
Timide
Messages : 81
Inscription : 10 juil. 2014, 18:19

Re: [Sujet officiel] l'assistant vocal Snips

Message par nicoxygen » 16 juil. 2018, 12:44

cet assistant vocal fonctionne très bien je pensais que c'était @valentinf qui développait un module jeedom mais apperemment pas l'avez-vous vu il est régulièrement mis a jour ces derniers temps
https://github.com/snipsco/Snips-JeeDom-Plugin
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 17 juil. 2018, 09:59

Hello Nico,

C'est effectivement le nôtre :) Mais c'est une erreur il ne devrait pas être public tant qu'il n'est pas fini. On a réctifié ça :D

Comme tu peux le voir il est presque fonctionnel (du moins la beta), on devrait pouvoir peaufiner certaines choses cette semaine pour le rendre plus robuste mais l'ayant testé ce week end avec mon installation, il fonctionne plutôt pas mal !!!

En revanche avez-vous une idée du process pour publier un plugin en béta? On a beau cliquer sur "publier le plugin" il ne se passe rien. Savez-vous si y'a un process particulier? Aussi, est-il possible de le publier en béta ou c'est forcément une release officielle?

Merci

Avatar de l’utilisateur
kiboost
Actif
Messages : 1433
Inscription : 19 déc. 2017, 15:02
Localisation : France, Bretagne

Re: [Sujet officiel] l'assistant vocal Snips

Message par kiboost » 17 juil. 2018, 10:03

valentinf a écrit :
17 juil. 2018, 09:59
En revanche avez-vous une idée du process pour publier un plugin en béta? On a beau cliquer sur "publier le plugin" il ne se passe rien. Savez-vous si y'a un process particulier? Aussi, est-il possible de le publier en béta ou c'est forcément une release officielle?

Merci
Tu t'est inscrit comme développeur ?
https://www.jeedom.com/site/fr/dev.html

Ensuite de ton jeedom, tu publie, puis sur ton compte market tu renseigne ton url github branche beta. En mettant le json de ton plugin à jour avec la doc et le lien vers le forum.
Il faut ensuite crée un sujet pour les tests, et seulement ensuite tu pourra renseigner l'url de la branche master sur le market.

Prod : Jeedom Stable sur Smart | Z-wave
Synology DS1512+|Rpis Kodi|Netatmo|SNIPS-Tips|Market
JeedomV4Tips

Avatar de l’utilisateur
kiboost
Actif
Messages : 1433
Inscription : 19 déc. 2017, 15:02
Localisation : France, Bretagne

Re: [Sujet officiel] l'assistant vocal Snips

Message par kiboost » 17 juil. 2018, 10:11

Sinon niveau hardware, il faut s'orienter sur le maker kit ?
Y'a t il un meilleur micro ?
Et un boitier contenant le tout pour avoir quelque chose de propre ?

C'est cool d'annoncer le AIR, mais 2020 c'est encore loin ... :lol:

Prod : Jeedom Stable sur Smart | Z-wave
Synology DS1512+|Rpis Kodi|Netatmo|SNIPS-Tips|Market
JeedomV4Tips

Avatar de l’utilisateur
nicoxygen
Timide
Messages : 81
Inscription : 10 juil. 2014, 18:19

Re: [Sujet officiel] l'assistant vocal Snips

Message par nicoxygen » 20 juil. 2018, 17:26

Alors ce module en bêta, il vient quand car j’ai hâte de tester vu la qualité de snips
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 22 juil. 2018, 21:01

Hello,

Le plugin est prêt, du moins les fonctions principales car on bosse toujours dessus.

DM moi pour que je puisse vous donner le lien (ça sera en milieu de semaine je pense) mais n'hésitez pas à m'envoyer un message en privé que je puisse le partager avec ceux qui ça intéresse :)

Il y'aura aussi l'assistant Jeedom (Snips) avec la plupart des intents nécessaires (TurnOn, TurnOFF, LightSet, LightShift, LightTurnOff, OpenCover, Close Cover, ThermostatSet ...) vous pourrez ajouter les vôtres aussi bien entendu.

Thanks

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 23 juil. 2018, 11:40

Yes! On attends ca avec impatience.. (Je veux bien être beta-testeur du plugin).
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

extrapitou
Actif
Messages : 1332
Inscription : 27 juin 2015, 21:53
Localisation : Dijon

Re: [Sujet officiel] l'assistant vocal Snips

Message par extrapitou » 23 juil. 2018, 13:49

Je n'ai pas le matos pour tester, mais hâte d'avoir les premiers retours :)

Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)

Mon Matos

Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence

Avatar de l’utilisateur
nicoxygen
Timide
Messages : 81
Inscription : 10 juil. 2014, 18:19

Re: [Sujet officiel] l'assistant vocal Snips

Message par nicoxygen » 25 juil. 2018, 08:44

Nickel je vais tester ça rapidement et voir ce que ça donne avec les interactions
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |

Avatar de l’utilisateur
fwehrle
Actif
Messages : 2824
Inscription : 01 juil. 2015, 11:03
Localisation : Strasbourg

Re: [Sujet officiel] l'assistant vocal Snips

Message par fwehrle » 25 juil. 2018, 09:11

Moi j'ai déjà installé le serveur sur une VM , et 2 satellites sur pi zéro (un mic array 2 et une cam PlayStation). J'ai encore un soucis compatibilité avece client squeezelite qui est sur un des pi, mais quand je l'éteinds, Snips entend et comprend apparemment ce que je dis (le bip de retour est très explicite), mais ne réponds jamais. J'attend le plugin avec impatience. :)

Envoyé de mon Nexus 6P en utilisant Tapatalk

Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea

valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 25 juil. 2018, 10:42

Hello tout le monde,

C'est bon pour la béta (je précise bien béta ... ).

- Voici la première partie de la doc --> https://snips.gitbook.io/documentation/ ... -on-jeedom
Attention c'est en Anglais et c'est aussi une première version de documentation, on va l'améliorer (et corriger les fautes éventuelles) et la traduire en Français dans les prochains jours.

- Dans la console https://console.snips.ai/ il faut créer un assistant (en Français) et dans l'app store, cherchez le plugin JeedomOfficiel. Celui-ci comprends environ 15 intents (les plus communs, contrôle du volume, lumière, thermostat, ON/OFF ect) ... on va continuer à rajouter des intents et améliorer la robustesse de l'assistant, il faudra donc le mettre à jour sur votre plugin Snips de temps à autre.
Evidemment vous pouvez ajouter d'autres apps dans votre assistant (toutes celles de l'app store ou créer les vôtres, je vous invite à lire la documentation pour comprendre comment tout celà fonctionne mais sachez que la robustesse ne dépend pas de Snips mais bien de l'assistant que vous créer...)

- Pour tout ce qui est question sur l'installation/utilisation il y'a la documentation mais je vous invite à vous connecter sur le channel Jeedom de Discord (en Anglais) https://discord.gg/k2dpGW

- Pour rapporter des bugs (que ce soit du plugin OU de l'assistant), ainsi que pour suivre les features et amélioration qu'on va faire dans les prochains jours, c'est ici --> https://github.com/snipsco/Snips-Jeedom-Plugin-Issues On est friand de feedbacks ... quels qu'ils soient. Si vous voulez qu'on fasse un plugin au top, il nous faut vos feedbacks :)

- lorsque vous pensez avoir fait quelques configuration files (avec les bindings) et que vous êtes prêt à tester je vous suggère d'ouvrir un terminal (de vous connecter à votre RPI avec Snips en SSH) et de mettre

Code : Tout sélectionner

snips watch -vvv
vous pourrez alors voir si vous avez bien déclencher le wakeword, ainsi que votre phrase prononcé, pour voir si vous avez bien déclenché le bon "intent" avec les bonnes valeurs de "slots"
Pour ceux qui ne savent pas du tout de quoi je parle ... il faut bien lire la documentation Snips avant ... svp :D

Happy Hacking!
Dernière édition par valentinf le 25 juil. 2018, 13:55, édité 5 fois.

wazerty
Timide
Messages : 39
Inscription : 27 avr. 2017, 21:30

Re: [Sujet officiel] l'assistant vocal Snips

Message par wazerty » 25 juil. 2018, 10:44

Bravo ! Je suis impatient de tester tout ça en rentrant de vacances. Ça me permet d'attendre les retours d'expérience avant de me lancer.

Au passage si vous avez besoin de quelques corrections sur le document en anglais je pourrais éventuellement vous aider à mon retour.

Envoyé de mon Startac en utilisant Tapatalk



valentinf
Timide
Messages : 251
Inscription : 13 avr. 2017, 14:16

Re: [Sujet officiel] l'assistant vocal Snips

Message par valentinf » 25 juil. 2018, 12:02

nicoxygen a écrit :
25 juil. 2018, 08:44
Nickel je vais tester ça rapidement et voir ce que ça donne avec les interactions
Le soucis des intéractions est que c'est beaucoup plus limité que du natural language understanding.

Vous devez avoir un template et si vous ajoutez un mot ou le changez de place cela ne fonctionnera plus, par ailleurs vous devez utiliser le nom exact de votre device, donc s'il s'appelle "Philips Hue 1 salon droite" vous ne pourrez pas juste dire allume la lumière dans le salon.

La puissance du NLU vous permet de dire ce que vous voulez, dans le sens que vous souhaitez. On se charge d'extraire les infos importantes.

Je pense qu'utiliser l'interaction + Snips c'est vraiment utiliser 20% de l'experience Snips mais c'est à chacun de décider car oui, pour avoir une install fonctionnelle il faudra configurer pas mal de choses mais on parle d'ajouter une brique vocale. C'est quand même un gros add-on pour nos centrales domotiques donc normal que cela requiert un peu de travail à configurer.

Répondre

Revenir vers « Discussions Générales »

Qui est en ligne ?

Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 7 invités