[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)
-
- Actif
- Messages : 1332
- Inscription : 27 juin 2015, 21:53
- Localisation : Dijon
Re: [Sujet officiel] l'assistant vocal Snips
Vous etes au top ! On a hâte
Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)
Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)
Mon Matos
Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence
Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence
Re: [Sujet officiel] l'assistant vocal Snips
Bonjour,
De ce que j'ai compris des propos de @valentinf c'est que le plugin avait besoin d'accéder à un fichier de Snips en local. Mais ce n'est plus d'actualité
Il y a 10 catégories de personnes, celles qui connaissent le binaire et les autres
.
.
Re: [Sujet officiel] l'assistant vocal Snips
Nickel depuis la prise en compte de sam l'installation de snips devient plus intuitif ils manquent encore un tts digne de ce nom, j'ai installé le skills jeedom en attendant de pouvoir tester
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |
Re: [Sujet officiel] l'assistant vocal Snips
Cool que ça te plaise!
En revanche le skill Jeedom sur le Skill Store n'est pas le nôtre (il n'est pas publié pour le moment).
Re: [Sujet officiel] l'assistant vocal Snips
Hello,
Je profite de l'attente du plugin officiel pour avancer dans l'installation de Snips en mode déporté.
J'ai installé snips-audio-server sur un pizero sur lequel tourne deja squeezelite (client squeezebox). et je viens de me rendre compte que si le client est "allumé" (même sans jouer de musique), alors snips-audio-server ne se lance pas (et je ne peux pas jouer de son avec aplay par ex..).
Il me met :
D'ou ma question : avez-vous deja rencontré ce cas, et y'a-t-il une solution pour "partager" une carte son?
Je profite de l'attente du plugin officiel pour avancer dans l'installation de Snips en mode déporté.
J'ai installé snips-audio-server sur un pizero sur lequel tourne deja squeezelite (client squeezebox). et je viens de me rendre compte que si le client est "allumé" (même sans jouer de musique), alors snips-audio-server ne se lance pas (et je ne peux pas jouer de son avec aplay par ex..).
Il me met :
Code : Tout sélectionner
aplay: main:722: audio open error: Device or resource busy
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
Re: [Sujet officiel] l'assistant vocal Snips
Bon, j'ai finalement réussi en changeant la sortie audio (de direct a plugin) de squeezelite (pas trouvé sur snips). Et ca permet d'envoyer du son de 2 sources en meme temps.. Bon, pas sur que ca marche pour l'echo czncelation, mais ca, on verra quand ca tournera.. Parce que je galère un peu pour tout dire...
J'ai créé un assistant avec des skills ayant des retours vocaux, je l'ai installé (à la main, parce que sam renvoit une erreur de droit sudo lors du deploiement... Grrr..).
Je vois bien qu'il entends ce que je dis (j'ai un bip de retour, et un bip de fin), il comprend (il trouve bien un intent qui colle a ce que je dis.)
Mais rien ne se passe ensuite (timeout d'un composant apparemment parce que je n'ai pas installé les actions).
snips-skills-server ne tourne pas à cause de la même erreur de droits, et là, je sèche :
J'ai essayé avec le user admin, avec root, en modifiant visudo, etc... rien n'y fait..
Vivement l'interface web de config n'enpeche... Parce que la, c'est quand même un peu hardu... Courage..
J'ai créé un assistant avec des skills ayant des retours vocaux, je l'ai installé (à la main, parce que sam renvoit une erreur de droit sudo lors du deploiement... Grrr..).
Je vois bien qu'il entends ce que je dis (j'ai un bip de retour, et un bip de fin), il comprend (il trouve bien un intent qui colle a ce que je dis.)
Mais rien ne se passe ensuite (timeout d'un composant apparemment parce que je n'ai pas installé les actions).
Code : Tout sélectionner
[15:13:10] [Hotword] detected on site Cuisine, for model default
[15:13:10] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was started on site Cuisine
[15:13:14] [Asr] captured text "combien font trois fois quatre" in 3.0s
[15:13:15] [Nlu] detected intent dbddv01:getMultiplication with probability 1.000 for input "combien font trois fois quatre"
Slots ->
firstTerm -> 3
secondTerm -> 4
[15:13:15] [Dialogue] New intent detected dbddv01:getMultiplication with probability 1.000
Slots ->
firstTerm -> 3
secondTerm -> 4
[15:13:21] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was ended on site Cuisine. The session was ended because one of the component didn't respond in a timely manner
[15:13:47] [Hotword] detected on site Cuisine, for model default
Code : Tout sélectionner
✖ Error: sudo: pas de tty présent et pas de programme askpass spécifié
Vivement l'interface web de config n'enpeche... Parce que la, c'est quand même un peu hardu... Courage..
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
Re: [Sujet officiel] l'assistant vocal Snips
Oui rien ne se passe car tu ne dois pas avoir d'actions associé au skill, voici la partie de la doc qui en parle --> https://snips.gitbook.io/documentation/troubleshootingfwehrle a écrit : ↑07 juil. 2018, 15:30Bon, j'ai finalement réussi en changeant la sortie audio (de direct a plugin) de squeezelite (pas trouvé sur snips). Et ca permet d'envoyer du son de 2 sources en meme temps.. Bon, pas sur que ca marche pour l'echo czncelation, mais ca, on verra quand ca tournera.. Parce que je galère un peu pour tout dire...
J'ai créé un assistant avec des skills ayant des retours vocaux, je l'ai installé (à la main, parce que sam renvoit une erreur de droit sudo lors du deploiement... Grrr..).
Je vois bien qu'il entends ce que je dis (j'ai un bip de retour, et un bip de fin), il comprend (il trouve bien un intent qui colle a ce que je dis.)
Mais rien ne se passe ensuite (timeout d'un composant apparemment parce que je n'ai pas installé les actions).
Code : Tout sélectionner
[15:13:10] [Hotword] detected on site Cuisine, for model default [15:13:10] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was started on site Cuisine [15:13:14] [Asr] captured text "combien font trois fois quatre" in 3.0s [15:13:15] [Nlu] detected intent dbddv01:getMultiplication with probability 1.000 for input "combien font trois fois quatre" Slots -> firstTerm -> 3 secondTerm -> 4 [15:13:15] [Dialogue] New intent detected dbddv01:getMultiplication with probability 1.000 Slots -> firstTerm -> 3 secondTerm -> 4 [15:13:21] [Dialogue] session with id 'a7ce056f-3231-43c6-92c7-4ff70233b01f' was ended on site Cuisine. The session was ended because one of the component didn't respond in a timely manner [15:13:47] [Hotword] detected on site Cuisine, for model default
je te conseille d'installer SAM à la main --> https://snips.gitbook.io/documentation/ ... ithout-samsnips-skills-server ne tourne pas à cause de la même erreur de droits, et là, je sèche :J'ai essayé avec le user admin, avec root, en modifiant visudo, etc... rien n'y fait..Code : Tout sélectionner
✖ Error: sudo: pas de tty présent et pas de programme askpass spécifié
Vivement l'interface web de config n'enpeche... Parce que la, c'est quand même un peu hardu... Courage..
Je pense que lors de l'installation de ton skill il y'a quelque chose qui pète. Il nous faut plus de logs
Code : Tout sélectionner
sam service log snips-skill-server
Code : Tout sélectionner
sam install actions
Code : Tout sélectionner
Debian 9 en VM Proxmox 5 sur NUC Intel
Re: [Sujet officiel] l'assistant vocal Snips
cet assistant vocal fonctionne très bien je pensais que c'était @valentinf qui développait un module jeedom mais apperemment pas l'avez-vous vu il est régulièrement mis a jour ces derniers temps
https://github.com/snipsco/Snips-JeeDom-Plugin
https://github.com/snipsco/Snips-JeeDom-Plugin
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |
Re: [Sujet officiel] l'assistant vocal Snips
Hello Nico,
C'est effectivement le nôtre Mais c'est une erreur il ne devrait pas être public tant qu'il n'est pas fini. On a réctifié ça
Comme tu peux le voir il est presque fonctionnel (du moins la beta), on devrait pouvoir peaufiner certaines choses cette semaine pour le rendre plus robuste mais l'ayant testé ce week end avec mon installation, il fonctionne plutôt pas mal !!!
En revanche avez-vous une idée du process pour publier un plugin en béta? On a beau cliquer sur "publier le plugin" il ne se passe rien. Savez-vous si y'a un process particulier? Aussi, est-il possible de le publier en béta ou c'est forcément une release officielle?
Merci
C'est effectivement le nôtre Mais c'est une erreur il ne devrait pas être public tant qu'il n'est pas fini. On a réctifié ça
Comme tu peux le voir il est presque fonctionnel (du moins la beta), on devrait pouvoir peaufiner certaines choses cette semaine pour le rendre plus robuste mais l'ayant testé ce week end avec mon installation, il fonctionne plutôt pas mal !!!
En revanche avez-vous une idée du process pour publier un plugin en béta? On a beau cliquer sur "publier le plugin" il ne se passe rien. Savez-vous si y'a un process particulier? Aussi, est-il possible de le publier en béta ou c'est forcément une release officielle?
Merci
Re: [Sujet officiel] l'assistant vocal Snips
Tu t'est inscrit comme développeur ?valentinf a écrit : ↑17 juil. 2018, 09:59En revanche avez-vous une idée du process pour publier un plugin en béta? On a beau cliquer sur "publier le plugin" il ne se passe rien. Savez-vous si y'a un process particulier? Aussi, est-il possible de le publier en béta ou c'est forcément une release officielle?
Merci
https://www.jeedom.com/site/fr/dev.html
Ensuite de ton jeedom, tu publie, puis sur ton compte market tu renseigne ton url github branche beta. En mettant le json de ton plugin à jour avec la doc et le lien vers le forum.
Il faut ensuite crée un sujet pour les tests, et seulement ensuite tu pourra renseigner l'url de la branche master sur le market.
Prod : Jeedom Stable sur Smart | Z-wave
Synology DS1512+|Rpis Kodi|Netatmo|SNIPS-Tips|Market
JeedomV4Tips
Re: [Sujet officiel] l'assistant vocal Snips
Sinon niveau hardware, il faut s'orienter sur le maker kit ?
Y'a t il un meilleur micro ?
Et un boitier contenant le tout pour avoir quelque chose de propre ?
C'est cool d'annoncer le AIR, mais 2020 c'est encore loin ...
Y'a t il un meilleur micro ?
Et un boitier contenant le tout pour avoir quelque chose de propre ?
C'est cool d'annoncer le AIR, mais 2020 c'est encore loin ...
Prod : Jeedom Stable sur Smart | Z-wave
Synology DS1512+|Rpis Kodi|Netatmo|SNIPS-Tips|Market
JeedomV4Tips
Re: [Sujet officiel] l'assistant vocal Snips
Alors ce module en bêta, il vient quand car j’ai hâte de tester vu la qualité de snips
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |
Re: [Sujet officiel] l'assistant vocal Snips
Hello,
Le plugin est prêt, du moins les fonctions principales car on bosse toujours dessus.
DM moi pour que je puisse vous donner le lien (ça sera en milieu de semaine je pense) mais n'hésitez pas à m'envoyer un message en privé que je puisse le partager avec ceux qui ça intéresse
Il y'aura aussi l'assistant Jeedom (Snips) avec la plupart des intents nécessaires (TurnOn, TurnOFF, LightSet, LightShift, LightTurnOff, OpenCover, Close Cover, ThermostatSet ...) vous pourrez ajouter les vôtres aussi bien entendu.
Thanks
Le plugin est prêt, du moins les fonctions principales car on bosse toujours dessus.
DM moi pour que je puisse vous donner le lien (ça sera en milieu de semaine je pense) mais n'hésitez pas à m'envoyer un message en privé que je puisse le partager avec ceux qui ça intéresse
Il y'aura aussi l'assistant Jeedom (Snips) avec la plupart des intents nécessaires (TurnOn, TurnOFF, LightSet, LightShift, LightTurnOff, OpenCover, Close Cover, ThermostatSet ...) vous pourrez ajouter les vôtres aussi bien entendu.
Thanks
Re: [Sujet officiel] l'assistant vocal Snips
Yes! On attends ca avec impatience.. (Je veux bien être beta-testeur du plugin).
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
-
- Actif
- Messages : 1332
- Inscription : 27 juin 2015, 21:53
- Localisation : Dijon
Re: [Sujet officiel] l'assistant vocal Snips
Je n'ai pas le matos pour tester, mais hâte d'avoir les premiers retours
Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)
Envoyé depuis mon Mobicarte (Si Si jvous jure !!!)
Mon Matos
Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence
Mon Blog où vous trouverez des astuces et tutos Tasker/Jeedom
Mon alarme sous Jeedom
Tuto pour la Gestion de la présence
Re: [Sujet officiel] l'assistant vocal Snips
Nickel je vais tester ça rapidement et voir ce que ça donne avec les interactions
1 Cubietruck | 1 Jeedom Mini + RFXcom | Clé Z-wave Aeotech gen 5 | 6 prises Intertechno | 1 sonde oregon | 1 station Netatmo | contacteur qubino | controleur snips |
Re: [Sujet officiel] l'assistant vocal Snips
Moi j'ai déjà installé le serveur sur une VM , et 2 satellites sur pi zéro (un mic array 2 et une cam PlayStation). J'ai encore un soucis compatibilité avece client squeezelite qui est sur un des pi, mais quand je l'éteinds, Snips entend et comprend apparemment ce que je dis (le bip de retour est très explicite), mais ne réponds jamais. J'attend le plugin avec impatience.
Envoyé de mon Nexus 6P en utilisant Tapatalk
Envoyé de mon Nexus 6P en utilisant Tapatalk
Jeedom 3 sur Debian 9 en VM Proxmox 5 sur NUC Intel.
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
(Anciennement sur Docker sur Syno DS-415+ / MariaDB / DSM 6)
Teleinfo / RFXCom / Stick ZWave / IPX / Serveur Traccar / Blea
Re: [Sujet officiel] l'assistant vocal Snips
Hello tout le monde,
C'est bon pour la béta (je précise bien béta ... ).
- Voici la première partie de la doc --> https://snips.gitbook.io/documentation/ ... -on-jeedom
Attention c'est en Anglais et c'est aussi une première version de documentation, on va l'améliorer (et corriger les fautes éventuelles) et la traduire en Français dans les prochains jours.
- Dans la console https://console.snips.ai/ il faut créer un assistant (en Français) et dans l'app store, cherchez le plugin JeedomOfficiel. Celui-ci comprends environ 15 intents (les plus communs, contrôle du volume, lumière, thermostat, ON/OFF ect) ... on va continuer à rajouter des intents et améliorer la robustesse de l'assistant, il faudra donc le mettre à jour sur votre plugin Snips de temps à autre.
Evidemment vous pouvez ajouter d'autres apps dans votre assistant (toutes celles de l'app store ou créer les vôtres, je vous invite à lire la documentation pour comprendre comment tout celà fonctionne mais sachez que la robustesse ne dépend pas de Snips mais bien de l'assistant que vous créer...)
- Pour tout ce qui est question sur l'installation/utilisation il y'a la documentation mais je vous invite à vous connecter sur le channel Jeedom de Discord (en Anglais) https://discord.gg/k2dpGW
- Pour rapporter des bugs (que ce soit du plugin OU de l'assistant), ainsi que pour suivre les features et amélioration qu'on va faire dans les prochains jours, c'est ici --> https://github.com/snipsco/Snips-Jeedom-Plugin-Issues On est friand de feedbacks ... quels qu'ils soient. Si vous voulez qu'on fasse un plugin au top, il nous faut vos feedbacks
- lorsque vous pensez avoir fait quelques configuration files (avec les bindings) et que vous êtes prêt à tester je vous suggère d'ouvrir un terminal (de vous connecter à votre RPI avec Snips en SSH) et de mettre vous pourrez alors voir si vous avez bien déclencher le wakeword, ainsi que votre phrase prononcé, pour voir si vous avez bien déclenché le bon "intent" avec les bonnes valeurs de "slots"
Pour ceux qui ne savent pas du tout de quoi je parle ... il faut bien lire la documentation Snips avant ... svp
Happy Hacking!
C'est bon pour la béta (je précise bien béta ... ).
- Voici la première partie de la doc --> https://snips.gitbook.io/documentation/ ... -on-jeedom
Attention c'est en Anglais et c'est aussi une première version de documentation, on va l'améliorer (et corriger les fautes éventuelles) et la traduire en Français dans les prochains jours.
- Dans la console https://console.snips.ai/ il faut créer un assistant (en Français) et dans l'app store, cherchez le plugin JeedomOfficiel. Celui-ci comprends environ 15 intents (les plus communs, contrôle du volume, lumière, thermostat, ON/OFF ect) ... on va continuer à rajouter des intents et améliorer la robustesse de l'assistant, il faudra donc le mettre à jour sur votre plugin Snips de temps à autre.
Evidemment vous pouvez ajouter d'autres apps dans votre assistant (toutes celles de l'app store ou créer les vôtres, je vous invite à lire la documentation pour comprendre comment tout celà fonctionne mais sachez que la robustesse ne dépend pas de Snips mais bien de l'assistant que vous créer...)
- Pour tout ce qui est question sur l'installation/utilisation il y'a la documentation mais je vous invite à vous connecter sur le channel Jeedom de Discord (en Anglais) https://discord.gg/k2dpGW
- Pour rapporter des bugs (que ce soit du plugin OU de l'assistant), ainsi que pour suivre les features et amélioration qu'on va faire dans les prochains jours, c'est ici --> https://github.com/snipsco/Snips-Jeedom-Plugin-Issues On est friand de feedbacks ... quels qu'ils soient. Si vous voulez qu'on fasse un plugin au top, il nous faut vos feedbacks
- lorsque vous pensez avoir fait quelques configuration files (avec les bindings) et que vous êtes prêt à tester je vous suggère d'ouvrir un terminal (de vous connecter à votre RPI avec Snips en SSH) et de mettre
Code : Tout sélectionner
snips watch -vvv
Pour ceux qui ne savent pas du tout de quoi je parle ... il faut bien lire la documentation Snips avant ... svp
Happy Hacking!
Dernière édition par valentinf le 25 juil. 2018, 13:55, édité 5 fois.
Re: [Sujet officiel] l'assistant vocal Snips
Bravo ! Je suis impatient de tester tout ça en rentrant de vacances. Ça me permet d'attendre les retours d'expérience avant de me lancer.
Au passage si vous avez besoin de quelques corrections sur le document en anglais je pourrais éventuellement vous aider à mon retour.
Envoyé de mon Startac en utilisant Tapatalk
Au passage si vous avez besoin de quelques corrections sur le document en anglais je pourrais éventuellement vous aider à mon retour.
Envoyé de mon Startac en utilisant Tapatalk
Re: [Sujet officiel] l'assistant vocal Snips
Le soucis des intéractions est que c'est beaucoup plus limité que du natural language understanding.
Vous devez avoir un template et si vous ajoutez un mot ou le changez de place cela ne fonctionnera plus, par ailleurs vous devez utiliser le nom exact de votre device, donc s'il s'appelle "Philips Hue 1 salon droite" vous ne pourrez pas juste dire allume la lumière dans le salon.
La puissance du NLU vous permet de dire ce que vous voulez, dans le sens que vous souhaitez. On se charge d'extraire les infos importantes.
Je pense qu'utiliser l'interaction + Snips c'est vraiment utiliser 20% de l'experience Snips mais c'est à chacun de décider car oui, pour avoir une install fonctionnelle il faudra configurer pas mal de choses mais on parle d'ajouter une brique vocale. C'est quand même un gros add-on pour nos centrales domotiques donc normal que cela requiert un peu de travail à configurer.
Qui est en ligne ?
Utilisateurs parcourant ce forum : Aucun utilisateur inscrit et 30 invités