[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[arnog23]

Oui, j'ai essayé mais ça ne change rien. Dans le doute, j'ai aussi fait un reboot mais pas mieux.

[toufou]

Bonsoir,
Ce projet à l'air top!
J'ai envie de tester la solution mais j'ai un doute sur le micro à utiliser.
Vous parlez souvent du respeaker, c'est bien celui la?
https://www.amazon.fr/dp/B074Z25HXX/ref ... EBbJ1KR161


Merci et bonne soirée,
TouFou

Envoyé de mon Redmi 5 Plus en utilisant Tapatalk

[Jeandhom]

Si tu ne veux pas t’embêter, tu as le Maker Kit : https://makers.snips.ai/kit/

Reçu en 2 jours.

[fwehrle]

Bonjour,

@fwehrle petit HS, perso moi j'aimerais bien un pi zero avec ethernet, même pour un satellite, j'ai des prises un peu partout si en plus il y avait du POE, top !!

ken@vo
Phil

Oui, l'OrangePizero ne semble interessant que pour sa prise RJ45.
Mais je préfère rester sur le Pi zero, et lui ajouter une carte reseau externe sous forme de hub USB de ce genre :
http://www.davidhunt.ie/wp-content/uplo ... _0239b.jpg

De toute facon, il faut un hub pour y brancher des peripheriques USB (micro déporté ou autre).
Pour le POE, tu peux toujours mettre des injecteurs passifs et un diviseur de tension 12v-5v. Ca marche bien pour les camera IP en 5v.

[fwehrle]

@Seki
J'avais capté mais pas de bol orange0 est pas le meilleur candidat.
je plussoie aussi pour le rj45. Le rpi0 c'est juste en test de mon coté, ça ne sera pas en prod pour moi, sauf si le truc est mobile.
le filaire est bien plus fiable quand c'est accessible. trop de wifi suis pas fan non plus (et pour ceux qui ont d'autres matériels en 2.4ghz, sous différent protocoles, là vaut mieux bien choisir son channel wifi..)

C'est surtout le routeur Wifi qu'il faut bien choisir! Exit les box FAI! Un bon petit point d'accès Unify en canal automatique, et ca roule tout seul.
Même avec 5 squeezebox synchronisées sur du flac 24bits!

[fwehrle]

Bonsoir,
Ce projet à l'air top!
J'ai envie de tester la solution mais j'ai un doute sur le micro à utiliser.
Vous parlez souvent du respeaker, c'est bien celui la?
https://www.amazon.fr/dp/B074Z25HXX/ref ... EBbJ1KR161


Merci et bonne soirée,
TouFou

Envoyé de mon Redmi 5 Plus en utilisant Tapatalk

Oui, c'est bien celui-la. Mais il coute 10 ou 15 euros.. par ex. chez pimoroni ou seedstudio.

[fwehrle]

Concernant le fork :
Valentin : on est bien d'accord que l'App JeedomOfficiel, en résumé, ce ne sont qu'une liste d'intent prédéfini, entrainés avec des phrases prédéfinies (par toi), et des slots et valeurs de slots par défauts? Rien de plus...
Donc une éventuelle mise à jour ne concernerait que ca.. Et généralement les phrases d'entrainement.
L'aPp en elle-même n'est en fait qu'une coquille contenant les Intents et slots. Il n'y a pas d'actions/skills, donc pas de code.
Donc le fork ne fait rien perdre, au contraire : il permet de customiser l'app selon sa maison, ses équipements.
Perso, j'ai même créer plein d'intents pour gérer séparément la partie media center : Snips envois les ordre a jeedom, qui décide ensuite de piloter le plugin Kodi, Squeezebox, spotify, la télé, etc... avec toute l'intelligence des scénarios. Quand je dis de monter le son, jeedom sais s'il doit monter le son de la musique, de la télé, ou du homecinema.
Et comme je ne gère pas le chauffage via jeedom, j'ai supprimé les intent de thermostat. Idem pour les pieces et equipement que je ne pilote pas . Ca evite les faux positifs. (et ca, l'injection ne le permet pas)
Bref, en customisant l'App, on peut tout piloter via le couple snips/jeedom.
Pour moi, le fork (et l'export/import de phrase d'entrainement!) permet d'avoir une solution sur mesure au poil. Merci pour cette fonctionnalité. (Et franchement, une fois qu'on a compris la synthaxe des phases, c'est super rapide a modifier via import/export et notepad ou excel)

[scalz]

@Seki
J'avais capté mais pas de bol orange0 est pas le meilleur candidat.
je plussoie aussi pour le rj45. Le rpi0 c'est juste en test de mon coté, ça ne sera pas en prod pour moi, sauf si le truc est mobile.
le filaire est bien plus fiable quand c'est accessible. trop de wifi suis pas fan non plus (et pour ceux qui ont d'autres matériels en 2.4ghz, sous différent protocoles, là vaut mieux bien choisir son channel wifi..)

C'est surtout le routeur Wifi qu'il faut bien choisir! Exit les box FAI! Un bon petit point d'accès Unify en canal automatique, et ca roule tout seul.
Même avec 5 squeezebox synchronisées sur du flac 24bits!

ce que je disais concernant le wifi, rien à voir..
perso je suis en faveur du subghz, mais quand tu utilises d'autres appareils en 2.4ghz (genre zigbee xiaomi, BLE etc..), c'est mieux de bien choisir son canal wifi (pas sûr que le canal auto soit la meilleure option du coup..) car sinon potentiels problèmes de portée (non pas wifi, mais les autres protocoles). En fonction des canaux wifi ça peut se chevaucher avec les autres protocoles. Et s'il y a beaucoup d'activité wifi au même moment qu'un autre module HA mal placé veut communiquer (surtout avec un bon petit point d'accès bien puissant), c'est pas le wifi qui perdra des msg en 1er
exemple d'article concernant la problématique: http://www.embedded-computing.com/embed ... oexistence

[scalz]

Concernant le fork :
Valentin : on est bien d'accord que l'App JeedomOfficiel, en résumé, ce ne sont qu'une liste d'intent prédéfini, entrainés avec des phrases prédéfinies (par toi), et des slots et valeurs de slots par défauts? Rien de plus...

En tout cas c'est ce que j'ai compris aussi
Une fois de plus je tire mon chapeau à l'équipe SNIPS, c'est du beau boulot. C'est très flexible. Le système d'actions/skills, le bus mqtt c'est juste super pratique!
j'espère que vous pourrez améliorer le TTS si possible, j'imagine que c'est dans vos plans. Pour l'instant, c'est le petit inconvénient je trouve.. Et le fait qu'il faut un peut tout se recabler les fonctions d'un ghome, ou le vocabulaire un peu plus restreint. Mais c'est normal vu qu'on est en offline, je suis sûr qu'il pleuvra des apps et skills snips dans le futur, et ensuite "bye" les assistants GAFA..
En tout cas j'en parle autour de moi

[valentinf]

Concernant le fork :
Valentin : on est bien d'accord que l'App JeedomOfficiel, en résumé, ce ne sont qu'une liste d'intent prédéfini, entrainés avec des phrases prédéfinies (par toi), et des slots et valeurs de slots par défauts? Rien de plus...

En tout cas c'est ce que j'ai compris aussi
Une fois de plus je tire mon chapeau à l'équipe SNIPS, c'est du beau boulot. C'est très flexible. Le système d'actions/skills, le bus mqtt c'est juste super pratique!
j'espère que vous pourrez améliorer le TTS si possible, j'imagine que c'est dans vos plans. Pour l'instant, c'est le petit inconvénient je trouve.. Et le fait qu'il faut un peut tout se recabler les fonctions d'un ghome, ou le vocabulaire un peu plus restreint. Mais c'est normal vu qu'on est en offline, je suis sûr qu'il pleuvra des apps et skills snips dans le futur, et ensuite "bye" les assistants GAFA..
En tout cas j'en parle autour de moi

Hello

Merci

Pour le TTS c'est picovoice un solution open source. Si tu veux une solution plus quali tu peux installer Amazon Polly c'est gratuit et tu as pas mal de choix de voix. Sinon tu as acapella aussi

Il faut garder en tête que notre métier c'est l'AI et principalement la reconnaissance vocale. Le TTS c'est la spécialité d'autre sociétés

[valentinf]

Concernant le fork :
Valentin : on est bien d'accord que l'App JeedomOfficiel, en résumé, ce ne sont qu'une liste d'intent prédéfini, entrainés avec des phrases prédéfinies (par toi), et des slots et valeurs de slots par défauts? Rien de plus...
Donc une éventuelle mise à jour ne concernerait que ca.. Et généralement les phrases d'entrainement.
L'aPp en elle-même n'est en fait qu'une coquille contenant les Intents et slots. Il n'y a pas d'actions/skills, donc pas de code.
Donc le fork ne fait rien perdre, au contraire : il permet de customiser l'app selon sa maison, ses équipements.
Perso, j'ai même créer plein d'intents pour gérer séparément la partie media center : Snips envois les ordre a jeedom, qui décide ensuite de piloter le plugin Kodi, Squeezebox, spotify, la télé, etc... avec toute l'intelligence des scénarios. Quand je dis de monter le son, jeedom sais s'il doit monter le son de la musique, de la télé, ou du homecinema.
Et comme je ne gère pas le chauffage via jeedom, j'ai supprimé les intent de thermostat. Idem pour les pieces et equipement que je ne pilote pas . Ca evite les faux positifs. (et ca, l'injection ne le permet pas)
Bref, en customisant l'App, on peut tout piloter via le couple snips/jeedom.
Pour moi, le fork (et l'export/import de phrase d'entrainement!) permet d'avoir une solution sur mesure au poil. Merci pour cette fonctionnalité. (Et franchement, une fois qu'on a compris la synthaxe des phases, c'est super rapide a modifier via import/export et notepad ou excel)

Oui tout à fait. Une App peut avoir une action ou aucune.
Une App n'est autre qu'un assistant + action

Exemple d'app avec action:

- App météo: l'assistant sert à poser la question (intents, slotvalue, training sentences ect) l'action elle va faire un call API pour aller chercher l'info

Exemple d'app sans action:

- JeedomApp: l'assistant lui va vous permettre de lui poser pas mal de questions/ordres dans plusieurs intents. Il ny a pas d'action à proprement parler dans cette app car c'est jeedom qui va en faite gérer cette partie

Donc oui tu peux forker et ajouter supprimer autant que tu veux. Nous avons créer cette app pour qu'elle soit relativement performante pour la plupart des Jeedomiens qui souhaitent essayer les premières fois. Il faut après customiser comme bon vous semble car chaque foyer est différent. Il n'y a plus de raisons de suivre l'App officielle après

Vous pouvez supprimer ou rajouter d'autres intents qui vous conviennent

[fwehrle]

@Seki
J'avais capté mais pas de bol orange0 est pas le meilleur candidat.
je plussoie aussi pour le rj45. Le rpi0 c'est juste en test de mon coté, ça ne sera pas en prod pour moi, sauf si le truc est mobile.
le filaire est bien plus fiable quand c'est accessible. trop de wifi suis pas fan non plus (et pour ceux qui ont d'autres matériels en 2.4ghz, sous différent protocoles, là vaut mieux bien choisir son channel wifi..)

C'est surtout le routeur Wifi qu'il faut bien choisir! Exit les box FAI! Un bon petit point d'accès Unify en canal automatique, et ca roule tout seul.
Même avec 5 squeezebox synchronisées sur du flac 24bits!

ce que je disais concernant le wifi, rien à voir..
perso je suis en faveur du subghz, mais quand tu utilises d'autres appareils en 2.4ghz (genre zigbee xiaomi, BLE etc..), c'est mieux de bien choisir son canal wifi (pas sûr que le canal auto soit la meilleure option du coup..) car sinon potentiels problèmes de portée (non pas wifi, mais les autres protocoles). En fonction des canaux wifi ça peut se chevaucher avec les autres protocoles. Et s'il y a beaucoup d'activité wifi au même moment qu'un autre module HA mal placé veut communiquer (surtout avec un bon petit point d'accès bien puissant), c'est pas le wifi qui perdra des msg en 1er
exemple d'article concernant la problématique: http://www.embedded-computing.com/embed ... oexistence

Ah oui, intéressant.. Je n'ai rien d'autre sur la fréquence 2.4GHz, mais je garde cette problématique à l'esprit..
Merci pour le lien.

[chsalmon]

Salut,
Désolé mais j’ai pas trouvé la doc pour installer la version pour satellite uniquement ? Sur pi zéro avec respeaker. C’est pas la même installe que le snips complet ?

[scalz]

@chsalmon
j'utilise cet outil : https://github.com/Psychokiller1888/satConnect
j'ai pas cherché s'il y a une alternative, c'est simple à utiliser. en gros cela se charge de configurer les settings snips.
quand tu rajoutes un satellite, il faut recharger l'assistant dans le plugin jeedom pour voir apparaitre le nouveau satellite dans le plugin (en tout cas j'avais eu besoin de faire ce refresh)

[pachira25]

Bonjour,

Je viens de découvrir la solution snips que je ne connaissais pas, j’ai parcouru le site avec un petit peu de difficulté car pas mal de vocabulaire mais dans le contexte je comprends.
Je suis novice dans les assistant personnel et je viens d’acheter un AIY Google v2 avec Pi zéro pour justement essayer de l’interfacer avec Jeedom, enfin c’était avant que j’apprenne l’existence de Snips  avec sa solution en local.

Du coup j’aurai plusieurs questions dont je n’ai pas su trouver la réponse.

1. Snips est-il disponible pour un AIY Google v2 sur Pi zéro ? je l'ai commandé mais pas encore reçu afin de pouvoir mettre une carte SD avec Snips dessus
2. Que veut dire satellite ?, si j’ai bien compris il faut : un pi pour le serveur SNIPS et un pi par satellite avec un micro pour être disséminé un peu partout dans la maison ?
3. Que veut dire exactement Skills, forker l'app, les intents? si quelqu’un à un site de traduction de vocabulaire  je suis preneur j'ai lu depuis le debut le fil de discution mais je manque de vocabulaire technique
4. Lorsque l’on installe Snips et que l’on configure Jeedom, lors d’ajout de dispositifs Jeedom ou de nouvelles interactions il faut remettre à jour Snips ? comment cela se passe ? une reinstall total ? ou une mise a jour en cliquant sur un bouton ?

Il est plusieurs fois fait mention de documentation en français mais je ne la trouve pas, est elle disponible ou pas encore ? car je peche un peu dans le tout anglais qui devient par moment très technique.

En tout cas c'est un super projet !

En vous remerciant par avance.

Pach

[Jeandhom]

Si tu veux recycler ton AIY Google en satellite Snips :

https://medium.com/snips-ai/is-it-googl ... 7c9dc2139a

[arnog23]

Hello,

Je viens d'essayer de forker l'appli pour ajouter des valeurs au slot "house_room". J'ai ensuite rechargé l'assistant sur mon RPI avec sam. Côté Plugin Jeedom, j'ai fait un reload (j'ai aussi fait un export avant au cas ou) mais du coup, il semble y avoir un souci "entre l'assistant et le plugin" car j'ai le message suivant : "The session was ended because one of the component didn't respond in a timely manner"

Code : Tout sélectionner

[11:31:46] [Hotword] detected on site default, for model default
[11:31:46] [Asr] was asked to stop listening on site default
[11:31:46] [Hotword] was asked to toggle itself 'off' on site default
[11:31:46] [Dialogue] session with id '2ed62056-ce6e-42bd-a889-6ffc660e1af9' was started on site default
[11:31:46] [AudioServer] was asked to play a wav of 41.1 kB with id 'b55e92c5-96f1-4082-8c58-a40027ba8111' on site default
[11:31:47] [AudioServer] finished playing wav with id 'b55e92c5-96f1-4082-8c58-a40027ba8111'
[11:31:47] [Asr] was asked to listen on site default
[11:31:51] [Asr] captured text "allume la lumière du bureau" in 3.0s
[11:31:51] [Asr] was asked to stop listening on site default
[11:31:51] [AudioServer] was asked to play a wav of 93.1 kB with id 'fba4e0f9-7961-4e47-b192-a97e3fab6eb9' on site default
[11:31:52] [AudioServer] finished playing wav with id 'fba4e0f9-7961-4e47-b192-a97e3fab6eb9'
[11:31:52] [Nlu] was asked to parse input allume la lumière du bureau
[11:32:07] [Dialogue] session with id '2ed62056-ce6e-42bd-a889-6ffc660e1af9' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[11:32:07] [Asr] was asked to stop listening on site default
[11:32:07] [Hotword] was asked to toggle itself 'on' on site default

Je suis donc reparti de l'app officiel sans la forker, j'ai rechargé l'assistant sur mon RPI et reload côté plugin Jeedom mais toujours la même erreur.

Une idée ?

[arnog23]

Bon, à priori, j'ai 2 services qui ont des soucis :

Code : Tout sélectionner

● snips-skill-server.service - Snips Skill Server
   Loaded: loaded (/lib/systemd/system/snips-skill-server.service; enabled)
   Active: activating (auto-restart) (Result: exit-code) since Wed 2018-08-22 12:16:56 CEST; 3s ago
  Process: 2267 ExecStart=/usr/bin/snips-skill-server (code=exited, status=1/FAILURE)
 Main PID: 2267 (code=exited, status=1/FAILURE)
   CGroup: /system.slice/snips-skill-server.service

Aug 22 12:16:56 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.

● snips-nlu.service - Snips NLU
   Loaded: loaded (/lib/systemd/system/snips-nlu.service; enabled)
   Active: activating (auto-restart) (Result: exit-code) since Wed 2018-08-22 12:16:58 CEST; 1s ago
  Process: 2270 ExecStart=/usr/bin/snips-nlu (code=exited, status=1/FAILURE)
 Main PID: 2270 (code=exited, status=1/FAILURE)

Aug 22 12:16:58 jeedom systemd[1]: Unit snips-nlu.service entered failed state.

Code : Tout sélectionner

#journalctl -f -u snips-skill-server.service
-- Logs begin at Wed 2018-08-22 12:15:12 CEST. --
Aug 22 12:24:02 jeedom snips-skill-server[4026]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:02 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:02 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.
Aug 22 12:24:07 jeedom systemd[1]: snips-skill-server.service holdoff time over, scheduling restart.
Aug 22 12:24:07 jeedom systemd[1]: Stopping Snips Skill Server...
Aug 22 12:24:07 jeedom systemd[1]: Starting Snips Skill Server...
Aug 22 12:24:07 jeedom systemd[1]: Started Snips Skill Server.
Aug 22 12:24:07 jeedom snips-skill-server[4079]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:07 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:07 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.
Aug 22 12:24:12 jeedom systemd[1]: snips-skill-server.service holdoff time over, scheduling restart.
Aug 22 12:24:12 jeedom systemd[1]: Stopping Snips Skill Server...
Aug 22 12:24:12 jeedom systemd[1]: Starting Snips Skill Server...
Aug 22 12:24:12 jeedom systemd[1]: Started Snips Skill Server.
Aug 22 12:24:12 jeedom snips-skill-server[4089]: ERROR:snips_skill_server: no actions found !
Aug 22 12:24:12 jeedom systemd[1]: snips-skill-server.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:12 jeedom systemd[1]: Unit snips-skill-server.service entered failed state.

Code : Tout sélectionner

#journalctl -f -u snips-nlu.service
-- Logs begin at Wed 2018-08-22 12:15:12 CEST. --
Aug 22 12:24:33 jeedom systemd[1]: snips-nlu.service holdoff time over, scheduling restart.
Aug 22 12:24:33 jeedom systemd[1]: Stopping Snips NLU...
Aug 22 12:24:33 jeedom systemd[1]: Starting Snips NLU...
Aug 22 12:24:33 jeedom systemd[1]: Started Snips NLU.
Aug 22 12:24:33 jeedom snips-nlu[4118]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 22 12:24:33 jeedom snips-nlu[4118]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 22 12:24:33 jeedom snips-nlu[4118]: -> caused by: Expected model version 0.15.0 but found 0.16.0
Aug 22 12:24:33 jeedom snips-nlu[4118]: ERROR:rumqtt::client  : 0d6683e5fdb94501b0e9cfa55f9c47d9 Disconnected: (Error(SyncMpsc(Disconnected), State { next_error: None, backtrace: None }))
Aug 22 12:24:33 jeedom systemd[1]: snips-nlu.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:33 jeedom systemd[1]: Unit snips-nlu.service entered failed state.
Aug 22 12:24:38 jeedom systemd[1]: snips-nlu.service holdoff time over, scheduling restart.
Aug 22 12:24:38 jeedom systemd[1]: Stopping Snips NLU...
Aug 22 12:24:38 jeedom systemd[1]: Starting Snips NLU...
Aug 22 12:24:38 jeedom systemd[1]: Started Snips NLU.
Aug 22 12:24:38 jeedom snips-nlu[4127]: INFO:snips_nlu_hermes: loading model at path "/usr/share/snips/assistant"
Aug 22 12:24:38 jeedom snips-nlu[4127]: ERROR:rumqtt::client  : 57a8401cef464bbba1135a2196151892 Disconnected: (Error(SyncMpsc(Disconnected), State { next_error: None, backtrace: None }))
Aug 22 12:24:38 jeedom snips-nlu[4127]: ERROR:snips_nlu       : Unable to read file '/usr/share/snips/assistant/trained_assistant.json'
Aug 22 12:24:38 jeedom snips-nlu[4127]: -> caused by: Expected model version 0.15.0 but found 0.16.0
Aug 22 12:24:38 jeedom systemd[1]: snips-nlu.service: main process exited, code=exited, status=1/FAILURE
Aug 22 12:24:38 jeedom systemd[1]: Unit snips-nlu.service entered failed state.

J'ai voulu aller sur le lien Discord fourni par Valentif mais l'invitation ne semble plus valable.

[pachira25]

Merci de la réponse mais du coup la notion de satellite je ne la maitrise pas. Ça peut fonctionner tout seul ou il faut autre chose ?

Si tu veux recycler ton AIY Google en satellite Snips :

https://medium.com/snips-ai/is-it-googl ... 7c9dc2139a

[Jeandhom]

Non, il faut un serveur maître qui doit tourner minimum sur un pi 3.

viewtopic.php?f=59&t=38112&p=642180#p641909