[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[kiboost]

ah, j'avais plus rien sur le arecord -l !!

J'ai refait le sam stup audio, reboot et maintenant tout est vert

MERCI !

Je peux pas trop lui parler pour l'instant mais je vais tester et plugger le plugin jeedom dessus dès que je peux.

Sinon à quoi sert la prise d'alimentation sur la carte respeaker ? Il faut aussi la brancher (donc 2 alims ??) ?

Pour le boitier j'ai aperçu çà, mais çà doit quand même bien atténuer ? Valentin ?
https://www.kiwi-electronics.nl/google- ... pi?lang=en

KW-2010-4-1000x667.jpg (66.38 Kio) Consulté 1921 fois

[3issa]

Quelqu'un utilise t-il un satellite snips comme antenne BLEA (ou l'inverse suivant par où on commence... ) ? Pas de problème particulier de constaté lors d'une telle utilisation ?

[Tristan35]

Quelqu'un utilise t-il un satellite snips comme antenne BLEA (ou l'inverse suivant par où on commence... ) ? Pas de problème particulier de constaté lors d'une telle utilisation ?

Aucun soucis, ça fonctionne très bien.

[kiboost]

En boitier y'a çà sinon :
https://www.kubii.fr/boitiers-raspberry ... 02135.html

Le top serait peu-être un boitier pour la carte respeaker seule, avec un beau câble pour le déporter du Pi. Pi avec rj45 et alim caché, et juste un câble jusqu'au HAT. Mais là je rêve

[valentinf]

ah, j'avais plus rien sur le arecord -l !!

J'ai refait le sam stup audio, reboot et maintenant tout est vert

MERCI !

Je peux pas trop lui parler pour l'instant mais je vais tester et plugger le plugin jeedom dessus dès que je peux.

Sinon à quoi sert la prise d'alimentation sur la carte respeaker ? Il faut aussi la brancher (donc 2 alims ??) ?

Pour le boitier j'ai aperçu çà, mais çà doit quand même bien atténuer ? Valentin ?
https://www.kiwi-electronics.nl/google- ... pi?lang=en
KW-2010-4-1000x667.jpg

Je ne pense pas que ça gêne, il n'y a pas tout sur la photo mais j'imagine que la partie supérieure est trouée pour laisser passer le son non?

Je n'ai pas de retour sur ce type de boitier personnellement. Le mieux est peut être une simple impression 3D non?

[glou]

Je ne pense pas que ça gêne, il n'y a pas tout sur la photo mais j'imagine que la partie supérieure est trouée pour laisser passer le son non?

Je n'ai pas de retour sur ce type de boitier personnellement. Le mieux est peut être une simple impression 3D non?

tu fournis le plan ? xD

[kiboost]

Sinon, qql un a déjà configurer un wakeword personnalisé ? Faudra que j'y passe si je passe le joujou en prod, donc si qqlun a des retour sur la mise en place et l'utilisation, notamment avec plusieurs personnes à la maison ? Réactivité, reconnaissance etc ?

[pachira25]

Il faut faire un update de l'assistant sur ton Snips lui même aussi

du coup un simple :

"sam update-assistant"

dans le terminal suffit pour faire la maj dans snips. et un reload assistant dans Jeedom

Merci pour l'info @Tristan35


sinon pour le boitier j'utilise celui ci sans la partie transparente :

https://thepihut.com/products/raspberry ... 8499258833

il me convient bien et permets de de le mettre sur le frigo si on cole un magnet derriere ^^

[3issa]

Quelqu'un utilise t-il un satellite snips comme antenne BLEA (ou l'inverse suivant par où on commence... ) ? Pas de problème particulier de constaté lors d'une telle utilisation ?

Aucun soucis, ça fonctionne très bien.

Merci pour le retour. Du coup, j'ai fait l'install et je n'ai effectivement eu aucun problème.

C'est plutôt pratique de pouvoir cumuler ces deux fonctions sur un pi.

[kiboost]

Peut-on changer le volume du retour TTS ?
En effet actuellement mon tts parle plus fort la journée, par rapport au matin ou soir (enfant qui dort...)

Sinon je le fais avec un script ssh mais ce serait sympa

[Tristan35]

Valentin a posté un GitHub quelques post plus haut avec un projet pour gérer le volume

[kiboost]

Bon je le ferai en script, c'est vraiment simple.

Dans l'ensemble çà marche pas mal. J'ai fini par passer par des scénarios et c'est bien foutu et assez puissant.

Par contre, c'est le début donc je ne vais pas juger mais j'ai l'impression qu'il faut être sacrément précis !

Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
Eteins les lumières dans la maison -> pas compris !!! Testé avec watch et sur la console web idem, pas de house room.
Allume la lumiere de la cuisine -> ok
Allume la lumiere de manolo -> idem, pas de house_room !
Allume la lumiere de la chambre de manolo -> house_room chambre

C'est la première fois que j'utilise un assistant vocal, et ma crainte a toujours été de devoir parlé informatiquement... Alors rassurez moi, j'ai rien compris ?

[arnog23]

Sinon, qql un a déjà configurer un wakeword personnalisé ? Faudra que j'y passe si je passe le joujou en prod, donc si qqlun a des retour sur la mise en place et l'utilisation, notamment avec plusieurs personnes à la maison ? Réactivité, reconnaissance etc ?

J'ai fait quelques tests avec "moogle" comme wakeword avec ma voix (car les fausses pub d'Alain Chabat faisant beaucoup rire madame, ca passera mieux pour le mettre en prod ). Cela fonctionne plutôt bien avec la mienne mains moins avec celle de madame. Mais comme on peut en mettre plusieurs (j'ai d'ailleurs aussi laissé "Jarvis" en même temps) je me dis que je vais aussi faire un enregistrement avec la voix de madame pour tester. Après, peut être que la qualité de mon micro (Jabra 410) n'est pas assez bonne pour faire un enregistrement correcte même si je l'ai fait dans un environnement calme (pas de bruit externe).

Pour la mise en place, il n'y a qu'à suivre la doc, c'est bien expliqué.

[kiboost]

Oki merci, je vais essayer çà.

Bon effectivement, l'installation et la mise en route est relativement simple, et la doc très bien faite. Chapeau à la snips team.

Avant d'aller plus loin, quelques questions:

- Si j'ai un serveur et un satellite: Si le serveur me parle, est-ce que qqlun d'autre peu faire une requête en même temps sur un satellite ?

- Peu t on demander à snips de faire une recherche sur wikipedia par exemple ? En quelle année machin est née, qui étaient les présidents des usa, etc ?

- Peu t on lui demander ce qu'il y a comme sortie pour les enfants ce week-end autour de chez nous ?

- Peu t on, avec jeedom et un script associé (par scénario) lui demander de lancer telle playlist sur kodi, tel album de tel artiste, etc ... ?

Au final allumer les lumière et ouvrir les volets, çà se fait assez bien mais j'en ai pas vraiment besoin car déjà automatisés. Donc avant de passer en prod, j'essaye de voir l'utilité réelle qu'on pourrait en faire au quotidien.
Sinon pour du test, sans être à coté du micro, peut-on le tester avec des phrases tapées (un peu comme la console) mais qu'il fasse ou montre les actions qu'il est sensé faire ? Par exemple lancé les scénarios, ce qui permettrai de mettre beaucoup de choses en place et debugger sans lui parler à chaque fois.

Concernant le plugin:
Pourrait on, sur les binding, pouvoir sélectionner et donc copier les noms et slots des bindings ? Pour pouvoir les coller dans un scenario (if tag(slot) ... De même, quand on renomme un binding, avoir le nom actuel (pour éviter de retaper le nom complet juste pour ajouter qql caractères à la fin) ?
On peux définir un message global quand aucune action n'est trouvée. Comment le faire pour avoir une réponse globale suite à une action ? Genre "c'est fait" ?
Peut-changer le bip après la detection du hotword ? Hey snips | OUI ? | allume au lieu de Hey snips | BIP | allume ... ...

Enfin, y'a t il quelque de chose de particulier à faire quand on déclenche l'écoute mais qu'on ne veux rien ?

Enfin bis:
Quand on a configuré le résumé jeedom, on a bien un recensement des lumières, portes, prises etc dans chaque pièce. Serait-il possible de reprendre ces données automatiquement pour les bindings ?

[fwehrle]

Bon je le ferai en script, c'est vraiment simple.

Dans l'ensemble çà marche pas mal. J'ai fini par passer par des scénarios et c'est bien foutu et assez puissant.

Par contre, c'est le début donc je ne vais pas juger mais j'ai l'impression qu'il faut être sacrément précis !

Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
Eteins les lumières dans la maison -> pas compris !!! Testé avec watch et sur la console web idem, pas de house room.
Allume la lumiere de la cuisine -> ok
Allume la lumiere de manolo -> idem, pas de house_room !
Allume la lumiere de la chambre de manolo -> house_room chambre

C'est la première fois que j'utilise un assistant vocal, et ma crainte a toujours été de devoir parlé informatiquement... Alors rassurez moi, j'ai rien compris ?

Deja, tu peux créer 2 bindings par intents : un avec le house_room, et un sans. Ca te permettra d'intercepter les phrases avec et sans house_room.
Perso, je remplace le house_room vide par le site Id , de sorte que si je ne precise pas de piece, il agit sur la piece d'ou provient la demande.
Ensuite, tu peux/dois personnaliser les valeurs de tes slots pour y ajouter les pieces ou nom que tu as chez toi.
Et pour finir, tu peux aussi rajouter des phrases d'exemple pour entrainer l'assistant (avec la ou les lumieres, etc..)
Je sais qu'avec la config par defaut, les intents de TurnOff et lightTurnOff (et idem pour off) se melangent parfois les pinceaux..

[kiboost]

Oui je fais pareil, scenario avec ou sans house_room
Mais j'avoue que m'attendais à un truc un peu intelligent. Sans rien dénigrer, çà ressemble plus à un parser de phrase.

Pour ajouter les slots pour les noms de pièces, on fait comment ?

[fwehrle]

Snips est justement très intelligent au niveau de la reconnaissance des mots et phrases, à condition de bien l'entrainer (lui indiquer les slots de chaque phrase d'entrainement, et il construira toutes les phrases possibles).
Mais pour l'intégration dans Jeedom, il y a 2 modes :
soit il passe la phrase comprise directement aux interractions jeedom, mais tu ne profite pas du moteur de comprehension.
soit il passe les intents qu'il a "compris" a jeedom, et c'est la qu'il faut obligatoirement faire un mappage avec tes objets et pieces.
Ca peut paraitre contraignant, mais ca amene de la souplesse.. Imagine si tout le monde devait nommer ces pieces et equipement exactement pareil pour que ca marche?

Pour les slots, il faut forker l'App jeedomOfficiel dans la console snips, puis chaque intents.
Et ensuite modifier les valeurs possibles dans les slots.

[valentinf]

Oui je fais pareil, scenario avec ou sans house_room
Mais j'avoue que m'attendais à un truc un peu intelligent. Sans rien dénigrer, çà ressemble plus à un parser de phrase.

Pour ajouter les slots pour les noms de pièces, on fait comment ?

Il faut bien entrainer l'AI sur ce que tu prononces non? Tu dois, si tu veux ajouter des noms précis de room ou devices, les ajouter sur la console dans les slots (lis la documentation à ce sujet).

Explique moi ce que tu attends qu'il execute intelligemment? Je veux dire quel est ton attente exact? je voudrais avoir un exemple concret de ce que tu voudrais effectuer et ce que tu obtiens actuellement.

Merci

[valentinf]

Oki merci, je vais essayer çà.

Bon effectivement, l'installation et la mise en route est relativement simple, et la doc très bien faite. Chapeau à la snips team.

Avant d'aller plus loin, quelques questions:

- Si j'ai un serveur et un satellite: Si le serveur me parle, est-ce que qqlun d'autre peu faire une requête en même temps sur un satellite ?
normalement non, l'ASR ne pourra traiter qu'une requête à la fois, cela viendra du device qui a trigger en premier.

- Peu t on demander à snips de faire une recherche sur wikipedia par exemple ? En quelle année machin est née, qui étaient les présidents des usa, etc ?
Il y'a une app wikipedia faites par quelqu'un de la communauté il me semble (sûrement en anglais) mais globalement non pas encore car ça implique un très large vocabulaire et personne ne l'a faites encore

- Peu t on lui demander ce qu'il y a comme sortie pour les enfants ce week-end autour de chez nous ?
Pareil, oui ce serait possible mais il faut créer une app. Plusieurs personnes travaillent sur des apps (chez snips) et la communauté en crée aussi, ça viendra en temps et en heure, par exemple xconnecté à l'API de Yelp.

- Peu t on, avec jeedom et un script associé (par scénario) lui demander de lancer telle playlist sur kodi, tel album de tel artiste, etc ... ?
Pareil, plusieurs apps en création (j'ai vu des gens en parler sur Discord)

Au final allumer les lumière et ouvrir les volets, çà se fait assez bien mais j'en ai pas vraiment besoin car déjà automatisés. Donc avant de passer en prod, j'essaye de voir l'utilité réelle qu'on pourrait en faire au quotidien.
Garde en tête que ce n'est pas un produit consommateur plug and play, il faut que la communauté créer des usages, des apps (comme Jeedom au début), ça prends du temps et tout le monde y participe de près ou de loin, si tu sais coder, je t'invite à créer ta propre app pour tes besoins spécifiques.

Sinon pour du test, sans être à coté du micro, peut-on le tester avec des phrases tapées (un peu comme la console) mais qu'il fasse ou montre les actions qu'il est sensé faire ? Par exemple lancé les scénarios, ce qui permettrai de mettre beaucoup de choses en place et debugger sans lui parler à chaque fois.
Non tu ne peux pas, en revanche tu peux créer le scénario de ton côté et le tester. Le binding est plutôt simple à faire donc pas de raison de devoir le tester. Si tu connais bien tes intents et le nombre de slot, il est facile d'anticiper la création de ton binding sans avoir besoin de le tester

Concernant le plugin:
Pourrait on, sur les binding, pouvoir sélectionner et donc copier les noms et slots des bindings ? Pour pouvoir les coller dans un scenario (if tag(slot) ... De même, quand on renomme un binding, avoir le nom actuel (pour éviter de retaper le nom complet juste pour ajouter qql caractères à la fin) ?
On peux définir un message global quand aucune action n'est trouvée. Comment le faire pour avoir une réponse globale suite à une action ? Genre "c'est fait" ? Tu dois écrire le TTS pour chaque binding, il n'y a pas un TTS global positif, le seul TTS global c'est quand il ne trouve pas une action (binding) associé à un intent
Peut-changer le bip après la detection du hotword ? Hey snips | OUI ? | allume au lieu de Hey snips | BIP | allume ... ...
Oui tu peux, c'est aussi dans la documentation, tu peux aussi enlever le son avec sam sound-feedback off

Enfin, y'a t il quelque de chose de particulier à faire quand on déclenche l'écoute mais qu'on ne veux rien ?
non, suffit de pas parler ou sinon si tu enlèves le feedback sonore, tu n'entendras même pas qu'il a déclenché, et si tu trouves qu'il se déclenche trop souvent à ton goût tu peux régler la sensitivé du micro.

Enfin bis:
Quand on a configuré le résumé jeedom, on a bien un recensement des lumières, portes, prises etc dans chaque pièce. Serait-il possible de reprendre ces données automatiquement pour les bindings ?
pas sûr d'avoir compris

voir mes réponses ci-dessus en gras

[kiboost]

Encore une fois je ne dénigre pas le super boulot effectué. Et avoir snips en open-source, sans cloud, dans jeedom, c'est juste génial.

Mais exemple, pour une pièce que beaucoup ont genre Chambre de monfils, il faut forker l'app et les intents et ajouter la pièce, en perdant les update de l'app ou reforkant etc... Pourtant si je ne dis pas de bêtises, Jeedom a déjà ces pièces (Objets). Ou on pourrait les ajouter directement dans le plugin avec qql synonymes. C'est un point assez gênant j'avoue ...

Et dans l'absolu, jeedom a les Objets/pièces avec les lumières, portes, présence etc par le résumé (si bien configuré je suis d'accord). Donc je m'attendais à ce qu'il comprenne directement 'Allume les lumières de pièce'. Mais j'en attends sans doute trop.

Concernant l'intelligence je suis surpris qu'il faille être aussi précis dans les phrases énoncées.

ex:
Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
Eteins les lumières dans la maison -> pas compris, pas de house room ! Et là, comme pas de house_room, mon scénario va me mettre le salon ou la pièce du satellite donc pas ce que j'attends.

Et si demain je rajoute une lumière, il faut l'ajouter dans le résumé, dans mobileapp, dans homebridge, dans snips etc.
Ma réflexion est peut-être plus globale certes mais je ne pensais pas devoir à ce point lui rentrer autant de choses et aussi précisément. Mais je continu à apprendre son fonctionnement
Parce que à coté de çà, on branche un pi, qql lignes de sudo et paf çà fonctionne. Et çà, c'est bô