[Sujet officiel] l'assistant vocal Snips 100% privé (Plugin développé pour jeedom)

[kiboost]

Merci Valentin pour tes réponses ci-dessus.
Je comprends bien que c'est encore jeune, et je regarderai pour créer des apps en effet

[valentinf]

Encore une fois je ne dénigre pas le super boulot effectué. Et avoir snips en open-source, sans cloud, dans jeedom, c'est juste génial.

Mais exemple, pour une pièce que beaucoup ont genre Chambre de monfils, il faut forker l'app et les intents et ajouter la pièce, en perdant les update de l'app ou reforkant etc... Pourtant si je ne dis pas de bêtises, Jeedom a déjà ces pièces (Objets). Ou on pourrait les ajouter directement dans le plugin avec qql synonymes. C'est un point assez gênant j'avoue ...
Oui et non c'est quelque chose que tu dois faire une fois. L'app JeedomOfficiel on ne l'updatera plus. On a fourni quelques intents et quelques slots values pour faciliter l'installation mais après vous devez la forker et modifier quelques valeurs, enlever des intents ou en ajouter pour que ce soit personnalisé. Vois ça comme si Jeedom vous fournissait quelques scénarios de base, tu devrais quand même les éditer, modifier pour que ça corresponde à ton installation. C'est un boulot d'une fois, car dès que tu as finis avec des intents et slotvalues c'est bon pour toujours, tu n'auras probalement pas besoin d'y retourner


Et dans l'absolu, jeedom a les Objets/pièces avec les lumières, portes, présence etc par le résumé (si bien configuré je suis d'accord). Donc je m'attendais à ce qu'il comprenne directement 'Allume les lumières de pièce'. Mais j'en attends sans doute trop.
C'est juste un plugin qui connecte Snips à Jeedom et non Jeedom à Snips, le transfert d'info se fais dans un sens pas dans l'autre. Ce serait vraiment un énorme boulot pour pas grand chose

Concernant l'intelligence je suis surpris qu'il faille être aussi précis dans les phrases énoncées.

ex:
Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
c -> pas compris, pas de house room ! Et là, comme pas de house_room, mon scénario va me mettre le salon ou la pièce du satellite donc pas ce que j'attends.
L'intelligence comme tu dis se base sur le nombre de phrases d'entrainements et leurs qualités. J'ai juste du oublier de mettre "Eteins la lumière de la maison" dans les training sentences, ajoutes là, save, et fais un sam install assistant et tu verras que ça fonctionneras

btw, quand un système fonctionne à 90% c'est toujours les 10% qui ne fonctionnent pas qui sont visibles

Et si demain je rajoute une lumière, il faut l'ajouter dans le résumé, dans mobileapp, dans homebridge, dans snips etc.
Ah ça oui, mais tout fonctionne comme ça, les seuls qui arrivent à avoir un écosystème aussi simple c'est Apple qui construit leur propre gamme de produit qui répondent au même protocole ect ... dès que tu veux connecter des services différents rien n'est facile, y'a rien de standard
Ma réflexion est peut-être plus globale certes mais je ne pensais pas devoir à ce point lui rentrer autant de choses et aussi précisément. Mais je continu à apprendre son fonctionnement
Si tu veux un résultat personnalisé et efficace tu n'as pas le choix. J'ai passé des semaines entières à configurer mon Jeedom (faire un plan 3d, installer les plugins, les configurer, faire mes scénarios, regarder les logs ... y'a pas de secret. La domotique actuelle prends du temps, ajouter la voix à la domotique n'est pas trival, il faut passer un peu de temps pour configurer
Parce que à coté de çà, on branche un pi, qql lignes de sudo et paf çà fonctionne. Et çà, c'est bô

Réponse ci-dessus en gras

[kiboost]

Ah cool pour l'app jeedom, j'avais peur qu'elle soit encore updaté régulièrement ! Donc je vais m'y coller

Pour le reste, t'inquiète on est d'accord. Mais mon boulot c'est justement de développer et d'optimiser les 10% restant, pour çà que je peux paraitre chiant, je sais

Je verrai ensuite pour tester avec un satellite, puis voir pour créer des apps.

Juste pour pas tout casser:
https://snips.gitbook.io/documentation/ ... figuration
Si je mets çà

Code : Tout sélectionner

[snips-audio-server]
# frame = 256
# bind = "salon@mqtt"
# mike = "Built-in Microphone"

Mon serveur snips principal ne sera plus default mais bien salon ?

[Tristan35]

ex:
Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
Eteins les lumières dans la maison -> pas compris, pas de house room ! Et là, comme pas de house_room, mon scénario va me mettre le salon ou la pièce du satellite donc pas ce que j'attends.

Chez moi il comprend bien ta seconde phrase, et je n'ai rien rajouté sur ce point là :

Code : Tout sélectionner

{
  "input": "eteins les lumières dans la maison",
  "intent": {
    "intentName": "xxx:lightsTurnOffJeedom",
    "probability": 0.9588265
  },
  "slots": [
    {
      "rawValue": "maison",
      "value": {
        "kind": "Custom",
        "value": "maison"
      },
      "range": {
        "start": 28,
        "end": 34
      },
      "entity": "house_room",
      "slotName": "house_room"
    }
  ]
}

[fwehrle]

Pour les ordres multiples et simultanés sur plusieurs satellites, ca fonctionne, et Snips les enchainera l'un après l'autre.
Du coup, il arrive, dans une maison ouverte, qu'un satellite d'une pièce entende et comprenne l'ordre donnée dans une autre piéce, en même temps.
Pour éviter les doubles ordres envoyés à Jeedom, j'ai donc bricolé un double scénario :
le premier scénario est appelé par tous les bindings, il vérifie que j'ai bien autorisé la vocalisation et les ordres vocaux (via un virtuel : ca permet de couper les ordres snips), et aussi il vérifie que 2 ordres identiques mais sur les satellites différents ne soient pas trop rapprochés (5s). Signe d'une double détection.
Exemple pour le test de double execution rapprochée : (sans le test de la même piece) :

2018-09-18 11_50_55-Window.png (19.86 Kio) Consulté 1870 fois

Tiens, ca me fait penser qu'il serait cool d'avoir la possibilité de lancer un scenario sur :
- un binding negatif (il a trouvé l'intent, mais pas le binding)
- la detection du hotword (pour baisser le son de la télé par ex.)

[kiboost]

ex:
Eteins la lumière de la maison -> çà marche (mon scenario éteint tout comme prévu)
Eteins les lumières dans la maison -> pas compris, pas de house room ! Et là, comme pas de house_room, mon scénario va me mettre le salon ou la pièce du satellite donc pas ce que j'attends.

Chez moi il comprend bien ta seconde phrase, et je n'ai rien rajouté sur ce point là :

J'ai forké l'app, ajouté mes pièces dans les intents et maintenant çà fonctionne...

[Laregie]

@valentinf

Vous avez pu avancer sur la gestion des leds des ReSpeaker

[valentinf]

J'ai ajouté dans la doc les deux fichiers .stl pour un boitier 3D pour les satellites PIOW + speaker. Je fournis ça à titre personnel (c'est ceux que j'utilise). Snips (ou moi) n'allons pas effectuer de modif ou d'améliorations c'est juste pour ceux que ça intéresse. Tout simple à faire avec un petit logiciel 3D ...

https://snips.gitbook.io/documentation/ ... /jeedom-fr

[kiboost]

Bon, une petite pour la route ...

J'essaye d'ajouter dans l'app jeedom un intent 'object' pour des petites phrases du style:
bonne nuit
au dodo
on s'en va

etc

J'ai donc crée un nouveau slot avec 2 valeurs et les synonymes:
dodo, bonne nuit, au dodo, à demain, dodo
départ, départ, on s'en va, on part, on sort, on y va

De ce que je comprend, si je dit on y va, je devrai avoir le tag object avec départ dans jeedom

J'ai ajouté des training examples, mais rien de coloré. Et quand je test, les slots sont vides : "slots": [] mais j'ai le bon intent.

Je ne vois nulle part comment corriger ce qu'il comprends, ou lui forcer à apprendre que telle phrase veux dire çà, etc.

Une idée ?

[Tristan35]

J'ai fait la même chose. J'ai donc créé un nouvel intent.

Capture.PNG (49.68 Kio) Consulté 1842 fois

Je lui ai ajouté un slot Mode, contenant les valeurs suivantes :

Code : Tout sélectionner

Confort, bonjour, je suis là, salut
Travail, boulot
Nuit, bonne nuit
Absents, absent, absente, absence, au revoir, bonne journée
Weekend, 
Film, 

Et j'ai ajouté les phrases d'entrainement suivantes :

Code : Tout sélectionner

[Au revoir](Mode)
[Bonne journée](Mode)
[Salut](Mode)
[Je suis là.](Mode)
Il faut aller au [travail](Mode)
C'est l'heure d'aller en [weekend](Mode) 
On part en [weekend](Mode)
Ambiance [nuit](Mode)
Mode [confort](Mode)
C'est parti pour le [film](Mode)
Lance le mode [film](Mode)
Lance l'ambiance [film](Mode)
Active l'ambiance [film](Mode)
Active le mode [film](Mode)
je vais au [boulot](Mode)
[Bonjour](Mode)
je [m'absente](Mode)
je parts au [travail](Mode)
Bon [weekend](Mode)
[Bonne nuit.](Mode)

Normalement, tu dois pouvoir utiliser ce que j'ai mis en l'important dans la console Snips directement.

[Tristan35]

Histoire de rigoler un peu J'ai créé un intent pour lancer mon aspirateur (Xiaomi). Pas de slot, jsute les phrases d'entrainement suivantes

Code : Tout sélectionner

lance l'aspi
passe l'aspi
il y a trop de poils ici
il y a trop de poussière
c'est sale ici
passe l'aspirateur
nettoie le salon
nettoie moi tout ce bordel
lance l'aspirateur

Et son copain pour savoir où est l'aspirateur lorsqu'il n'est pas rentré

Code : Tout sélectionner

J'ai perdu l'aspirateur.
Je ne vois pas l'aspirateur.
Je ne trouve plus l'aspirateur.
Je ne trouve pas l'aspirateur.
L'aspirateur est perdu.
Où est caché l'aspirateur ?
Dis moi où est l'aspirateur.
Trouve l'aspirateur.
L'aspirateur est introuvable.
Où est l'aspirateur ?

[Jeandhom]

J'ai ajouté des training examples, mais rien de coloré. Et quand je test, les slots sont vides : "slots": [] mais j'ai le bon intent.

Dans les phrases exemples, sélectionne le mot et clic droit.

[kiboost]

J'ai ajouté des training examples, mais rien de coloré. Et quand je test, les slots sont vides : "slots": [] mais j'ai le bon intent.

Dans les phrases exemples, sélectionne le mot et clic droit.

Et bien voilà une subtilité que je n'avais pas

Merci à tout les deux

[kiboost]

Histoire de rigoler un peu J'ai créé un intent pour lancer mon aspirateur (Xiaomi). Pas de slot, jsute les phrases d'entrainement suivantes

Ah pas con, je savais pas qu'on pouvait faire un intent sans slot !

Du coup, un intent dodo, un autre depart, et que des phrases d'entrainement ! j'essaye çà

Va falloir une section snips sur le forum bientôt

[Tristan35]

Va falloir une section snips sur le forum bientôt

J'y pensais, un post pour réunir des slots et des phrases d'entrainement !

[glou]

J'ai ajouté dans la doc les deux fichiers .stl pour un boitier 3D pour les satellites PIOW + speaker. Je fournis ça à titre personnel (c'est ceux que j'utilise). Snips (ou moi) n'allons pas effectuer de modif ou d'améliorations c'est juste pour ceux que ça intéresse. Tout simple à faire avec un petit logiciel 3D ...

https://snips.gitbook.io/documentation/ ... /jeedom-fr

Géniallissime ! il faut juste que jarrive a faire fonctionner mon imprimante 3D maintenant !!!

[kiboost]

Va falloir une section snips sur le forum bientôt

J'y pensais, un post pour réunir des slots et des phrases d'entrainement !

Une section serait vraiment un plus, car se retaper le sujet complet qui aborde pleins de sujets différents çà deviens long.

Ou a minima des sujets généraux pour structurer un peu

SNIPS:Général
SNIPS:Hardware
SNIPS:Console
SNIPS:Installation-settings
SNIPS:Jeedom interactions
SNIPS:Jeedom bindings

etc

Loic, un Forum >> Plugins Jeedom >> [Catégorie] Communication >> [Plugin Tiers] SNIPS ??

[kiboost]

Juste pour pas tout casser:
https://snips.gitbook.io/documentation/ ... figuration
Si je mets çà

Code : Tout sélectionner

[snips-audio-server]
# frame = 256
# bind = "salon@mqtt"
# mike = "Built-in Microphone"

Mon serveur snips principal ne sera plus default mais bien salon ?

Valentin ? Pour changer le nom de mon serveur snips, avant de rajouter des satellites

[kiboost]

Sinon, on peux installer les satellites avec sam ?
https://snips.gitbook.io/documentation/ ... rence#init

Et je comprends pas bien la différences entre les configs A et B

Sachant que je souhaite utiliser le tout avec un wakeword perso, mais le même partout pour tout le monde, c'est la config B ?

[3issa]

J'y pensais, un post pour réunir des slots et des phrases d'entrainement !

Très bonne idée. Ce serait cool de partager les intents et slots créés afin de pouvoir s'en inspirer.