[Plugin Tiers][Sujet Principal] CloudSync Pro

[Antoinekl1]

moins verbeux en mode "défaut"

mode défaut c'est pas un mode, c'est celui de jeedom qui sera repris (voir parametres jeedom)

Oui, c'est pas faux. par défaut, le log défaut = erreur

[tom74]

Salut,
Je viens d'installer ce plugin mais je ne parviens pas envoyer mes backup sur dropbox...
Voici le log Cloudsyncpro :

Code : Tout sélectionner

[2017-10-25 08:58:40][DEBUG] : execute:: options:NULL
[2017-10-25 08:58:40][DEBUG] : execute:: this:cloudsyncproCmd::__set_state(array(    'id' => '161',    'logicalId' => NULL,    'eqType' => 'cloudsyncpro',    'name' => 'Backup',    'order' => '0',    'type' => 'action',    'subType' => 'other',    'eqLogic_id' => '21',    'isHistorized' => '1',    'unite' => '',    'configuration' => '{"command":"copy","source":"\/var\/www\/html\/backup","destination":"\/backup","include":"","exclude":"","minage":"","maxage":""}',    'template' => NULL,    'display' => '{"icon":"","invertBinary":"0"}',    'html' => NULL,    'value' => NULL,    'isVisible' => '1',    'alert' => NULL,    '_collectDate' => '',    '_valueDate' => '',    '_eqLogic' =>    cloudsyncpro::__set_state(array(      'id' => '21',      'name' => 'Cloudsync',      'logicalId' => '',      'object_id' => '3',      'eqType_name' => 'cloudsyncpro',      'eqReal_id' => NULL,      'isVisible' => '1',      'isEnable' => '1',      'configuration' => '{"createtime":"2017-10-25 08:14:32","comment":"","type":"dropbox","param1":"#token#-S2yg6","updatetime":"2017-10-25 08:32:36"}',      'timeout' => NULL,      'category' => '{"heating":"0","security":"0","energy":"0","light":"0","automatism":"1","multimedia":"0","default":"0"}',      'display' => '{"showObjectNameOnview":1,"showObjectNameOndview":1,"showObjectNameOnmview":1,"height":"auto","width":"auto","layout::dashboard::table::parameters":{"center":1,"styletd":"padding:3px;"},"layout::mobile::table::parameters":{"center":1,"styletd":"padding:3px;"},"layout::dashboard::table::cmd::161::line":1,"layout::dashboard::table::cmd::161::column":1,"layout::mobile::table::cmd::161::line":1,"layout::mobile::table::cmd::161::column":1}',      'order' => '0',      'comment' => NULL,      '_debug' => false,      '_object' =>      object::__set_state(array(        'id' => '3',        'name' => 'Maintenance',        'father_id' => NULL,        'isVisible' => '1',        'position' => NULL,        'configuration' => '{"parentNumber":0,"summary::global::security":"0","summary::global::motion":"0","summary::global::door":"0","summary::global::windows":"0","summary::global::shutter":"0","summary::global::light":"0","summary::global::outlet":"0","summary::global::temperature":"0","summary::global::humidity":"0","summary::global::luminosity":"0","summary::global::power":"0","summary::hide::desktop::security":"0","summary::hide::desktop::motion":"0","summary::hide::desktop::door":"0","summary::hide::desktop::windows":"0","summary::hide::desktop::shutter":"0","summary::hide::desktop::light":"0","summary::hide::desktop::outlet":"0","summary::hide::desktop::temperature":"0","summary::hide::desktop::humidity":"0","summary::hide::desktop::luminosity":"0","summary::hide::desktop::power":"0","summary::hide::mobile::security":"0","summary::hide::mobile::motion":"0","summary::hide::mobile::door":"0","summary::hide::mobile::windows":"0","summary::hide::mobile::shutter":"0","summary::hide::mobile::light":"0","summary::hide::mobile::outlet":"0","summary::hide::mobile::temperature":"0","summary::hide::mobile::humidity":"0","summary::hide::mobile::luminosity":"0","summary::hide::mobile::power":"0","summary":{"security":[],"motion":[],"door":[],"windows":[],"shutter":[],"light":[],"outlet":[],"temperature":[],"humidity":[],"luminosity":[],"power":[]},"tagColor":"#000000","tagTextColor":"#FFFFFF","desktop::summaryTextColor":"","mobile::summaryTextColor":""}',        'display' => '{"icon":"<i class=\"fa fa-asterisk\"><\/i>","tagColor":"#8000ff","tagTextColor":"#ffffff"}',     )),      '_needRefreshWidget' => false,      '_timeoutUpdated' => false,      '_batteryUpdated' => false,      '_cmds' =>      array (     ),      '_templateArray' =>      array (     ),   )),    '_needRefreshWidget' => NULL,    '_needRefreshAlert' => NULL,    '_templateArray' =>    array (   ), ))
[2017-10-25 08:58:40][DEBUG] : execute:: this:array (   'command' => 'copy',   'source' => '/var/www/html/backup',   'destination' => '/backup',   'include' => '',   'exclude' => '',   'minage' => '',   'maxage' => '', )
[2017-10-25 08:58:40][ALERT] : Starting task (Cloudsync/Backup #161)
[2017-10-25 08:58:40][DEBUG] : execute:: pid:'5450' rclone:'/var/www/html/plugins/cloudsyncpro/3rparty/rclone-v1.37-linux-arm64/rclone -v --log-file /var/www/html/core/class/../../log/cloudsyncpro.#161 --config /var/www/html/plugins/cloudsyncpro/core/config/rclone.conf copy \'/var/www/html/backup\' 21:\'/backup\''

Le log de la tache #161 est vide par contre...
Une idée du soucis?

[thanaus]

Salut,
Je viens d'installer ce plugin mais je ne parviens pas envoyer mes backup sur dropbox...
Voici le log Cloudsyncpro :

Code : Tout sélectionner

[2017-10-25 08:58:40][DEBUG] : execute:: options:NULL
[2017-10-25 08:58:40][DEBUG] : execute:: this:cloudsyncproCmd::__set_state(array(    'id' => '161',    'logicalId' => NULL,    'eqType' => 'cloudsyncpro',    'name' => 'Backup',    'order' => '0',    'type' => 'action',    'subType' => 'other',    'eqLogic_id' => '21',    'isHistorized' => '1',    'unite' => '',    'configuration' => '{"command":"copy","source":"\/var\/www\/html\/backup","destination":"\/backup","include":"","exclude":"","minage":"","maxage":""}',    'template' => NULL,    'display' => '{"icon":"","invertBinary":"0"}',    'html' => NULL,    'value' => NULL,    'isVisible' => '1',    'alert' => NULL,    '_collectDate' => '',    '_valueDate' => '',    '_eqLogic' =>    cloudsyncpro::__set_state(array(      'id' => '21',      'name' => 'Cloudsync',      'logicalId' => '',      'object_id' => '3',      'eqType_name' => 'cloudsyncpro',      'eqReal_id' => NULL,      'isVisible' => '1',      'isEnable' => '1',      'configuration' => '{"createtime":"2017-10-25 08:14:32","comment":"","type":"dropbox","param1":"#token#-S2yg6","updatetime":"2017-10-25 08:32:36"}',      'timeout' => NULL,      'category' => '{"heating":"0","security":"0","energy":"0","light":"0","automatism":"1","multimedia":"0","default":"0"}',      'display' => '{"showObjectNameOnview":1,"showObjectNameOndview":1,"showObjectNameOnmview":1,"height":"auto","width":"auto","layout::dashboard::table::parameters":{"center":1,"styletd":"padding:3px;"},"layout::mobile::table::parameters":{"center":1,"styletd":"padding:3px;"},"layout::dashboard::table::cmd::161::line":1,"layout::dashboard::table::cmd::161::column":1,"layout::mobile::table::cmd::161::line":1,"layout::mobile::table::cmd::161::column":1}',      'order' => '0',      'comment' => NULL,      '_debug' => false,      '_object' =>      object::__set_state(array(        'id' => '3',        'name' => 'Maintenance',        'father_id' => NULL,        'isVisible' => '1',        'position' => NULL,        'configuration' => '{"parentNumber":0,"summary::global::security":"0","summary::global::motion":"0","summary::global::door":"0","summary::global::windows":"0","summary::global::shutter":"0","summary::global::light":"0","summary::global::outlet":"0","summary::global::temperature":"0","summary::global::humidity":"0","summary::global::luminosity":"0","summary::global::power":"0","summary::hide::desktop::security":"0","summary::hide::desktop::motion":"0","summary::hide::desktop::door":"0","summary::hide::desktop::windows":"0","summary::hide::desktop::shutter":"0","summary::hide::desktop::light":"0","summary::hide::desktop::outlet":"0","summary::hide::desktop::temperature":"0","summary::hide::desktop::humidity":"0","summary::hide::desktop::luminosity":"0","summary::hide::desktop::power":"0","summary::hide::mobile::security":"0","summary::hide::mobile::motion":"0","summary::hide::mobile::door":"0","summary::hide::mobile::windows":"0","summary::hide::mobile::shutter":"0","summary::hide::mobile::light":"0","summary::hide::mobile::outlet":"0","summary::hide::mobile::temperature":"0","summary::hide::mobile::humidity":"0","summary::hide::mobile::luminosity":"0","summary::hide::mobile::power":"0","summary":{"security":[],"motion":[],"door":[],"windows":[],"shutter":[],"light":[],"outlet":[],"temperature":[],"humidity":[],"luminosity":[],"power":[]},"tagColor":"#000000","tagTextColor":"#FFFFFF","desktop::summaryTextColor":"","mobile::summaryTextColor":""}',        'display' => '{"icon":"<i class=\"fa fa-asterisk\"><\/i>","tagColor":"#8000ff","tagTextColor":"#ffffff"}',     )),      '_needRefreshWidget' => false,      '_timeoutUpdated' => false,      '_batteryUpdated' => false,      '_cmds' =>      array (     ),      '_templateArray' =>      array (     ),   )),    '_needRefreshWidget' => NULL,    '_needRefreshAlert' => NULL,    '_templateArray' =>    array (   ), ))
[2017-10-25 08:58:40][DEBUG] : execute:: this:array (   'command' => 'copy',   'source' => '/var/www/html/backup',   'destination' => '/backup',   'include' => '',   'exclude' => '',   'minage' => '',   'maxage' => '', )
[2017-10-25 08:58:40][ALERT] : Starting task (Cloudsync/Backup #161)
[2017-10-25 08:58:40][DEBUG] : execute:: pid:'5450' rclone:'/var/www/html/plugins/cloudsyncpro/3rparty/rclone-v1.37-linux-arm64/rclone -v --log-file /var/www/html/core/class/../../log/cloudsyncpro.#161 --config /var/www/html/plugins/cloudsyncpro/core/config/rclone.conf copy \'/var/www/html/backup\' 21:\'/backup\''

Le log de la tache #161 est vide par contre...
Une idée du soucis?

Il s'agit le plus souvent d'un problème de connexion mais je suis quelque peu surpris de n'avoir aucun log dans le fichier concernant la commande.
Je t'ai envoyé un MP pour investigation...

[tom74]

Petit retour suite ux investigations avec l'aide de thanaus que je remercie par ailleurs :
Mon soucis était du au fait que la synchro est longue chez moi, j'ai donc essayé d'appuyer plusieurs fois sur le bouton tester de la commande,
Il ne faut lancer la commande qu'une fois sinon, çà plante (thanaus doit corriger celà) et être patient avant de rententer.
Pour ma part c'est 1h pour exporter 4 backups.

[sber74]

Merci thanaus pour ce superbe plugin. Comme beaucoup je désespérais de ne plus pouvoir utiliser l'ancien plugin DataTransfert.
Et en plus avec l'ajout des filtres c'est top!!

Ça marchait pas au début mais en lisant le fil de cette discussion, j'ai tenté la régénération de clef Dropbox et ça a fonctionné

À titre indicatif mon backup de 120Mo se transfère en 50s et la 1ere copie de mes 8 backups s'était faite en 2min43s.

Encore merci.

Envoyé de mon P01M en utilisant Tapatalk

[jackouille]

@thanaus
cela fait plusieurs jours que ton plugin est en place chez moi pour faire une synchro en FTP vers un hébergement extérieur. Globalement cela fonctionne mais de temps en temps le synchro se plante pour x raisons ce qui fait que comme je lance la synchro 1 fois par jour, le lendemain je me retrouve avec 2 tâches actives et je pense que ça plante toute la synchro. Donc je suis obligé de tuer les 2 tâches en SSH pour relancer la synchro.
Si tu pouvais remédier à cela ça serait super !
Par exemple ne pas lancer la tâche suivante et si elle est toujours en cours il faudrait la tuer avant de la relancer. Dans mon cas il s'est écoulé 24h donc si elle n'est pas fini c'est qu'il y a eu un pb.

[Yoan]

Salut !

Je viens d'essayer de tester ce plugin et je sèche !
J'ai
- créé un répertoire "Jeedom" dans ma dropbox
- récupéré un access token en créant une app dans mon compte dev (full access)
- installé le plugin, les dépendances, paramétré ce token, et créé un nouvel équipement avec une commande de copie de /var/www/html/backup vers /Jeedom
- testé la commande en mode debug et il a l'air de ne voir aucun des fichiers (alors que lorsque je tente un ls j'ai bien 4 fichiers qui attendent)
voici les logs :

Code : Tout sélectionner

[2017-10-30 09:47:12][ALERT] : Starting task (Dropbox Backup/backup #188)
[2017-10-30 09:47:12][DEBUG] : execute:: pid:'4279' rclone:'/var/www/html/plugins/cloudsyncpro/3rparty/rclone-v1.37-linux-arm64/rclone -v --log-file /var/www/html/core/class/../../log/cloudsyncpro.#188 --config /var/www/html/plugins/cloudsyncpro/core/config/rclone.conf copy \'/var/www/html/backup\' 43:\' /Jeedom\''
[2017-10-30 09:47:22][DEBUG] : execute:: statistics:array (   'Errors' => '0',   'Checks' => '0',   'Transferred' => '0',   'Elapsed time' => '700ms',   'Bytes Loaded (Speed)' => '0 Bytes (0 Bytes/s)', )
[2017-10-30 09:47:22][ALERT] : Task finished (Dropbox Backup/backup #188) : Errors (0), Checks (0), Transferred (0), Elapsed time (700ms), Bytes Loaded (Speed) (0 Bytes (0 Bytes/s)), 

la tâche 188

Code : Tout sélectionner

::::::::::::::
/var/www/html/log/cloudsyncpro.#188
::::::::::::::
2017/10/30 08:49:08 INFO  : Dropbox root ' /Jeedom': Modify window is 1s
2017/10/30 08:49:08 INFO  : Dropbox root ' /Jeedom': Waiting for checks to finish
2017/10/30 08:49:08 INFO  : Dropbox root ' /Jeedom': Waiting for transfers to finish
2017/10/30 08:49:08 INFO  :
Transferred:      0 Bytes (0 Bytes/s)
Errors:                 0
Checks:                 0
Transferred:            0
Elapsed time:       800ms

Merci d'avance de ton aide

[thanaus]

Bonjour

Merci à tous pour vos retours ! Cela va permettre d'améliorer le plugin et d'être ainsi plus en accord avec vos besoins et l'utilisation que vous en avez. Comme déjà indiqué, la prochaine version intégrera un garde-fou afin de ne pas pouvoir lancer 'x' fois la même commande alors que l’exécution précédente n'est toujours pas terminée !

@jackouille : peux-tu me donner les logs de la commande quand elle reste en cours d’exécution ? J'aimerais savoir si c'est un problème provenant de mon plugin ou un problème du binaire 'rclone'. Dans ce cas, je pourrais remonter le problème à l'auteur du binaire.

[thanaus]

@Yoan : merci pour ton retour

Au vu de tes logs, j'ai l'impression que le token n'est pas correcte.
Peux-tu créer une commande 'liste' et vérifier dans les logs de cette commande si tu visualises les fichiers qui sont sur ton Dropbox ?

[sber74]

Yep le coup de la régénération de la clef Dropbox avait bien fonctionné pour moi.

Communauté G+ "Domotique Canada"

[Ninouness]

Salut,

Suite à un besoin de restauration qui s'est soldé par les problèmes de droits que tout le monde connait actuellement, voir sujet relatif ici :
viewtopic.php?f=152&t=27615&p=537114&hi ... ed#p537114

J'ai maintenant ses erreurs (de droit aussi je suppose) lors du lancement de la copie de ma sauvegarde :

Code : Tout sélectionner

2017/10/31 09:01:27 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Modify window not supported
2017/10/31 09:01:27 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for checks to finish
2017/10/31 09:01:27 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for transfers to finish
2017/10/31 09:01:27 ERROR : .htaccess: Failed to copy: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:27 ERROR : Attempt 1/3 failed with 1 errors and: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:27 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for checks to finish
2017/10/31 09:01:27 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for transfers to finish
2017/10/31 09:01:27 ERROR : .htaccess: Failed to copy: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:27 ERROR : Attempt 2/3 failed with 1 errors and: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:28 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for checks to finish
2017/10/31 09:01:28 INFO  : ftp://mafreebox.freebox.fr:21/Disque dur/Domotique/Backups Jeedom: Waiting for transfers to finish
2017/10/31 09:01:28 ERROR : .htaccess: Failed to copy: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:28 ERROR : Attempt 3/3 failed with 1 errors and: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.
2017/10/31 09:01:28 Failed to copy: update stor: 550 /Disque dur/Domotique/Backups Jeedom/.htaccess: access denied.

On tape là dans un domaine que je ne maitrise pas du tout.
Peux tu me guider dans les corrections que je dois faire s'il te plait ?

NB : le listing et la suppression de fichiers sur le ftp fonctionne.

[thanaus]

@Ninouness

Peux-tu faire la commande suivante :

Code : Tout sélectionner

ls -al /var/www/html/backup

[fa_liege]

Salut Thanaus.

Bon boulot pour la communauté ça.
Est-ce que le support de Google Drive est toujours dans tes projets ?



Envoyé de mon Redmi Note 3 pro en utilisant Tapatalk

[thanaus]

@fa_liege

Le support de Google Drive est toujours dans mes projets et ce sera même le prochain stockage que je prendrais en compte.
Il y aura une annonce sur ce topic dès que ce sera prêt.

[Ninouness]

@thanaus

Peux-tu faire la commande suivante :

Code : Tout sélectionner

ls -al /var/www/html/backup

Voici le résultat :

Code : Tout sélectionner

total 253272
drwxrwxr-x  2 www-data www-data      4096 Oct 31 03:59 .
drwxrwxr-x 18 www-data www-data      4096 Oct 31 10:00 ..
-rwxrwxr-x  1 www-data www-data 129738813 Oct 30 23:25 backup-Jeedom_Ninouness-3.1.7-2017-10-28-03h59.tar.gz
-rw-r--r--  1 www-data www-data 129589340 Oct 31 04:00 backup-Jeedom_Ninouness-3.1.7-2017-10-31-03h59.tar.gz
-rwxrwxr-x  1 www-data www-data        30 Oct 30 22:06 .htaccess

[thanaus]

@Ninouness

Les droits étant correctes à la source (droit en lecture), il y a donc un problème de droit sur le serveur FTP pour ce fichier.
Le plus simple pour ma part est de le supprimer par un outil tiers (FileZilla par exemple). Il sera alors copié sur ton serveur à la prochaine exécution de la commande...

[Ninouness]

@Thanaus

Merci pour ta réponse.

Je constate plusieurs points étranges :
- la copie de la sauvegarde se fait bien malgré les erreurs (c'est idiot mais j'avais pas pensé à regarder).
- rien n'a changé sur le serveur FTP, c'est une Freebox que je n'ai pas touchée récemment.
- cela se produit depuis que j'ai refais une installation et restauration de la sauvegarde mise au chaud grâce à ton plugin.
- cette restauration n'a pas été sans soucis (de droits en l’occurrence) et ces logs semblent justement indiquer un problème de droit.

En écrivant et en relisant ces logs une nouvelle fois (comme quoi ça aide d'écrire) je viens de comprendre que l'erreur ne concerne pas la copie de la sauvegarde mais la copie du fichier .htaccess dont j'ai surement modifié les droits en corrigeant l'ensemble des droits à l'arrache pour récupérer l'accès à Jeedom.

Et là, je me suis souvenu de pourquoi je suis très content de ton développement : l'exclusion de fichier !
J'ai paramétré l'exclusion du .htaccess (je n'avais pas besoin de le faire avant cette restauration) et voilà pas besoin de chercher plus loin, il n'y a plus d'erreur.

J'ai pris le temps de rédiger tout ça pour partager mon expérience avec les novices comme moi, j'espère ne pas polluer le sujet.

A bientôt et encore merci !!!!

[Yoan]

@Yoan : merci pour ton retour

Au vu de tes logs, j'ai l'impression que le token n'est pas correcte.
Peux-tu créer une commande 'liste' et vérifier dans les logs de cette commande si tu visualises les fichiers qui sont sur ton Dropbox ?

Salut,

La commande liste fonctionne correctement, je vois bien un fichier de test que j'ai mis à la main dans le dossier Jeedom

Par contre deux remarques supplémentaires :
- la commande liste n'a pas l'air de prendre en compte le paramètre "Destination"
- impossible d'accéder depuis l'interface au log des tâches, je suis obligé de passer par "more /var/www/html/log/cloudsyncpro.#198"

Merci d'avance,

Y.

[thanaus]

@Ninouness

Le plugin a pour but de sauvegarder au maximum les données indiquées par le répertoire source. Dans ton cas, il y a plusieurs fichiers mais seul les droits d'accès du fichier .htaccess sur le stockage distant posent problème.
Comme tu peux le constater dans tes logs, le binaire essaye 3 fois la même exécution au cas ou un simple problème de connexion est détecté.
Pour ton information, l'exclusion est fonctionnelle mais le fichier posant problème est toujours présent sur le stockage distant.

Merci pour ton retour et tu n’étais en aucun cas HS vu que tu apportais une expérience utilisateur à ce plugin !

[thanaus]

@Yoan

Peux-tu être plus précis pourquoi la commande liste ne prendrait pas en compte le répertoire distant ?
En effet, elle s'est normalement bien exécuté vu que tu as pu voir les fichiers sur ton dropbox.

Tu es la deuxième personne a ne pouvoir voir le contenu d’exécution des commandes par le biais de l'interface Jeedom.
Je n'ai pas pour ma part ce problème. Utilises-tu l'utilisateur admin ou un autre utilisateur que tu aurais créé ?

Peux-tu exécuter les commandes suivantes :

Code : Tout sélectionner

ls -al /var/www/html
ls -al /var/www/html/log