Montage serveur domotique

[benj29]

Mais je n'aurai pas assez avec les 2 pauvres SSD pour faire mes VM.
Je dois avoir :
- snips sur une debian 9,
- jeedom sur une debian 8 ou 9 (je vais en profiter pour monter en 9),
- zoneminder sur une ubuntu 16.

A mon avis, il faut au moins :
- snips : 32 Go,
- jeedom : 64 ou 128 Go (pour être tranquille),
- zoneminder avec le stockage caméra, pareil je pense. Soit de visu au moins 300 Go !

Donc deux disques Raid 1 en 500 Go 7200 tours me paraissent pas déconnants.

Par contre, oui pour le backup, je tourne déjà sur mon NAS (qui centralise tous les backups de Jeedom et autres).

Pour l'OS, je pense mettre 2 disques en RAID1 pour être tranquille (surtout que pour le prix je peux en acheter un d'avance au cas où).

[Jeandhom]

Mais j'ai surtout un contrôleur raid matériel et je trouve bête de ne pas l'utiliser.

Le raid matériel n'est pas forcement une bonne idée.

Pour qu'il soit performant, il faut que la carte soit performante.
Les raids matériels avec le chipset de la carte mère sont souvent décevant.

En cas de changement du contrôleur raid ou de sa panne, les médias sont illisibles sauf à retrouver le même contrôleur.

[benj29]

Remarque pertinente ... mais ça va la carte contrôleur de mon serveur coûte 15 à 30e d'occasion...

Bref, je pense qu'il faut que j'essaie en gros.

Y a des outils pour performer cela et vous remonter des scores de manière à avoir des avis ?

[Nibb31]

Les VM, ce sont des disques système, donc tu y gagnes à les mettre sur un SSD. Surtout qu'il n'ont pas besoin d'être gros. Jeedom tient facilement dans un disque de 16Go si tu conserves les sauvegardes sur le NAS. Pareil pour zoneminder, la VM ne doit contenir que le système et les données vont sur le NAS. Avec un SSD de 240 Go, tu as largement de quoi voir venir.

Le RAID, c'est pour de la redondance. On l'emploie en entreprise pour de la haute disponibilité, pas pour protéger les données. Ce n'est pas une sauvegarde et ça ne protège pas contre les effacements accidentels, les virus, la panne de l'ordi ou du contrôleur, la panne de deux disques, ou la corrosion des données, sans compter le vol, l'incendie ou l'inondation. Bref, le RAID donne un faux sentiment de sécurité et ne remplace pas un vrai backup.

Ce dont tu as besoin en tant qu'utilisateur domestique, c'est d'une sauvegarde, pas de la haute disponibilité.

Je te conseille plutôt de regrouper tes disques dans un pool, avec mergerfs par exemple (4x500Go apparaissent comme un gros disque de 1To, tout en restant 4 disques distincts), et de répliquer les données importantes entre le NAS et ton serveur par exemple, avec rsync.

[fwehrle]

32Go pour snips? Pourquoi faire?? J'ai mis 16, mais n'en utilise que 18% stable.
Idem pour jeedom : je tourne avec 16 rempli a 50%, alors que j'ai un très gros jeedom.
Je backups les images des caméras de jeedom sur le nas toutes les nuits et n'en garde que quelques jours sur jeedom. Idem pour les backups.
Et avec proxmox, si tu pars sur des disque lvm, tu peux les redimensionner facilement par la suite.
Je suis aussi d'avis de ne pas mettre de raid avec moins de 4 dd. Et seulement pour faciliter les changements en cas de panne. Pas pour simuler un backup. Je fais un backup sur nas (VM et backup applicatif) toutes les nuits, sans éteindre les VM ET sur dd externe USB (rack) sur le nas en décalé (pour les erreurs de suppression) et permuté tout les mois et stocké ailleurs. Ça coûte rien, et c'est ceinture bretelles.

[benj29]

En fait plus je vous lis et je me dis :

- pourquoi garder mon nas qnap ?

Si je migre mes 4x4 To red sur le contrôleur de disque raid 5 dédié ... je pourrais tout faire directement sur le même serveur,

- j'achète un ssd de 300 go pour les VM et je garde un ssd de 128 Go pour les backups et un pour l'OS par exemple en interne sans aucun raid donc.

Ainsi je n'utilise plus qu'un seul et même serveur. Je me dis qu'un Xeon 2.6 GHz avec 32 Go de RAM ça doit suffire pour faire tout sans aucun ralentissement quand même.

Mes besoins et les questions - peut-on attribuer des ressources aux VMs (comme sur VM de QNAP ?)

- VM Debian 9 Jeedom : je prévois quoi ? 8 Go de RAM et 16 Go de disque.
- VM Debian 9 SNIPS : là encore 4 Go de RAM et 16 Go de disque.
- VM Ubuntu 16 Zoneminder : là mes essais sur QNAP font que j'y viens ... car j'ai besoin de ressources. En 640x380 avec 8 caméras (tablettes, extérieures, intérieures, motion détection pilotée via Jeedom quand absent), les ressources explosent et mon pauvre QNAP sature... donc là j'espère que ça ira.
- Serveur PLEX pour la maison : vidéo, photos, audio.

Intérêt de mettre l'OS proxmox sur un SSD petit (128 Go par exemple) et les VM sur un SSD plus gros (300 Go) ?

Ensuite, si je démarre tout ça déjà, j'ai possibilité sans tout me réinstaller (il y a pas de paramétrages spéciaux ???) pour activer le contrôleur matériel RAID et passer mes 4x4To de mon QNAP sur ce serveur ?

Dans ce cas, exit le NAS et je peux mettre acheter quelques pièces d'occasion pour prévoir une panne (type une carte contrôleur par exemple).

[Nibb31]

Effectivement, si tu as la place (espace physique et prises SATA) pour mettre ton stockage dans le serveur, tu n'as plus besoin de NAS.

Pendant longtemps, j'ai utilisé OMV dans une VM dans mon serveur Proxmox (attention, comme pour Jeedom, il faut obligatoirement une vraie VM Qemu pour le passthrough des disques et pas un conteneur LXC). Maintenant, je gère juste un service Samba, MergerFS, et SnapRAID directement dans Proxmox.

- Je t'assure que ton SSD de 120 Go suffit largement pour commencer. On parle du monde Linux ici: Le système tient généralement dans moins de 4Go. A l'installation, Proxmox te partionne automatiquement ton SSD en LVM avec un espace pour les VM et un autre pour son propre système. Tu peux allouer 8, voire 16Go, à chaque VM pour être tranquille, mais je t'assure que tu n'as pas besoin de plus. A titre d'info, voilà ce que j'ai alloué à mes propres VM:
Conteneurs LXC:
- PiHole + Serveur NGinx: RAM 128Mo, Disque 8Go (rempli à 20%), 1 cores.
- Plex (avec transcodage): RAM 2Go, Disque 12Go (rempli à 60%), 4 cores.
- Motion (LXC): RAM 512 Mo, Disque 4Go (rempli à 40%), 2 cores.
- Sonarr: RAM 1Go, Disque 12Go (rempli à 60%), 2 cores.
- Logitech Media Server: RAM 256Mo, Disque 8Go (rempli à 18%), 1 core.
- Transmission: RAM 256Mo, Disque 4Go (rempli à 40%), 2 cores.
- Nextcloud: RAM 2Go, Disque 8Go (rempli à 30%), 2 cores.
VM Qemu:
- Jeedom: RAM 2Go, Disque 16 Go (rempli à 30%), 2 cores.

Comme tu vois, tout ce monde tient dans un SSD de 120Go et 8Go de RAM. Dans l'idéal, je devrais monter à 16Go de RAM, mais la conso mémoire tourne autour de 5Go au total, donc ce n'est pas vraiment nécessaire. Je serais plus à l'aise avec un SSD de 120Go, mais là ça va encore.

A coté, sur le même serveur, j'ai 8 To de stockage (3+3+3+2To avec SnapRaid et MergerFS) qui contient les données pour tout ce petit monde ainsi que les sauvegardes des VM.

La machine (basée sur un i7 de laptop) tourne entre 50 et 60W de conso environ.

[benj29]

Arf, ton retour est génial.

Bon, j'ai commandé un 300 Go en promotion, c'est pas la ruine.
Je garde mon 128 Go en SSD pour proxmox.

J'attends le processeur et la ram que je devrais avoir fin de semaine, donc semaine pro je pourrais me lancer.

Je vais y aller en deux temps.
On va commencer par l'aspect serveur domotique : jeedom, snips (où j'ai encore tout à faire), zoneminder.

HS : @nibb, tu utilises motion ? j'utilise zm car je n'ai pas réussi à utiliser motion via le plugin du forum. Mais comment fais-tu le lien Jeedom/Motion ? Tu m'intéresses car je n'arrive pas à avoir la puissance de zm et l'intégration de zm dans jeedom (surtout pour notifier une détection).

Ensuite, je vais tenter d'ajouter la thématique nas : nextcloud, transmission avec vpn (va falloir m'aider, je n'avais pas réussi à mettre en place un vpn dédié pour transmission) et faire les liens qui vont bien pour stockage vidéos/backup de la partie domotique.

Oui, sur ce serveur physique, je peux mettre jusqu'à 4 disques physiques et 4 SSD au bas mot... et j'ai une alim redondante

Je ne maitrise pas l'aspect Qemu, LXC, mais je me doute que ça se règle lors de la création des images.

[Nibb31]

J'ai une VM qui contient Debian avec MotionEye, qui est l'interface graphique pour Motion. Je trouve que c'est beaucoup plus léger que ZM, et plus efficace. Chaque caméra a sa propre URL qu'on peut rajouter dans un design facilement. Lorsqu'il y a un mouvement détecté, Motion peut appeler une URL, donc aucun problème pour lancer un scénario dans Jeedom.

Proxmox permet de créer deux types de VM. Soit Qemu, qui est une vraie VM totalement indépendante basée sur KVM, soit des conteneurs LXC qui partagent les ressources avec le système hôte (similaire à Docker). Les conteneurs LXC sont plus légers en ressources, mais ne permettent pas le passthrough hardware (USB, disques, PCI, etc...)

[propositionjoe]

Salut,

Content que tu sois convaincu par proxmox,
Je te laisse comme l'a fait très proprement @Nibb31 ma conf proxmox:

vm0: jeedom avec 2 CPUs, 5go de RAM, disque de 16go
vm1: multimedia avec 1 CPU, 1go de RAM, disque de 8go (base sql centralisée pour mes kodis)
vm2: autodl avec 2 CPUs, 5 go de RAM, disque de 16go pour l'os + 50go données (tous les services sous docker, radaar, couchpotato, sonarr...)
vm3: services-web avec 2 CPUs, 5go de RAM, disque de 16go pour l'os + 150go de données (les service web php et sql: nextcloud, wallabag, selfoss...)
vm4: unbound0 avec 1 CPU, 2go de RAM, disque de 16go (dns)
vm5: grafana avec 1 CPU, 5go de RAM, disque de 32go (des beaux graphiques)
vm6: transmission avec 1 CPU, 2go de RAM, disque de 8go (les dvd de tonton)
vm8: unbound1 avec 2 CPUs, 2go de RAM, disque de 16go (dns)
vm9: snips avec 1 CPU, 500mo de RAM, disque de 16go

Matériel:
4 * 4to dd
1 ssd nvme de 256go comme cache des dd
2 ssd de 32go pour proxmox
1 ssd de 500go pour les vm

Une remarque: si tu veux te lancer dans nextcloud, envisage l'espace que tu auras besoin avant d'avoir tout configuré aux petits oignons. Aussi ayant fait le choix de tout laisser dans la vm qui héberge nextcloud, elle a donc un disque de 150go ce qui alourdi le ssd et les backups.

Une remarque supplémentaire: je crève les plafonds niveau ram, puisque j'utilise zfs pour prendre soin de mes données. Mais c'est un autre débat.

[benj29]

C'est vrai que j'avais oublié que tu faisais du beau grafana
Non je vais me limiter à Jeedom...
je connaissais pas autodl... c'est quoi ce truc de fou pour dvd tonton ????

Alors nouveaux lots de questions :

- kesako cache des HDD ? Car vu que j'ai un SSD de 128 Go sur les bras, je peux l'utiliser ?
- nextcloud, je vais perdre si je quitte mon qnap tous les outils pour accéder au contenu distant. Cependant, je ne vais pas migrer tout de suite mon QNAP vers ce serveur, on faire dans l'ordre. Que dois-je prévoir dans mon setup actuel ?
- motioneyeos : si je comprends bien, tu me dis que tu fais tourner un debian 9 (je présume), motion et cette interface graphique motioneye. Intéressant, c'est marrant ça ne ressort pas du tout sur le forum cette possibilité. A creuser.

pour rappel :
- un ssd 300 Go pour les images VM,
- un SSD 64 ou 128 Go (faut je vérifie) pour l'OS Proxmox,
- un autre dispo (puisque j'étais parti en RAID 1 au début).

[Nibb31]

@propositionjoe: Je vois que tu as tout mis en VM Qemu. Le gros avantage des LXC, c'est que tu peux monter un disque/répertoire de l'hôte comme un répertoire sur le LXC de façon complètement transparente. Donc, mon gros pool de stockage (mes 8To sur mergerfs) sont gérés sous Proxmox. J'y ai un répertoire "/storage/cloud" qui est monté directement dans le conteneur Nextcloud (pareil pour Plex, Transmission, Motion, etc...). Donc, le conteneur Nextcloud n'utilise que 8Go sur le SSD pour son système, et utilise le stockage quasi-illimité qui est sur l'hôte. Bien sûr, le backup Proxmox ne sauvegarde que les 8Go, pas le stockage monté.

@benj:
- Oui, tu peux utiliser le SSD, il sera automatiquement partitionné avec une partie pour héberger les VM, que tu le veuilles ou non (l'installeur Proxmox ne laisse pas le choix). De toutes façons, le système Proxmox utilise moins de 8 Go sur le SSD.
- Pour nextcloud, voir ci dessus: Il y a des tutos pour installer Nextcloud avec PHP, Nginx, etc.... c'est pas super simple.
- Motioneye (pas MotioneyeOS, qui est une version standalone pour RPi) s'installe sur n'importe quel Linux. J'utilise Debian (stretch) pour toutes mes VM. Je le trouve beaucoup plus simple et élegant.

[benj29]

Merci nibb.
Par contre ma question ssd était pour propositionjoe car je vois qu'il parle d'un ssd pour les disques en raid et du coup je me posais la question d'utiliser le ssd qui me reste sur les bras.

Je me permettrai de revenir poser des questions au fur et à mesure de la configuration de mon serveur.

Merci à vous.

Envoyé de mon Moto G (5S) Plus en utilisant Tapatalk

[benj29]

Alors là, en 1h15, j'ai installé une VM debian 9, installé motion, motion eye, configuré mes caméras et je vais pouvoir attaquer la détection de mouvement, la vache ! Sérieux, ZM, shinobi, faut tout laisser tomber...

Et surtout surtout, la virtualisation se balade ! J'ai mis 1024 Mo avec un CPU... ça dépasse pas 25%. Je suis bluffé...
J'ai mis un start/end command via le lien jeedom d'une action 1/0 binaire qui génère un télégram d'une photo.
Je reste sur le cul désolé...
Moi qui me faisait chi*r avec ZM, Shinobi etc.

Petite question HS à vous qui utilisez MotionEye, vous avez mis quoi en paramètre ?


Seconde question, je ne vois pas la possibilité d'activer ou non le motion depuis l'extérieur, un peu comme dans ZM façon mode monitor, modet (monitor+détection) etc.

EDIT : et voilà en 2h j'ai mis en place motioneye, la vache, détection de mouvement, push à jeedom, scénario télégram en place sur toutes mes caméras. Je suis preneur de vos retours de configuration.

[poluket]

la conclusion de tout cela, vive proxmox

[benj29]

la conclusion de tout cela, vive proxmox

Euh on va pas abuser, je parle juste de motioneye sur ma VM QNAP

[Nibb31]

Le gros inconvenient de Motioneye, c'est qu'on ne peut pas activer/désactiver la détection à distance.
Tu peux quand même te débrouiller en activant/désactivant l'action de Jeedom en cas de détection, mais ce serait mieux si MotionEye avait une API HTTP.

[benj29]

Bon j'ai récupéré mes ssd, dégager les vieux hdd morts, remplacer le ventilateur hs et une alimentation redondante, remplacé le processeur par un xeon x3450... Et je butte sur trouver de la ram compatible. Une des 2 barrettes est morte. Il me manque un doubleur d'alimentation sata aussi que j'ai commandé.

Je veux passer de 8g à 32g mais c'est super évident. J'ai trouvé des magasins et la liste d'équivalence sur le site de Dell... Maintenant j'attends les barrettes.

Envoyé de mon JSN-L21 en utilisant Tapatalk

[propositionjoe]

Merci nibb.
Par contre ma question ssd était pour propositionjoe car je vois qu'il parle d'un ssd pour les disques en raid et du coup je me posais la question d'utiliser le ssd qui me reste sur les bras.

Je me permettrai de revenir poser des questions au fur et à mesure de la configuration de mon serveur.

Merci à vous.

Envoyé de mon Moto G (5S) Plus en utilisant Tapatalk

Salut,
J'avais raté ta question.

Le ssd avec le raid c'est dans le cas d'une utilisation avec un système de fichier sous zfs.
https://pve.proxmox.com/wiki/ZFS:_Tips_ ... nce_system
Dans le cas d'une utilisation "normal", ce n'est pas loin de là indispensable.

Pour la différence entre qemu et lxc;
lxc présente l'avantage d'être beaucoup (vraiment beaucoup) plus léger pour l'hôte,
Mais ça impose de bien maîtriser l'outil (ce que je n'ai jamais pris le temps de faire),

Pour le montage d'un dossier de l'hôte (qui fait nas) dans une vm, c'est possible simplement avec nfs;
Et j'en fait d'ailleurs un usage immodéré.

Maintenant pour décrire la conf idéale (quelle taille de ssd, dd, ram...),
C'est compliqué parce que ça dépend de choix personnel, de ses propres exigences, et des soucis qu'on rencontre au fil de l'eau:
J'ai un ssd de 500go pour mes vm rempli à 50% (la vm nextcloud y étant pour beaucoup), parce que je souhaite pouvoir l'exporter facilement:
Si le serveur plante, je n'ai qu'à déployer le backup ailleurs. Cela n'est pas possible aussi facilement si les données de cette vm sont en plus sur l'hôte.

La bonne nouvelle, c'est que tu as investi dans un vrai serveur, tu as donc toutes latitudes pour adapter tes choix initiaux à tes besoins dans le futur.

Amuse toi bien!

[dcjona]

Je profite de ce sujet actif pour rebondir car je suis dans le même cas que Benj29.

j'ai installer proxmox sur un hystou et c'est juste génial..

première question ( j'ai suivi le tuto sur touteladomotique qui sont bien détaillé) mais je vois qu'il parle de Installation de Jeedom (sur conteneur LXC unprivileged) hors ici je vois VM qemu.. lequel est le plus approprié? (désolé questin de noob je débute avec la virtualisation)