Oui, au fil du temps, j’ai accumulé 1 To de données dans le « cloud ».
Enfin, pas tout à fait le Cloud puisqu’il s’agit d’un serveur dédié, rien que pour moi, dont je suis totalement maître (pas fou), dans un datacenter.
Mais le principe est le même : au fur et à mesure, j’ai envoyé mes données à sauvegarder sur ce serveur, jour après jour. Et le disque est maintenant plein ! 240 octets, soit 1 024 Go, ou encore 1 048 576 Mo.
Et je fais quoi, maintenant ? Détruire mes sauvegardes distantes ?
J’ai donc résilié (fin de mois) ce serveur pour un autre, muni d’un disque de 2 To, le double…
Oui, mais voilà, il faut transférer cette masse de données !
En principe, il faut tout rapatrier localement (download), puis tout retransférer (upload) vers le nouveau serveur/disque…
Et là, on voit ce que « débit » d’une ligne internet veut dire !!!
Ce qui se faisait au fil de l’eau, et qui était (presque) admissible et praticable devient un enfer.
Sur une ligne ADSL ordinaire et asymétrique (en France, le débit moyen descendant est, aux dernières nouvelles, de 9,599 Mbps*, soit 1,2 Mo/s, et le débit montant d’environ 1/10e du download).
(Source Akamai*, capture 29/09/2016-17h45)
Comme Français « moyen », il me faudrait donc 243 heures (presque 11 jours) pour tout récupérer, et 2 430 heures (oui), pour tout renvoyer, soit environ 111 jours ininterrompus au total. Et encore, si tout se passe bien, ce qui est rarement (jamais) le cas.
Mais heureusement, les deux machines, l’ancienne et la nouvelle, se trouvant dans le même datacenter, je réalise le transfert de serveur à serveur, comme dans un réseau local… Et là, je suis presque à 100 Mbps !
L’opération, toujours en cours, ne devrait donc durer « que » 24 heures…
Avec cette astuce, je ne suis donc pas un Français… Moyen !;-)
Vignette : « Oui, en mode texte, un Rsync sous Linux » © PF/Grinçant.com (2016)
© PF/Grinçant.com (2016)
PS : Et, bonne nouvelle, au moment où je valide ce billet, le transfert (commencé hier) vient juste de se terminer ! Je vais pouvoir restituer mon ancien serveur, pour demain 30/09, minuit.
Attention, ces durées ne sont que théoriques. En réalité, c’est plus lent, notamment sur les petits fichiers.
Enfin, je précise que mon débit (VDSL ou 4G) était plus élevé pour faire faire les sauvegardes à transférer…
Billet en rapport : J’ai testé : La 4G chez Bouygues Telecom, Free et Orange
*{Édit 26/01/2020 — PF/Grinçant.com : La page externe n’existe plus, lien remplacé par archive Wayback Machine}
Bonjour. Ça sert à quoi d’avoir 1To de données dans un data center positionné en Finlande pour profiter de la Fraîcheur. De ça aussi nous crèverons, à force d’énergie gaspillée. Demain 2To, puis 3, jusqu’où ?
Cordialement, bien sûr.
1 To, oh, vous savez, c’est vite fait, et c’est d’autant plus vite fait quand l’on parle de « sauvegardes », ce qui est le cas ici, dès le titre…
Mais je vais y revenir, je pense, au fil des commentaires.
Tenez, et je pense que ça transparait (un peu) sur ce blog, je fais de la photo (amateur), et rien que là, j’en ai pour plus de 300 Go ;-)
Et si je faisais de la vidéo, 1 To, ça ne pèserait vraiment pas lourd.
D’ailleurs, nous sommes à une époque où le moindre disque dur du commerce fait au moins 500 Go, et l’on ne se rend même pas compte de la problématique de la duplication/sauvegarde de tout ça.
On n’arrête pas de nous bassiner avec le « Cloud », et je voulais montrer à quel point c’était inepte dans bien des cas, ne serait-ce qu’à cause du débit internet en France pour la majorité des gens.
Par ailleurs, je ne suis pas Mme Michu dans ce domaine, ni même un Français… moyen !;-)
PS : Ce serveur est en France, pas en Finlande ;-) Quant aux disques durs, rien qu’en local, pour les seules sauvegardes (avec compression quand c’est possible) j’ai du 2 To, et en plus, pour l’archivage, des DVD Blu-Ray (BD-R) à 25 Go la pièce, mais avec ça, on ne va pas loin ;-P
Je vois que je n’ai pas répondu sur un autre aspect.
Les sauvegardes « distantes » sont indispensables dans certaines situations, en complément de sauvegardes « locales ».
En cas de sinistre (incendie, vol, etc.), on est bien content de les avoir ;-)
Autre avantage : elles sont accessibles de partout, uniquement avec un log et un mot de passe ;-)
1 To de données… c’est énorme, qu’est-ce que vous pouvez avoir pour que ça prenne tant de place ?
J’espère que c’est pas les log de votre serveur web ;-))
Sinon, si vous avez 2 machines dédiées, vous devez toujours pouvoir faire un FTP de l’une à l’autre (ou plus en passant par SSH). Il est évident qu’une ligne ADSL (qui est une techno pour un particulier) ne suffira pas vu que vous êtes sur un volume de professionnel.
Eh non, ça n’est pas énorme, c’est d’ailleurs ce que je viens d’expliquer à Soimeqchau, juste au-dessus ;-)
En plus, le concept de « sauvegardes » est bien particulier, car les données doivent être stockées par jeux multiples, et l’on doit normalement avoir du J-1 à J-7, ainsi que du J-15, et du J-30.
En cas de restauration, par exemple suite à une infection virale, il faut pouvoir remonter, au moins partiellement, à un jeu « sain », et les sauvegardes les plus récentes peuvent être infectées.
Donc, 1 Go de données peut très vite en faire 10 en sauvegardes & archives.
Pour les logs, vous plaisantez, mais c’est un point remarquable, puisque la mise à jour est permanente (à chaque visite, cela créée plusieurs logs), et ça ne s’arrête que lorsque le site est down ou affiché comme « en maintenance » (et encore, un serveur étant sollicité pour une multitude de choses). Par ailleurs, dans la majorité des pays, il y a obligation légale de les conserver (1 an pour la France).
Donc, pour un site qui tourne bien, une sauvegarde faite à 13h00 est très largement obsolète à 14h00…
Idem pour les commentaires… Je n’ai pas fait de sauvegarde depuis ce matin, donc si le disque dur de mon serveur dédié part en sucette, votre commentaire disparaitra, puisqu’il ne figure pas dans ma dernière sauvegarde. C’est du reste pour cela que le serveur qui héberge maintenant Grinçant est en « Raid », c’est-à-dire qu’il y a un deuxième disque dur qui est le « miroir », en temps réel, du principal. En cas de défaillance d’un disque, le disque HS est changé par l’équipe technique du datacenter, et il est « reconstruit » au redémarrage par rapport à celui qui est OK.
Pour ce qui est du FTP, il y a de meilleures solutions, comme un Rsync entre deux machines. C’est d’ailleurs ce que j’ai fait dans le cadre de ce billet, d’où la vignette « copie d’écran en mode texte sous Linux ».
J’écris qu’il faut rapatrier localement, puis renvoyer sur le nouveau serveur via l’ADSL… Ce qui est totalement impraticable, et c’est l’objet de ce billet qui me permet d’alerter sur au moins un aspect caché du « Cloud ».
Là, je vais (très) vite, car les deux serveurs (l’ancien à 1 To, et le nouveau à 2 To) sont dans la même infrastructure (et mieux, dans le même datacenter), mais si j’avais choisi un autre hébergeur pour le nouveau serveur, je retombais sur la problématique du débit ADSL, même de serveur à serveur (via SCP ou RSYNC pour ceux qui aiment la technique)*, car les données transitaient encore par… Internet !
Oui, sur ce coup, je suis loin du Français « moyen » ;-)
*SCP : Copie sécurisée via SSH – Rsync : Synchronisation des données entre deux machines, commande à utiliser avec prudence, car efface potentiellement des données, en plus du risque d’écrasement.
Encore un autre point à préciser ;-)
Non, la technologie ADSL n’est pas spécialement réservée aux particuliers. Il y a sa déclinaison en VDSL, puis la fibre optique, voire la 3G/4G…
Les lignes spécialisées (ou même à débit symétrique, limité, garanti), hors de prix, ne sont pas envisageables dans des cas comme le mien (et même pour la grande majorité des entreprises). C’est le boulot des datacenters et autres « opérateurs ». Après, il faut utiliser les meilleures procédures pour faire ce que l’on veut faire, en y pensant de manière stratégique et pérenne.
Sauvegarder chaque jour, « au fil de l’eau », via FTP et l’ADSL/la 4G, ça va, mais lorsque l’on a besoin de tout récupérer, là on rigole moins :-/
Si vous avez bien tout suivi, les volumes, surtout en mode « sauvegarde », peuvent vite devenir considérables. On parle aussi de redondance pour les sites critiques (le RAID entre disques n’en étant qu’une partie), avec notamment des transactions financières.
Même ici, dans l’absolu, une sauvegarde horaire des logs (par exemple) ne serait pas suffisante, donc on en vient à multiplier les « jeux » en faisant quelques « impasses »… Heureusement, les logs (qui ne sont qu’un exemple, mais puisque vous en parlez) sont des données qui se prêtent beaucoup à la « compression » (avec un système de « rotation »), sinon le disque d’un serveur serait vite saturé.
Dans ce contexte, même Grinçant. com représente déjà un joli paquet de données, et donc de… Sauvegardes !
Cela dit, en cas de crash, il y aura forcément quelques plumes de perdues, rien qu’en logs et, éventuellement, en commentaires.
PS : J’essaye de rester simple et didactique ;-)
Reçu mail à l’instant…
Ça fait drôle… :-/
On finit par s’attacher à ces choses-là, sans même n’avoir jamais vu sa trombine ;-)
Bonjour, je suis justement en train de chercher une solution de sauvegardes en ligne ayant eu un disque dur de sauvegardes qui a crashé récemment (loi de murphy : en quasi même temps qu’un de mes disques de données ;-)). Pourriez-vous me dire quelle solution vous avez adopté vous qui, n’étant pas un français moyen, devez avoir certainement trouvé une solution supérieure ;-) merci d’avance de votre avis.
Chaque cas est particulier en la matière, mais comme vous parlez de « Loi de Murphy » ;-)
Considérez des jeux multiples, avec dans le lot de la sauvegarde incrémentale, et étudiez avec soin la longévité et la fiabilité des supports.
Si vous avez des données « sensibles », il me semble essentiel d’externaliser un jeu…
Vous pouvez envisager un NAS chez vous, ou tout simplement des disques durs (Ethernet/USB), éventuellement portables.
Pour ma part, c’est un 2 To en USB 3, avec des « copies » de certains fichiers + Sauvegardes incrémentales (et compressées) journalières avec un logiciel dédié (je n’ai que du payant, Acronis & Paragon), et n’oubliez pas de créer un kit de restauration (CD/DVD et/ou clef USB), ainsi que de faire une vérification régulière de vos jeux de sauvegarde. J’ajoute à cela un 1,5 To itinérant, avec cryptage DiskCryptor.
Pour la longévité, et l’aspect sauvegarde/archivage, notamment des photographies, j’utilise des disques Blu-ray (BD-R) de 25 Go, ce qui nous donne un très bon rapport qualité-prix-durée de vie du support. Évitez les SSD pour un usage de sauvegarde, ces disques étant à réserver à un usage quotidien/production et non à de l’archivage.
Pour les sauvegardes externalisées, exit le pur « cloud », d’autant que je souhaite garder (vraiment) la main sur mes données. Donc, serveur dédié, avec transferts par simple SFTP, via FileZilla, mais aussi avec SyncBackPro (payant) pour de la vraie « synchro » (Rsync à voir aussi, notamment dans le monde Linux). Question serveur dédié, mieux vaut prendre une solution « Raid » (soft ou hard), afin de sécuriser vos données, d’autant que refaire un « upload » prend un temps considérable en cas de crash du disque du serveur de sauvegarde. Ce type de serveur peut aussi avoir bien d’autres usages en parallèle…
Pour ma part, je suis client du français OVH depuis des années, et vous avez 3 gammes : KimSufi, SoYouStart, et OVH pur et dur, les prix (et solutions) allant croissants, avec des « recouvrements » quant aux offres.
En outre, je n’hésite pas à « sacrifier », au moins une fois par an, un disque dur de sauvegarde/archivage que je stocke dans un coin. J’en ai certains qui datent de largement plus de dix ans (avec un adaptateur pour pouvoir les reconnecter), et croyez-moi, ça peut servir, en plus d’apporter une certaine « sérénité » après chaque archivage massif/régulier ;-)
Jusqu’à maintenant, ils ont toujours redémarré sans la moindre perte de données. :-)
Si cette réponse peut vous aider ;-)
PS : Ah, j’oubliais… Extrême prudence avec les mots de passe ! Choisissez-les très longs et très compliqués, tous différents. Pour cela, il existe un super outil (libre) qui s’appelle KeePass ;-) Évitez donc les « imitations », souvent payantes, et très risquées, car souvent dans le « cloud ». Confier ses mots de passe à des tiers inconnus est une aberration, d’autant que les scandales de « piratage/fuite de données » sont presque quotidiens (Tu ne vaux même pas des croquettes, mon mYahoo!).
Waow merci beaucoup, je n’en attendais pas tant, c’est génial, ça m’aide beaucoup.
Je vais étudier tout ça. OVH, en effet, en France c’est encore ce qu’il y a de mieux, mais avec Gandi mon coeur balance :)
Merci pour Keepass, je ne connaissais pas, mais j’ai mon propre algo de générateur de mots de passe compliqués et spécifiques à chaque site, et en plus il tient tout dans ma tête :) imparable sauf en cas d’alzheimer …
Tant mieux pour le « waow » ;-)
À vrai dire, c’est aussi un peu mon métier historique, l’informatique…
Avec Gandi, vous aurez peu d’espace disque, et ça n’est pas du « dédié », puisqu’il s’agit d’instances sur des serveurs VPS.
Le Go supplémentaire coûte très cher.
Le dédié, avec un HD d’un à deux To, si possible en RAID, c’est la meilleure solution (selon moi, mais il faut des compétences techniques pour le gérer), pour un coût qui reste finalement très judicieux, d’autant que nous parlons-là de sécurité et même de « Legacy » (patrimoine).
Si votre algo est dans la tête, c’est excellent, et c’est encore la meilleure solution.
Par contre, pour moi, pas d’autre solution que ce que je vous conseille (KeePass ou l’équivalent), car je suis très exposé, et même très attaqué :-/
Exemple de mot de passe (fictif) utilisé sur 96 bits : s|eyRqdU31h9D#yzU/BGB-/s%v’TgI.S6%4GR6H`HZ*Ubeg2:DRreS|qOK3A3&K58O`jiKg137@jI:R2q68J6YpxuE*mUb
Je pense que ça va être dur de vous aligner ;-P
PS : Attention, avec OVH, tout n’est pas rose. Par exemple, fuyez le « cloud » Hubic, c’est une vraie cata, et je sais de quoi je parle !
Merci de toutes ces infos, je pense que je pourrais gérer du Raid si je me plonge dans la doc, l’informatique ne m’est pas étrangère aussi, loin de là. Quand aux MdP, là c’est vrai je ne peux pas lutter, les miens sont quand même beaucoup plus simples et surtout moins longs, mais pas si facile que ça a cracker…
Sur un serveur dédié, le RAID, c’est transparent, tout est configuré dès l’installation.
Si un disque doit être changé par un technicien du datacenter, la reconstruction du nouveau disque (copie de celui qui était resté opérationnel) est normalement automatique, et le serveur remarche dès son redémarrage. Toutefois, le Raid ne sera OK, que lorsque le disque miroir sera totalement « reconstruit » (2 disques identiques et synchronisés), et le temps dépend à la fois de sa taille et du volume de données.
Sur un NAS, c’est aussi assez transparent, mais tout dépend du type de RAID retenu (et du NAS, bien sûr), puisqu’il existe plusieurs modes.
Pour les mots de passe, le principal, c’est que ce soit du sérieux ;-)
Mais longueur et complexité sont quand même deux critères très importants, si possibles à « durcir » simultanément.
Les commentaires sont fermés.