WhatsApp 
Veeam Backup & Replication s’est progressivement imposé comme l’une des solutions les plus plébiscités pour de nombreuses entreprises, assurant la sauvegarde et la restauration de leurs environnements virtuels, physiques et cloud.
Malheureusement, même les systèmes les plus robustes peuvent, eux aussi, faire l’objet de défaillances…
L’un des messages d’erreur les plus critiques auxquels les utilisateurs de Veeam sont parfois confrontés est le suivant : « All instances of the storage metadata are corrupted. ».
Comment interpréter cette erreur et pourquoi est-ce si grave ?
Les métadonnées de stockage Veeam fonctionnent approximativement comme un GPS des sauvegardes. En effet, sans elles, Veeam s’avère totalement perdu, incapable de localiser ou d’assembler correctement les données sauvegardées.
Ce qui rend cette erreur particulièrement alarmante, c’est que Veeam crée normalement deux copies de ces métadonnées précisément pour éviter ce type de situation.
Lorsque le message indique « All instances are corrupted », cela signifie que les deux copies sont inutilisables. C’est comme si votre plan A et votre plan B avaient échoué simultanément.
L’aide d’un spécialiste pour résoudre rapidement ce problème de sauvegarde Veeam, vous sera d’un grand secours.
Quelles sont les causes potentielles de cette corruption de métadonnées ?
Plusieurs facteurs peuvent entraîner cette erreur…
Des problèmes au niveau du stockage de sauvegarde sont une cause fréquente. Cela peut inclure des dysfonctionnements du matériel (disques durs défectueux, contrôleurs RAID en panne), des problèmes de firmware du stockage, ou des soucis de communication, en particulier lors de l’utilisation de partages réseau via SMB sur des NAS bas de gamme qui pourraient ne pas gérer correctement les commandes de synchronisation (FLUSH).
Des interruptions inattendues pendant le processus de sauvegarde, comme un redémarrage du serveur Veeam, peuvent également corrompre les fichiers de sauvegarde.
Dans certains cas plus récents, des problèmes liés à des versions spécifiques de Veeam ou des interactions avec des systèmes de fichiers comme ReFS approchant leur capacité maximale ont été évoqués.
Enfin, une infection par un ransomware ciblant les fichiers de sauvegarde peut également causer des dommages aux métadonnées, ces dernière étant généralement particulièrement ciblées lors d’une attaque… De nombreuses entreprises de taille moyenne se retrouvent confrontées à cette même erreur après une attaque ayant chiffré leurs fichiers VBK.
Notre cellule d’urgence est à votre disposition 24/7/365, pour vous aider dans ce genre de situation.
Face à l’urgence : les premières actions à entreprendre
Si vous voyez cette erreur pendant une tentative de restauration, ne paniquez pas. Votre première action devrait être d’essayer un point de restauration différent. Il est fréquent que seule une partie des sauvegardes soit affectée.
Si l’erreur apparaît pendant une tâche de sauvegarde, voici nos recommandations, basées sur des situations réelles :
- Créez immédiatement une nouvelle chaîne de sauvegarde. C’est la solution officielle de Veeam, et elle fonctionne généralement bien pour isoler le problème.
- Examinez votre stockage. Lancez un CHKDSK (Windows) ou fsck (Linux) pour identifier d’éventuels problèmes sous-jacents. Ce simple diagnostic peut révéler des secteurs défectueux sur un disque non suspect.
- Plongez dans les journaux d’événements. Ils contiennent souvent des indices précieux sur ce qui se passe réellement. Un dépannage approfondi peut révéler des erreurs d’E/S répétées se produisant avant chaque corruption de métadonnées.
- Testez votre stockage en copiant manuellement des fichiers volumineux. Cela peut aider à reproduire et identifier le problème. Cette technique permet parfois de confirmer qu’un contrôleur RAID défectueux est le véritable coupable.
Ne négligez pas les outils intégrés de Veeam, comme SureBackup ou Veeam.Backup.Validator.exe. Ils sont là pour une bonne raison. Un scan complet peut révéler des problèmes avant qu’ils ne deviennent critiques.
Quand tout semble perdu : les solutions de dernier recours
Dans les situations les plus graves, notamment après une attaque par ransomware, des mesures spéciales s’imposent. Recoveo a développé des techniques spécialisées pour récupérer des données à partir de sauvegardes Veeam corrompues.
Nos experts réussissent à extraire des machines virtuelles complètes et des bases de données critiques à partir de fichiers VBK que Veeam lui-même considérait comme irrécupérables. Ces interventions peuvent vraiment faire la différence entre une reprise rapide et un désastre prolongé.
Une innovation technologique constante
Depuis 2019, nous avons développé des outils performants pour optimiser la récupération des sauvegardes Veeam. Notre premier outil, Backup Recovery, nous a permis de restaurer l’intégrité des fichiers VBK et de les rendre exploitables.
En 2023, nous avons développé Backup Extractor, une solution plus avancée, conçue pour apporter une réponse aux nouvelles menaces et à la complexités des attaques par ransomware. Cet outil est désormais capable d’analyser en profondeur la structure des fichiers de sauvegarde, de reconstituer les arborescences et de redémarrer les machines virtuelles sous Microsoft Hyper-V et VMware ESXi, par exemple.
Une approche adaptée aux nouveaux défis
Avec la montée en puissance des ransomwares, il est nécessaire d’innover en permanence. C’est pourquoi, nos experts travaillent sans relâche pour améliorer nos outils et garantir une récupération efficace et rapide des données. Nous couvrons un large éventail de versions de Veeam, de la 6.5 à la 12.1.1, ce qui nous permet d’intervenir sur des infrastructures variées. De plus, notre outil Diagview assure un contrôle d’intégrité post-récupération, offrant une transparence totale sur les fichiers restaurés.
Des interventions en laboratoire ou à distance
Nous proposons deux modalités de récupération : en laboratoire ou à distance.
L’intervention en laboratoire est idéale pour les cas les plus complexes, notamment lorsque les données ont été supprimées de manière définitive.
À l’inverse, la récupération à distance permet une intervention rapide et efficace sans immobiliser les infrastructures, réduisant ainsi les coûts logistiques et assurant une continuité de service. Notre connexion haut débit et l’utilisation de protocoles sécurisés comme le SFTP garantissent la protection et l’intégrité des données lors des transferts.
Grâce à notre savoir-faire et à notre engagement dans l’innovation, nous offrons une solution fiable et performante pour la récupération des sauvegardes Veeam, permettant aux entreprises de surmonter les cyberattaques et de retrouver l’intégralité de leurs données en toute sécurité.
Prévenir plutôt que guérir, les stratégies proactives en amont de la catastrophe
La meilleure façon de gérer cette erreur est évidemment de ne jamais la rencontrer… Voici les pratiques que nous recommandons systématiquement :
La règle 3-2-1 n’est pas négociable. Trois copies de vos données, sur deux supports différents, dont une hors site. Cette stratégie a littéralement sauvé de nombreuses entreprises.
Investissez dans un stockage de qualité. Un serveur professionnel ou un système SAN correctement configuré réduira considérablement vos risques. La différence de fiabilité est remarquable et justifie l’investissement.
Programmez des vérifications d’intégrité régulières. Une corruption détectée tôt peut souvent être isolée avant de contaminer d’autres sauvegardes. Les audits préventifs permettent d’identifier des problèmes naissants qui pourraient devenir catastrophiques quelques semaines plus tard.
Maintenez une surveillance active de votre infrastructure de sauvegarde. Les signes avant-coureurs comme des ralentissements ou des erreurs mineures peuvent annoncer des problèmes plus graves à venir.
Une approche réaliste face à l’inévitable
Des années d’expérience avec Veeam et la résolution de ces situations critiques montrent qu’une approche proactive, combinée à un plan de réaction bien défini, fait toute la différence.
L’erreur « All instances of the storage metadata are corrupted » est certes alarmante, mais elle n’est pas une sentence de mort pour vos données. Avec les bonnes connaissances et ressources, cette crise potentielle peut se transformée en contretemps. Nous sommes à votre disposition pour résoudre ce type de problème, n’hésitez à prendre contact.
FAQ
Plusieurs facteurs peuvent entraîner cette erreur. Des problèmes au niveau du stockage de sauvegarde sont une cause fréquente. Cela peut inclure des dysfonctionnements du matériel (disques durs défectueux, contrôleurs RAID en panne), des problèmes de firmware du stockage, ou des soucis de communication, en particulier lors de l’utilisation de partages réseau via SMB sur des NAS bas de gamme qui pourraient ne pas gérer correctement les commandes de synchronisation (FLUSH). Des interruptions inattendues pendant le processus de sauvegarde, comme un redémarrage du serveur Veeam, peuvent également corrompre les fichiers de sauvegarde. Dans certains cas plus récents, des problèmes liés à des versions spécifiques de Veeam ou des interactions avec des systèmes de fichiers comme ReFS approchant leur capacité maximale ont été évoqués. Une infection par ransomware ciblant les fichiers de sauvegarde peut également causer des dommages aux métadonnées.
Cela suggère que même si la sauvegarde complète initiale a été écrite sans erreur apparente au niveau des données, les métadonnées enregistrées à ce moment-là étaient déjà corrompues ou sont devenues corrompues par la suite. Cela peut indiquer un problème sous-jacent avec le système sauvegardé lui-même ou un problème intermittent avec le stockage de destination qui affecte l’intégrité des métadonnées écrites.
La première étape suggérée par les équipes de Veeam est souvent d’essayer une version BETA plus récente du logiciel, car des correctifs peuvent avoir été apportés. Si le problème persiste, il est recommandé de fournir des informations détaillées sur la configuration de la machine affectée (configuration des disques avec lsblk -af, sortie de dmesg -T, présence de RAID, mode de sauvegarde, cible de sauvegarde et les logs Veeam situés dans /var/log/veeam). Tester une cible de sauvegarde différente (disque USB local, partage NFS au lieu de CIFS) peut aider à déterminer si le problème est lié au stockage de destination. Si d’autres machines avec une configuration similaire sauvegardent sans problème vers la même cible, le problème est plus probablement spécifique à la machine affectée.
Similairement à la version Linux, il est conseillé d’ouvrir un ticket de support pour une analyse approfondie des logs, surtout avec la version gratuite où l’assistance directe est limitée. Cependant, la cause est souvent une corruption au niveau du stockage. Même si les disques durs USB sont remplacés, le problème peut résider dans le NAS auquel ils sont connectés via SMB. L’utilisation de SMB vers un NAS bas de gamme est identifiée comme une source fréquente de corruptions de stockage. La recommandation principale est de réaliser de nouvelles sauvegardes, de préférence vers un nouveau stockage de sauvegarde fiable.
Officiellement, Veeam ne fournit pas d’outils standard pour réparer manuellement l’en-tête ou les métadonnées des fichiers VBK ou VIB corrompus. En cas de corruption due à un ransomware, il est conseillé de contacter le support Veeam, bien qu’il n’y ait aucune garantie de récupération. Des entreprises tierces spécialisées dans la récupération de données après des attaques de ransomware, comme Recoveo, peuvent proposer des outils et des techniques spécifiques pour tenter d’extraire des données de fichiers Veeam corrompus ou chiffrés. Elles soulignent que les tentatives de récupération avec des logiciels génériques peuvent souvent entraîner des fichiers corrompus.
Veeam utilise des fichiers de métadonnées (comme les fichiers VBM associés aux fichiers VBK et VIB) pour garder une trace des informations sur les points de restauration, la configuration des sauvegardes, les objets sauvegardés et l’emplacement des blocs de données dans les fichiers de sauvegarde. Pour la redondance, deux instances identiques des métadonnées de stockage sont généralement incluses dans les fichiers de sauvegarde et ne sont jamais mises à jour simultanément. Cette approche vise à garantir qu’au moins une copie reste valide en cas de crash ou de corruption pendant la mise à jour. La corruption des deux instances rend la compréhension de la structure et du contenu des fichiers de sauvegarde extrêmement difficile, empêchant les opérations de restauration normales.
Plusieurs mesures peuvent réduire le risque de corruption. Utiliser un stockage de sauvegarde fiable et performant, capable de gérer correctement les opérations d’écriture et les commandes de synchronisation, est essentiel. Éviter les interruptions brutales des processus de sauvegarde est crucial, ce qui implique d’assurer une alimentation électrique stable pour les serveurs de sauvegarde et le stockage. Il est également recommandé de suivre la règle du 3-2-1 pour la sauvegarde : avoir au moins trois copies de vos données, sur au moins deux supports différents, dont une copie hors site. Tester régulièrement les restaurations à l’aide de fonctionnalités comme SureBackup permet de vérifier l’intégrité des sauvegardes et des métadonnées. En cas d’utilisation de NAS, s’assurer qu’ils sont correctement configurés et maintenus à jour.
