Migration massive de données vers Shade via Rclone
Comment migrer des données vers Shade via Rclone
Gestion efficace des migrations et transferts de données
Voici un guide pour migrer de grandes quantités de données vers ou depuis votre drive Shade à l’aide de rclone, un puissant outil open source qui prend en charge de nombreuses sources différentes.
Téléchargement de rclone
Le backend Shade est désormais disponible nativement dans rclone. Vous pouvez télécharger rclone depuis la page de téléchargement officielle de rclone.
À propos de rclone
rclone est un puissant programme en ligne de commande pour gérer les fichiers sur le stockage cloud. Il est souvent décrit comme « rsync pour le stockage cloud » et prend en charge plus de 70 fournisseurs de stockage cloud différents.
Les cas d’utilisation courants de rclone incluent :
Synchronisation et sauvegarde des fichiers entre votre système local et le stockage cloud
Migration de données d’un fournisseur cloud à un autre
Automatisation des workflows avec des synchronisations et sauvegardes planifiées
Gestion de gros transferts de fichiers avec reprise et contrôle de la bande passante
Opérations par lots pour copier, déplacer ou supprimer des fichiers entre services cloud
Avec le backend rclone de Shade, vous pouvez tirer parti de toutes les puissantes fonctionnalités de rclone pour interagir directement avec vos drives Shade depuis la ligne de commande.
Configuration
Voici un exemple de configuration de Shade.
D’abord, créez un compte gratuit et choisissez un forfait.
Vous devrez vous connecter et obtenir la clé API et l’ID du drive pour votre compte depuis la section des paramètres de votre compte et du drive créé, respectivement.
Ouvrez maintenant une invite de commande ou un terminal, puis allez dans le dossier où vous avez téléchargé ce fichier, et exécutez
./rclone config
(Si vous êtes sur un Mac, vous devrez indiquer à votre ordinateur que ce fichier peut être exécuté, donc exécutez
chmod +x rclone )
Puis suivez ce processus interactif :
Exemple de workflow : copier des fichiers vers Shade
Une fois votre remote Shade configuré, vous pouvez facilement copier des fichiers de votre système de fichiers local vers Shade. Voici un workflow courant :
Copier un dossier local vers Shade
Pour copier un dossier de votre système local vers votre drive Shade :
Par exemple, pour copier votre dossier « Projects » vers Shade :
Cette commande va :
Copier tous les fichiers du dossier local Projects vers Shade
Conserver l’arborescence du dossier
Ignorer les fichiers qui existent déjà et n’ont pas changé
Afficher la progression pendant le transfert
Commandes utiles supplémentaires
Synchroniser un dossier (rend la destination identique à la source, suppressions comprises) :
Vérifier ce qui serait copié sans copier réellement :
Copier avec progression et statistiques:
Lister les fichiers de votre drive Shade:
Alternative : utiliser le backend S3 de rclone
Vous pouvez également connecter rclone à Shade via le point de terminaison compatible S3 de Shade, https://s3.shade.inc, en utilisant le backend S3 intégré de rclone. Cela peut être pratique si vous avez déjà des scripts ou workflows basés sur S3.
Dans Shade, allez dans Paramètres > Intégrations > Clés API S3, sélectionnez Générer une clé API S3, puis copiez l’identifiant de la clé d’accès et la clé d’accès secrète. Les clés S3 peuvent accéder à tous les drives auxquels vous avez un accès en modification.
Ajoutez un remote à votre fichier de configuration rclone (exécutez
./rclone config filepour le trouver) :
Utilisez l’ID de votre drive comme nom de bucket :
Chaque bucket correspond à un drive Shade existant, donc n’essayez pas de créer ou supprimer des buckets. L’API S3 de Shade prend en charge un sous-ensemble des actions S3 ; voir Utilisation de l’API S3 de Shade pour les actions prises en charge, la gestion des clés et le dépannage.
Options standard
Voici les options standard spécifiques à shade (Shade FS).
Remarque : Pour la plupart des utilisateurs, il suffit de configurer drive_id et api_key. Les options avancées ci-dessous sont destinées à des cas d’utilisation spécifiques et peuvent être laissées avec leurs valeurs par défaut.
--shade-drive-id
L’ID de votre drive ; voir cela dans les paramètres du drive. Les configurations rclone individuelles doivent être créées pour chaque drive.
Propriétés :
Config : drive_id
Var. d’env. : RCLONE_SHADE_DRIVE_ID
Type : chaîne
Obligatoire : vrai
--shade-api-key
Une clé API pour votre compte. Vous pouvez la trouver sous Paramètres > Clés API
Propriétés :
Config : api_key
Var. d’env. : RCLONE_SHADE_API_KEY
Type : chaîne
Obligatoire : vrai
Options avancées
Voici les options avancées spécifiques à shade (Shade FS).
--shade-endpoint
Point de terminaison du service.
Laissez normalement vide.
Propriétés :
Config : endpoint
Var. d’env. : RCLONE_SHADE_ENDPOINT
Type : chaîne
Obligatoire : faux
--shade-chunk-size
Taille de bloc à utiliser pour l’envoi.
Tous les fichiers plus grands que cela seront envoyés en blocs de cette taille.
Notez que cela est stocké en mémoire par transfert, donc l’augmenter augmentera l’utilisation de la mémoire.
Le minimum est de 5 Mo, le maximum de 5 Go.
Propriétés :
Config : chunk_size
Var. d’env. : RCLONE_SHADE_CHUNK_SIZE
Type : SizeSuffix
Par défaut : 64Mi
--shade-encoding
L’encodage du backend.
Voir la section sur l’encodage dans l’aperçu pour plus d’informations.
Propriétés :
Config : encoding
Var. d’env. : RCLONE_SHADE_ENCODING
Type : Encoding
Par défaut : Slash,BackSlash,Del,Ctl,InvalidUtf8,Dot
--shade-description
Description du remote.
Propriétés :
Config : description
Var. d’env. : RCLONE_SHADE_DESCRIPTION
Type : chaîne
Obligatoire : faux
Routes de l’API utilisées par l’intégration rclone
Les routes suivantes sont utilisées par l’intégration rclone pour interagir directement avec le système de fichiers Shade. Si vous souhaitez utiliser ces routes directement dans vos propres applications, vous devrez d’abord obtenir un jeton utilisateur en appelant la route appropriée dans la section « Utilisateurs » de la section « Utilisation de l’API » de notre documentation. Une fois que vous avez le jeton utilisateur, transmettez-le dans vos requêtes sous forme de jeton Bearer au lieu de votre clé API.
Remarque : Le backend rclone gère l’authentification automatiquement à l’aide de votre clé API ; vous n’avez à vous soucier des jetons utilisateur que si vous créez des intégrations personnalisées en dehors de rclone.
attachmentGET /{drive-id}/fs/download?path=text&disposition_type=attachment HTTP/1.1
authorization: text
Accept: */*
POST /{drive-id}/upload/multipart/part/{partNumber}?token=text HTTP/1.1
Accept: */*
POST /{drive-id}/upload/multipart/complete?token=text HTTP/1.1
authorization: text
Accept: */*
Mis à jour
Ce contenu vous a-t-il été utile ?

