Migration massive de données vers Shade via Rclone

Comment migrer des données vers Shade via Rclone

Gestion efficace des migrations et transferts de données

Voici un guide pour migrer de grandes quantités de données vers ou depuis votre lecteur Shade à l'aide de rclone, un outil open source puissant qui prend en charge de nombreuses sources différentes.

Téléchargement de rclone

Le backend Shade est désormais disponible nativement dans Rclone. Vous pouvez télécharger rclone depuis la page officielle de téléchargement de rclone.

À propos de rclone

rclone est un programme en ligne de commande puissant pour gérer les fichiers sur le stockage cloud. Il est souvent décrit comme « rsync pour le stockage cloud » et prend en charge plus de 70 fournisseurs de stockage cloud différents.

Les cas d'utilisation courants de rclone incluent :

• Synchronisation et sauvegarde des fichiers entre votre système local et le stockage cloud
• Migration de données d'un fournisseur cloud à un autre
• Automatisation des flux de travail avec des synchronisations et sauvegardes planifiées
• Gestion de transferts de fichiers volumineux avec reprise et contrôle de la bande passante
• Opérations par lots pour copier, déplacer ou supprimer des fichiers entre services cloud

Avec le backend rclone de Shade, vous pouvez tirer parti de toutes les puissantes fonctionnalités de rclone pour interagir directement avec vos lecteurs Shade depuis la ligne de commande.

Configuration

Voici un exemple de configuration de Shade.

D'abord, créez un compte gratuit et choisissez un abonnement.

Vous devrez vous connecter et obtenir la clé API et l'ID du lecteur pour votre compte dans la section des paramètres de votre compte et du lecteur créé respectivement.

Ouvrez maintenant une invite de commande ou un terminal et allez dans le dossier où vous avez téléchargé ce fichier, puis exécutez

./rclone config (Si vous êtes sur un Mac, vous devrez indiquer à votre ordinateur que ce fichier peut être exécuté, donc exécutez

chmod +x rclone )

Puis suivez ce processus interactif :

e) Modifier le distant existant
n) Nouveau distant
d) Supprimer le distant
r) Renommer le distant
c) Copier le distant
s) Définir un mot de passe de configuration
q) Quitter la configuration
e/n/d/r/c/s/q> n

Entrez un nom pour le nouveau distant.
nom> Shade

Option de stockage.
Type de stockage à configurer.
Choisissez un numéro ci-dessous, ou saisissez votre propre valeur.
(Faites défiler la liste et trouvez l'option Shade, au 11/5/25 c'est la 52)
[AUTRES OPTIONS]
xx / Système de fichiers Shade
   \ (shade)
[AUTRES OPTIONS]
Stockage> xx

Option drive_id.
L'ID de votre lecteur, voir dans les paramètres du lecteur. Les configurations rclone individuelles doivent être créées par lecteur.
Entrez une valeur.
drive_id> [VOTRE_ID]

Option api_key.
Une clé API pour votre compte.
Entrez une valeur.
api_key> [VOTRE_CLE_API]

Modifier la configuration avancée ?
y) Oui
n) Non (par défaut)
y/n> n

Configuration terminée.
Options :
- type : shade
- drive_id : [VOTRE_ID]
- api_key : [VOTRE_CLE_API]
Conserver ce distant « Shade » ?
y) Oui, c'est bon (par défaut)
e) Modifier ce distant
d) Supprimer ce distant
y/e/d> y

Exemple de flux de travail : copie de fichiers vers Shade

Une fois votre distant Shade configuré, vous pouvez facilement copier des fichiers de votre système de fichiers local vers Shade. Voici un flux de travail courant :

Copier un dossier local vers Shade

Pour copier un dossier de votre système local vers votre lecteur Shade :

./rclone copy /path/to/local/folder Shade:/destination/folder

Par exemple, pour copier votre dossier « Projects » vers Shade :

./rclone copy ~/Projects Shade:/Projects

Cette commande va :

• Copier tous les fichiers du dossier Projects local vers Shade
• Conserver la structure des dossiers
• Ignorer les fichiers qui existent déjà et n'ont pas changé
• Afficher la progression pendant le transfert

Commandes utiles supplémentaires

Synchroniser un dossier (rend la destination identique à la source, suppressions comprises) :

./rclone sync ~/Projects Shade:/Projects

Vérifier ce qui serait copié sans effectuer la copie :

./rclone copy ~/Projects Shade:/Projects --dry-run

Copie avec progression et statistiques:

./rclone copy ~/Projects Shade:/Projects --progress --stats 1s

Lister les fichiers de votre lecteur Shade:

./rclone ls Shade:/

Options standard

Voici les options standard propres à shade (Shade FS).

Remarque : Pour la plupart des utilisateurs, il suffit de configurer drive_id et api_key. Les options avancées ci-dessous sont destinées à des cas d'utilisation spécifiques et peuvent être laissées à leurs valeurs par défaut.

--shade-drive-id

L'ID de votre lecteur, voir dans les paramètres du lecteur. Les configurations rclone individuelles doivent être créées par lecteur.

Propriétés :

• Configuration : drive_id
• Variable d'environnement : RCLONE_SHADE_DRIVE_ID
• Type : chaîne
• Obligatoire : true

--shade-api-key

Une clé API pour votre compte. Vous pouvez la trouver sous Paramètres > Clés API

Propriétés :

• Configuration : api_key
• Variable d'environnement : RCLONE_SHADE_API_KEY
• Type : chaîne
• Obligatoire : true

Options avancées

Voici les options avancées propres à shade (Shade FS).

--shade-endpoint

Point de terminaison du service.

Laissez vide normalement.

Propriétés :

• Configuration : endpoint
• Variable d'environnement : RCLONE_SHADE_ENDPOINT
• Type : chaîne
• Obligatoire : false

--shade-chunk-size

Taille de bloc à utiliser pour l'envoi.

Tous les fichiers plus grands que cela seront envoyés en blocs de cette taille.

Notez que cela est stocké en mémoire par transfert, donc l'augmenter augmentera l'utilisation de la mémoire.

Le minimum est 5 Mo, le maximum 5 Go.

Propriétés :

• Configuration : chunk_size
• Variable d'environnement : RCLONE_SHADE_CHUNK_SIZE
• Type : SizeSuffix
• Par défaut : 64Mi

--shade-encoding

L'encodage pour le backend.

Voir la section encodage dans l'aperçu pour plus d'informations.

Propriétés :

• Configuration : encoding
• Variable d'environnement : RCLONE_SHADE_ENCODING
• Type : Encoding
• Par défaut : Slash,BackSlash,Del,Ctl,InvalidUtf8,Dot

--shade-description

Description du distant.

Propriétés :

• Configuration : description
• Variable d'environnement : RCLONE_SHADE_DESCRIPTION
• Type : chaîne
• Obligatoire : false

Routes API utilisées par l'intégration Rclone

Les routes suivantes sont utilisées par l'intégration rclone pour interagir directement avec le système de fichiers Shade. Si vous souhaitez utiliser ces routes directement dans vos propres applications, vous devrez d'abord obtenir un jeton utilisateur en appelant la route appropriée de la section « Utilisateurs » dans la section « Utiliser l'API » de notre documentation. Une fois que vous avez le jeton utilisateur, transmettez-le comme jeton bearer dans vos requêtes à la place de votre clé API.

Remarque : Le backend rclone gère l'authentification automatiquement à l'aide de votre clé API - vous n'avez à vous soucier des jetons utilisateur que si vous développez des intégrations personnalisées en dehors de rclone.

List directory contents for a given drive path

get

Paramètres de chemin

drivestringRequis

Paramètres de requête

pathstringRequis

Paramètres d'en-tête

authorizationstringRequis

get/{drive-id}/fs/listdir

GET /{drive-id}/fs/listdir?path=text HTTP/1.1
authorization: text
Accept: */*

Get file or directory attributes/metadata

get

Paramètres de chemin

drivestringRequis

Paramètres de requête

pathstringRequis

Paramètres d'en-tête

authorizationstringRequis

get/{drive-id}/fs/attr

GET /{drive-id}/fs/attr?path=text HTTP/1.1
authorization: text
Accept: */*

Download a file with optional content disposition

get

Paramètres de chemin

drivestringRequis

Paramètres de requête

pathstringRequis

disposition_typestringRequisDefault: attachment

Paramètres d'en-tête

authorizationstringRequis

get/{drive-id}/fs/download

GET /{drive-id}/fs/download?path=text&disposition_type=attachment HTTP/1.1
authorization: text
Accept: */*

Create a directory at the specified path

post

Paramètres de chemin

drivestringRequis

Paramètres de requête

pathstringRequis

Paramètres d'en-tête

authorizationstringRequis

post/{drive-id}/fs/mkdir

POST /{drive-id}/fs/mkdir?path=text HTTP/1.1
authorization: text
Accept: */*

Create multiple directories in a single request

post

Paramètres de chemin

drivestringRequis

Paramètres d'en-tête

authorizationstringRequis

Corps

post/{drive-id}/fs/mkdir/batch

POST /{drive-id}/fs/mkdir/batch HTTP/1.1
authorization: text
Accept: */*

Copy a file from one path to another

post

Paramètres de chemin

drivestringRequis

Paramètres de requête

fromstringRequis

tostringRequis

Paramètres d'en-tête

authorizationstringRequis

post/{drive-id}/fs/copy-file

POST /{drive-id}/fs/copy-file?from=text&to=text HTTP/1.1
authorization: text
Accept: */*

Move or rename a file or directory

post

Paramètres de chemin

drivestringRequis

Paramètres de requête

fromstringRequis

tostringRequis

Paramètres d'en-tête

authorizationstringRequis

post/{drive-id}/fs/move

POST /{drive-id}/fs/move?from=text&to=text HTTP/1.1
authorization: text
Accept: */*

Delete a file or directory at the specified path

post

Paramètres de chemin

drivestringRequis

Paramètres de requête

pathstringRequis

Paramètres d'en-tête

authorizationstringRequis

post/{drive-id}/fs/delete

POST /{drive-id}/fs/delete?path=text HTTP/1.1
authorization: text
Accept: */*

Fetch overall storage usage and limits

get

Paramètres de chemin

drivestringRequis

Paramètres d'en-tête

authorizationstringRequis

get/{drive-id}/info/storage

GET /{drive-id}/info/storage HTTP/1.1
authorization: text
Accept: */*

Fetch upload configuration and constraints

get

Paramètres de chemin

drivestringRequis

Paramètres d'en-tête

authorizationstringRequis

get/{drive-id}/info/upload

GET /{drive-id}/info/upload HTTP/1.1
authorization: text
Accept: */*

Upload a specific part of a multipart upload

post

Paramètres de chemin

drivestringRequis

partNumbernumberRequis

Paramètres de requête

tokenstringRequis

signAllEndpointsstringOptionnel

post/{drive-id}/upload/multipart/part/{partNumber}

POST /{drive-id}/upload/multipart/part/{partNumber}?token=text HTTP/1.1
Accept: */*

Initiate a multipart upload session

post

Paramètres de chemin

drivestringRequis

Paramètres d'en-tête

authorizationstringRequis

Corps

post/{drive-id}/upload/multipart

POST /{drive-id}/upload/multipart HTTP/1.1
authorization: text
Accept: */*

Complete a multipart upload by finalizing parts

post

Paramètres de chemin

drivestringRequis

Paramètres de requête

tokenstringRequis

Paramètres d'en-tête

authorizationstringRequis

Corps

post/{drive-id}/upload/multipart/complete

POST /{drive-id}/upload/multipart/complete?token=text HTTP/1.1
authorization: text
Accept: */*