For the complete documentation index, see llms.txt. This page is also available as Markdown.

Migration massive de données vers Shade via Rclone

Comment migrer des données vers Shade via Rclone

Gestion efficace des migrations et transferts de données

Voici un guide pour migrer de grandes quantités de données vers ou depuis votre drive Shade à l’aide de rclone, un puissant outil open source qui prend en charge de nombreuses sources différentes.

Téléchargement de rclone

Le backend Shade est désormais disponible nativement dans rclone. Vous pouvez télécharger rclone depuis la page de téléchargement officielle de rclone.

À propos de rclone

rclone est un puissant programme en ligne de commande pour gérer les fichiers sur le stockage cloud. Il est souvent décrit comme « rsync pour le stockage cloud » et prend en charge plus de 70 fournisseurs de stockage cloud différents.

Les cas d’utilisation courants de rclone incluent :

  • Synchronisation et sauvegarde des fichiers entre votre système local et le stockage cloud

  • Migration de données d’un fournisseur cloud à un autre

  • Automatisation des workflows avec des synchronisations et sauvegardes planifiées

  • Gestion de gros transferts de fichiers avec reprise et contrôle de la bande passante

  • Opérations par lots pour copier, déplacer ou supprimer des fichiers entre services cloud

Avec le backend rclone de Shade, vous pouvez tirer parti de toutes les puissantes fonctionnalités de rclone pour interagir directement avec vos drives Shade depuis la ligne de commande.

Configuration

Voici un exemple de configuration de Shade.

D’abord, créez un compte gratuit et choisissez un forfait.

Vous devrez vous connecter et obtenir la clé API et l’ID du drive pour votre compte depuis la section des paramètres de votre compte et du drive créé, respectivement.

Ouvrez maintenant une invite de commande ou un terminal, puis allez dans le dossier où vous avez téléchargé ce fichier, et exécutez

./rclone config (Si vous êtes sur un Mac, vous devrez indiquer à votre ordinateur que ce fichier peut être exécuté, donc exécutez

chmod +x rclone )

Puis suivez ce processus interactif :

Exemple de workflow : copier des fichiers vers Shade

Une fois votre remote Shade configuré, vous pouvez facilement copier des fichiers de votre système de fichiers local vers Shade. Voici un workflow courant :

Copier un dossier local vers Shade

Pour copier un dossier de votre système local vers votre drive Shade :

Par exemple, pour copier votre dossier « Projects » vers Shade :

Cette commande va :

  • Copier tous les fichiers du dossier local Projects vers Shade

  • Conserver l’arborescence du dossier

  • Ignorer les fichiers qui existent déjà et n’ont pas changé

  • Afficher la progression pendant le transfert

Commandes utiles supplémentaires

Synchroniser un dossier (rend la destination identique à la source, suppressions comprises) :

Vérifier ce qui serait copié sans copier réellement :

Copier avec progression et statistiques:

Lister les fichiers de votre drive Shade:

Alternative : utiliser le backend S3 de rclone

Vous pouvez également connecter rclone à Shade via le point de terminaison compatible S3 de Shade, https://s3.shade.inc, en utilisant le backend S3 intégré de rclone. Cela peut être pratique si vous avez déjà des scripts ou workflows basés sur S3.

  1. Dans Shade, allez dans Paramètres > Intégrations > Clés API S3, sélectionnez Générer une clé API S3, puis copiez l’identifiant de la clé d’accès et la clé d’accès secrète. Les clés S3 peuvent accéder à tous les drives auxquels vous avez un accès en modification.

  2. Ajoutez un remote à votre fichier de configuration rclone (exécutez ./rclone config file pour le trouver) :

  1. Utilisez l’ID de votre drive comme nom de bucket :

Chaque bucket correspond à un drive Shade existant, donc n’essayez pas de créer ou supprimer des buckets. L’API S3 de Shade prend en charge un sous-ensemble des actions S3 ; voir Utilisation de l’API S3 de Shade pour les actions prises en charge, la gestion des clés et le dépannage.

Options standard

Voici les options standard spécifiques à shade (Shade FS).

Remarque : Pour la plupart des utilisateurs, il suffit de configurer drive_id et api_key. Les options avancées ci-dessous sont destinées à des cas d’utilisation spécifiques et peuvent être laissées avec leurs valeurs par défaut.

--shade-drive-id

L’ID de votre drive ; voir cela dans les paramètres du drive. Les configurations rclone individuelles doivent être créées pour chaque drive.

Propriétés :

  • Config : drive_id

  • Var. d’env. : RCLONE_SHADE_DRIVE_ID

  • Type : chaîne

  • Obligatoire : vrai

--shade-api-key

Une clé API pour votre compte. Vous pouvez la trouver sous Paramètres > Clés API

Propriétés :

  • Config : api_key

  • Var. d’env. : RCLONE_SHADE_API_KEY

  • Type : chaîne

  • Obligatoire : vrai

Options avancées

Voici les options avancées spécifiques à shade (Shade FS).

--shade-endpoint

Point de terminaison du service.

Laissez normalement vide.

Propriétés :

  • Config : endpoint

  • Var. d’env. : RCLONE_SHADE_ENDPOINT

  • Type : chaîne

  • Obligatoire : faux

--shade-chunk-size

Taille de bloc à utiliser pour l’envoi.

Tous les fichiers plus grands que cela seront envoyés en blocs de cette taille.

Notez que cela est stocké en mémoire par transfert, donc l’augmenter augmentera l’utilisation de la mémoire.

Le minimum est de 5 Mo, le maximum de 5 Go.

Propriétés :

  • Config : chunk_size

  • Var. d’env. : RCLONE_SHADE_CHUNK_SIZE

  • Type : SizeSuffix

  • Par défaut : 64Mi

--shade-encoding

L’encodage du backend.

Voir la section sur l’encodage dans l’aperçu pour plus d’informations.

Propriétés :

  • Config : encoding

  • Var. d’env. : RCLONE_SHADE_ENCODING

  • Type : Encoding

  • Par défaut : Slash,BackSlash,Del,Ctl,InvalidUtf8,Dot

--shade-description

Description du remote.

Propriétés :

  • Config : description

  • Var. d’env. : RCLONE_SHADE_DESCRIPTION

  • Type : chaîne

  • Obligatoire : faux

Routes de l’API utilisées par l’intégration rclone

Les routes suivantes sont utilisées par l’intégration rclone pour interagir directement avec le système de fichiers Shade. Si vous souhaitez utiliser ces routes directement dans vos propres applications, vous devrez d’abord obtenir un jeton utilisateur en appelant la route appropriée dans la section « Utilisateurs » de la section « Utilisation de l’API » de notre documentation. Une fois que vous avez le jeton utilisateur, transmettez-le dans vos requêtes sous forme de jeton Bearer au lieu de votre clé API.

Remarque : Le backend rclone gère l’authentification automatiquement à l’aide de votre clé API ; vous n’avez à vous soucier des jetons utilisateur que si vous créez des intégrations personnalisées en dehors de rclone.

List directory contents for a given drive path

get
Paramètres de chemin
drivestringRequis
Paramètres de requête
pathstringRequis
Paramètres d'en-tête
authorizationstringRequis
get/{drive-id}/fs/listdir
GET /{drive-id}/fs/listdir?path=text HTTP/1.1
authorization: text
Accept: */*

Get file or directory attributes/metadata

get
Paramètres de chemin
drivestringRequis
Paramètres de requête
pathstringRequis
Paramètres d'en-tête
authorizationstringRequis
get/{drive-id}/fs/attr
GET /{drive-id}/fs/attr?path=text HTTP/1.1
authorization: text
Accept: */*

Download a file with optional content disposition

get
Paramètres de chemin
drivestringRequis
Paramètres de requête
pathstringRequis
disposition_typestringRequisDefault: attachment
Paramètres d'en-tête
authorizationstringRequis
get/{drive-id}/fs/download
GET /{drive-id}/fs/download?path=text&disposition_type=attachment HTTP/1.1
authorization: text
Accept: */*

Create a directory at the specified path

post
Paramètres de chemin
drivestringRequis
Paramètres de requête
pathstringRequis
Paramètres d'en-tête
authorizationstringRequis
post/{drive-id}/fs/mkdir
POST /{drive-id}/fs/mkdir?path=text HTTP/1.1
authorization: text
Accept: */*

Create multiple directories in a single request

post
Paramètres de chemin
drivestringRequis
Paramètres d'en-tête
authorizationstringRequis
Corps
post/{drive-id}/fs/mkdir/batch
POST /{drive-id}/fs/mkdir/batch HTTP/1.1
authorization: text
Accept: */*

Copy a file from one path to another

post
Paramètres de chemin
drivestringRequis
Paramètres de requête
fromstringRequis
tostringRequis
Paramètres d'en-tête
authorizationstringRequis
post/{drive-id}/fs/copy-file
POST /{drive-id}/fs/copy-file?from=text&to=text HTTP/1.1
authorization: text
Accept: */*

Move or rename a file or directory

post
Paramètres de chemin
drivestringRequis
Paramètres de requête
fromstringRequis
tostringRequis
Paramètres d'en-tête
authorizationstringRequis
post/{drive-id}/fs/move
POST /{drive-id}/fs/move?from=text&to=text HTTP/1.1
authorization: text
Accept: */*

Delete a file or directory at the specified path

post
Paramètres de chemin
drivestringRequis
Paramètres de requête
pathstringRequis
Paramètres d'en-tête
authorizationstringRequis
post/{drive-id}/fs/delete
POST /{drive-id}/fs/delete?path=text HTTP/1.1
authorization: text
Accept: */*

Fetch overall storage usage and limits

get
Paramètres de chemin
drivestringRequis
Paramètres d'en-tête
authorizationstringRequis
get/{drive-id}/info/storage
GET /{drive-id}/info/storage HTTP/1.1
authorization: text
Accept: */*

Fetch upload configuration and constraints

get
Paramètres de chemin
drivestringRequis
Paramètres d'en-tête
authorizationstringRequis
get/{drive-id}/info/upload
GET /{drive-id}/info/upload HTTP/1.1
authorization: text
Accept: */*

Upload a specific part of a multipart upload

post
Paramètres de chemin
drivestringRequis
partNumbernumberRequis
Paramètres de requête
tokenstringRequis
signAllEndpointsstringOptionnel
post/{drive-id}/upload/multipart/part/{partNumber}
POST /{drive-id}/upload/multipart/part/{partNumber}?token=text HTTP/1.1
Accept: */*

Initiate a multipart upload session

post
Paramètres de chemin
drivestringRequis
Paramètres d'en-tête
authorizationstringRequis
Corps
post/{drive-id}/upload/multipart
POST /{drive-id}/upload/multipart HTTP/1.1
authorization: text
Accept: */*

Complete a multipart upload by finalizing parts

post
Paramètres de chemin
drivestringRequis
Paramètres de requête
tokenstringRequis
Paramètres d'en-tête
authorizationstringRequis
Corps
post/{drive-id}/upload/multipart/complete
POST /{drive-id}/upload/multipart/complete?token=text HTTP/1.1
authorization: text
Accept: */*

Mis à jour

Ce contenu vous a-t-il été utile ?