Migración masiva de datos a Shade vía Rclone

Cómo migrar datos a Shade vía Rclone

Manejo eficiente de la migración y transferencia de datos

Esta es una guía para migrar grandes cantidades de datos hacia o desde tu unidad Shade usando rclone, una poderosa herramienta de código abierto que admite muchas fuentes diferentes.

Descargando rclone

El backend Shade ahora está disponible de forma nativa como parte de Rclone. Puedes descargar rclone desde la página oficial de descargas de rclonearrow-up-right.

Acerca de rclone

rclonearrow-up-right es un potente programa de línea de comandos para gestionar archivos en almacenamiento en la nube. A menudo se describe como "rsync para almacenamiento en la nube" y admite más de 70 proveedores de almacenamiento en la nube diferentes.

Casos de uso comunes para rclone incluyen:

  • Sincronización y copias de seguridad de archivos entre tu sistema local y el almacenamiento en la nube

  • Migración de datos de un proveedor de nube a otro

  • Automatización de flujos de trabajo con sincronizaciones y copias de seguridad programadas

  • Gestión de transferencias de archivos grandes con capacidad de reanudar y controles de ancho de banda

  • Operaciones por lotes para copiar, mover o eliminar archivos entre servicios en la nube

Con el backend rclone de Shade, puedes aprovechar todas las potentes funciones de rclone para interactuar con tus unidades Shade directamente desde la línea de comandos.

Configuración

Aquí hay un ejemplo de cómo crear una configuración de Shade.

Primero, crea una cuenta gratuitaarrow-up-right y elige un plan.

Necesitarás iniciar sesión y obtener la Clave API y ID de unidad para tu cuenta desde la sección de ajustes de tu cuenta y de la unidad creada respectivamente.

Ahora abre un símbolo del sistema o terminal y navega a donde descargaste ese archivo, y ejecuta

./rclone config (Si estás en un Mac necesitarás decirle a tu ordenador que este archivo puede ejecutarse, así que ejecuta

chmod +x rclone )

Luego sigue este proceso interactivo:

Ejemplo de flujo de trabajo: Copiar archivos a Shade

Una vez que hayas configurado tu remoto Shade, puedes copiar fácilmente archivos desde tu sistema de archivos local a Shade. Aquí hay un flujo de trabajo común:

Copiar una carpeta local a Shade

Para copiar una carpeta desde tu sistema local a tu unidad Shade:

Por ejemplo, para copiar tu carpeta "Projects" a Shade:

Este comando hará:

  • Copiar todos los archivos de tu carpeta local Projects a Shade

  • Preservar la estructura de carpetas

  • Omitir archivos que ya existen y no han cambiado

  • Mostrar el progreso durante la transferencia

Comandos adicionales útiles

Sincronizar una carpeta (hace que el destino sea idéntico a la fuente, incluidas las eliminaciones):

Comprobar qué se copiaría sin copiar realmente:

Copiar con progreso y estadísticas:

Listar archivos en tu unidad Shade:

Opciones estándar

Aquí están las opciones estándar específicas para shade (Shade FS).

Nota: Para la mayoría de los usuarios, solo necesitas configurar el drive_id y api_key. Las opciones avanzadas siguientes son para casos de uso específicos y se pueden dejar con sus valores por defecto.

--shade-drive-id

El ID de tu unidad, véase esto en los ajustes de la unidad. Las configuraciones individuales de rclone deben hacerse por unidad.

Propiedades:

  • Config: drive_id

  • Var. de entorno: RCLONE_SHADE_DRIVE_ID

  • Tipo: cadena

  • Requerido: sí

--shade-api-key

Una clave API para tu cuenta. Puedes encontrarla en Ajustes > Claves API

Propiedades:

  • Config: api_key

  • Var. de entorno: RCLONE_SHADE_API_KEY

  • Tipo: cadena

  • Requerido: sí

Opciones avanzadas

Aquí están las opciones avanzadas específicas para shade (Shade FS).

--shade-endpoint

Punto de conexión para el servicio.

Déjalo en blanco normalmente.

Propiedades:

  • Config: endpoint

  • Var. de entorno: RCLONE_SHADE_ENDPOINT

  • Tipo: cadena

  • Requerido: no

--shade-chunk-size

Tamaño de fragmento a usar para las subidas.

Cualquier archivo más grande que esto se subirá en fragmentos de este tamaño.

Ten en cuenta que esto se almacena en memoria por transferencia, por lo que aumentarlo incrementará el uso de memoria.

El mínimo es 5MB, el máximo es 5GB.

Propiedades:

  • Config: chunk_size

  • Var. de entorno: RCLONE_SHADE_CHUNK_SIZE

  • Tipo: SizeSuffix

  • Valor por defecto: 64Mi

--shade-encoding

La codificación para el backend.

Ver la sección de codificación en la visión generalarrow-up-right para más información.

Propiedades:

  • Config: encoding

  • Var. de entorno: RCLONE_SHADE_ENCODING

  • Tipo: Encoding

  • Valor por defecto: Slash,BackSlash,Del,Ctl,InvalidUtf8,Dot

--shade-description

Descripción del remoto.

Propiedades:

  • Config: description

  • Var. de entorno: RCLONE_SHADE_DESCRIPTION

  • Tipo: cadena

  • Requerido: no

Rutas de la API utilizadas por la integración de Rclone

Las siguientes rutas son utilizadas por la integración rclone para interactuar directamente con el sistema de archivos de Shade. Si deseas usar estas rutas directamente en tus propias aplicaciones, primero deberás obtener un token de usuario llamando a la ruta correspondiente de la sección 'Users' en la sección 'Uso de la API' de nuestra documentación. Una vez que tengas el token de usuario, pásalo como token bearer en tus solicitudes en lugar de tu clave API.

Nota: El backend rclone gestiona la autenticación automáticamente usando tu clave API: solo necesitas preocuparte por los tokens de usuario si estás construyendo integraciones personalizadas fuera de rclone.

List directory contents for a given drive path

get
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
pathstringRequerido
Parámetros de encabezado
authorizationstringRequerido
get
/{drive-id}/fs/listdir

Get file or directory attributes/metadata

get
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
pathstringRequerido
Parámetros de encabezado
authorizationstringRequerido
get
/{drive-id}/fs/attr

Download a file with optional content disposition

get
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
pathstringRequerido
disposition_typestringRequeridoDefault: attachment
Parámetros de encabezado
authorizationstringRequerido
get
/{drive-id}/fs/download

Create a directory at the specified path

post
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
pathstringRequerido
Parámetros de encabezado
authorizationstringRequerido
post
/{drive-id}/fs/mkdir

Create multiple directories in a single request

post
Parámetros de ruta
drivestringRequerido
Parámetros de encabezado
authorizationstringRequerido
Cuerpo
post
/{drive-id}/fs/mkdir/batch

Copy a file from one path to another

post
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
fromstringRequerido
tostringRequerido
Parámetros de encabezado
authorizationstringRequerido
post
/{drive-id}/fs/copy-file

Move or rename a file or directory

post
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
fromstringRequerido
tostringRequerido
Parámetros de encabezado
authorizationstringRequerido
post
/{drive-id}/fs/move

Delete a file or directory at the specified path

post
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
pathstringRequerido
Parámetros de encabezado
authorizationstringRequerido
post
/{drive-id}/fs/delete

Fetch overall storage usage and limits

get
Parámetros de ruta
drivestringRequerido
Parámetros de encabezado
authorizationstringRequerido
get
/{drive-id}/info/storage

Fetch upload configuration and constraints

get
Parámetros de ruta
drivestringRequerido
Parámetros de encabezado
authorizationstringRequerido
get
/{drive-id}/info/upload

Upload a specific part of a multipart upload

post
Parámetros de ruta
drivestringRequerido
partNumbernumberRequerido
Parámetros de consulta
tokenstringRequerido
signAllEndpointsstringOpcional
post
/{drive-id}/upload/multipart/part/{partNumber}

Initiate a multipart upload session

post
Parámetros de ruta
drivestringRequerido
Parámetros de encabezado
authorizationstringRequerido
Cuerpo
post
/{drive-id}/upload/multipart

Complete a multipart upload by finalizing parts

post
Parámetros de ruta
drivestringRequerido
Parámetros de consulta
tokenstringRequerido
Parámetros de encabezado
authorizationstringRequerido
Cuerpo
post
/{drive-id}/upload/multipart/complete

Última actualización