La evolución del almacenamiento descentralizado: de FIL a Shelby

El almacenamiento ha sido uno de los sectores más populares en la industria de blockchain. Filecoin, como el proyecto líder de la última ronda de bull market, tuvo un valor de mercado que superó los diez mil millones de dólares en su momento. Arweave se centra en el almacenamiento permanente, alcanzando un valor de mercado máximo de tres mil quinientos millones de dólares. Sin embargo, a medida que se revelan las limitaciones del almacenamiento de datos fríos, la necesidad de almacenamiento permanente ha sido cuestionada, y si el almacenamiento descentralizado puede realmente implementarse ha suscitado un amplio debate. La aparición de Walrus trae nuevas esperanzas al sector del almacenamiento que había estado en silencio durante mucho tiempo, mientras que el proyecto Shelby, lanzado en colaboración entre Aptos y Jump Crypto, tiene como objetivo llevar el almacenamiento descentralizado a nuevas alturas en el ámbito de los datos calientes. Este artículo analizará el proceso de cambio de narrativa del almacenamiento descentralizado a partir de los caminos de desarrollo de cuatro proyectos representativos: Filecoin, Arweave, Walrus y Shelby, y discutirá las perspectivas futuras del almacenamiento descentralizado.

FIL: Almacenamiento superficial, en realidad minería

Filecoin es uno de los proyectos representativos que surgieron en las primeras etapas, su dirección de desarrollo se centra en la Descentralización, que es una característica común de los proyectos de blockchain tempranos. Filecoin combina almacenamiento con Descentralización, intentando resolver el problema de confianza de los proveedores de servicios de almacenamiento de datos centralizados. Sin embargo, ciertos aspectos sacrificados para lograr la Descentralización se convirtieron en puntos críticos que proyectos posteriores como Arweave o Walrus se esfuerzan por resolver. Para entender que Filecoin es en realidad un proyecto de moneda minera, es necesario conocer las limitaciones objetivas de su tecnología subyacente IPFS, que no es adecuada para manejar datos calientes.

IPFS: cuellos de botella en la transmisión de la arquitectura de Descentralización

IPFS( sistema de archivos interplanetario) surgió alrededor de 2015, con el objetivo de revolucionar el protocolo HTTP tradicional mediante la búsqueda de contenido. La mayor desventaja de IPFS es su velocidad de obtención extremadamente lenta. En una era donde los servicios de datos tradicionales pueden alcanzar respuestas en milisegundos, obtener un archivo a través de IPFS aún puede tardar varios segundos, lo que dificulta su promoción en aplicaciones prácticas y explica por qué, aparte de algunos proyectos de blockchain, rara vez es adoptado por industrias tradicionales.

El protocolo P2P subyacente de IPFS es principalmente adecuado para "datos fríos", es decir, contenido estático que no cambia con frecuencia, como videos, imágenes y documentos. Sin embargo, al tratar con datos calientes, como páginas web dinámicas, juegos en línea o aplicaciones de inteligencia artificial, el protocolo P2P no presenta ventajas significativas en comparación con los CDN tradicionales.

A pesar de que IPFS en sí no es una blockchain, su diseño basado en grafos acíclicos dirigidos (DAG) se alinea estrechamente con muchas cadenas de bloques públicas y protocolos Web3, lo que lo convierte en un marco de construcción subyacente ideal para blockchain. Por lo tanto, incluso si no tiene valor práctico, como un marco subyacente que soporta la narrativa de blockchain es suficiente; los proyectos iniciales solo necesitan un marco funcional para abrir nuevos espacios de imaginación, pero cuando Filecoin alcanza una cierta etapa de desarrollo, las limitaciones que trae IPFS comienzan a obstaculizar su progreso.

lógica de monedas mineras bajo el abrigo de almacenamiento

El diseño de IPFS tiene como objetivo permitir a los usuarios almacenar datos mientras son parte de una red de almacenamiento. Sin embargo, en ausencia de incentivos económicos, es difícil que los usuarios utilicen este sistema de forma voluntaria, y mucho menos se conviertan en nodos de almacenamiento activos. Esto significa que la mayoría de los usuarios solo almacenarán archivos en IPFS, pero no contribuirán con su propio espacio de almacenamiento ni almacenarán los archivos de otros. Es en este contexto que nace Filecoin.

En el modelo económico de tokens de Filecoin, hay tres roles principales: los usuarios son responsables de pagar tarifas para almacenar datos; los mineros de almacenamiento obtienen incentivos en tokens por almacenar los datos de los usuarios; los mineros de recuperación proporcionan datos cuando los usuarios los necesitan y obtienen incentivos.

Este modelo presenta un espacio potencial para el mal uso. Los mineros de almacenamiento pueden llenar datos basura después de proporcionar espacio de almacenamiento para obtener recompensas. Dado que estos datos basura no serán recuperados, incluso si se pierden, no activarán el mecanismo de penalización de los mineros de almacenamiento. Esto permite a los mineros de almacenamiento eliminar datos basura y repetir este proceso. El consenso de prueba de replicación de Filecoin solo puede garantizar que los datos de los usuarios no se eliminen de forma privada, pero no puede evitar que los mineros llenen datos basura.

El funcionamiento de Filecoin depende en gran medida de la inversión continua de los mineros en la economía de tokens, en lugar de basarse en la verdadera demanda de almacenamiento distribuido por parte de los usuarios finales. Aunque el proyecto sigue en iteración, en la etapa actual, la construcción del ecosistema de Filecoin se ajusta más a la definición de un proyecto de almacenamiento "basado en minería" en lugar de "impulsado por aplicaciones".

Arweave: la espada de doble filo del largo plazo

Si el objetivo de diseño de Filecoin es construir una "nube de datos" descentralizada que sea incentivada y verificable, entonces Arweave avanza en la dirección opuesta en el almacenamiento: proporcionando la capacidad de almacenamiento permanente para los datos. Arweave no intenta construir una plataforma de computación distribuida, su sistema entero se basa en una suposición central: los datos importantes deben ser almacenados de una vez y permanecer en la red para siempre. Este extremo enfoque a largo plazo hace que Arweave sea muy diferente de Filecoin en términos de mecanismos, modelos de incentivos, requisitos de hardware y narrativas.

Arweave toma a Bitcoin como objeto de estudio, intentando optimizar continuamente su red de almacenamiento permanente en ciclos largos que se cuentan en años. Arweave no se preocupa por el marketing, ni por los competidores y las tendencias del mercado. Solo avanza en el camino de iterar la arquitectura de la red, sin importar si nadie se interesa, porque esa es la esencia del equipo de desarrollo de Arweave: el largo plazo. Gracias al largo plazo, Arweave fue muy popular en el último mercado alcista; y también por el largo plazo, incluso si cae al fondo, Arweave aún podría sobrevivir a varios ciclos de mercados alcistas y bajistas. Pero, ¿tendrá Arweave un lugar en el futuro del almacenamiento descentralizado? El valor de la existencia del almacenamiento permanente solo puede ser probado con el tiempo.

Desde la versión 1.5 hasta la reciente versión 2.9 de la red principal de Arweave, a pesar de haber perdido interés en el mercado, ha estado trabajando para permitir que una gama más amplia de mineros participe en la red con el costo mínimo, e incentivar a los mineros a almacenar datos al máximo, lo que mejora continuamente la robustez de toda la red. Arweave es consciente de que no cumple con las preferencias del mercado, por lo que ha adoptado una ruta conservadora, no abrazando a la comunidad de mineros, con un ecosistema completamente estancado, actualizando la red principal con el mínimo costo, y reduciendo continuamente las barreras de hardware sin comprometer la seguridad de la red.

Revisión del camino de actualización de 1.5-2.9

La versión 1.5 de Arweave expuso una vulnerabilidad donde los mineros podían depender de la acumulación de GPU en lugar de almacenamiento real para optimizar la probabilidad de obtención de bloques. Para frenar esta tendencia, la versión 1.7 introdujo el algoritmo RandomX, limitando el uso de potencia de cálculo especializada y exigiendo la participación de CPU genéricas en la minería, debilitando así la centralización de la potencia de cálculo.

En la versión 2.0, Arweave adoptó SPoA, convirtiendo la prueba de datos en una ruta concisa de estructura de árbol de Merkle, e introdujo transacciones de formato 2 para reducir la carga de sincronización. Esta arquitectura alivia la presión sobre el ancho de banda de la red, lo que mejora significativamente la capacidad de colaboración de los nodos. Sin embargo, algunos mineros aún pueden eludir la responsabilidad real de poseer datos a través de estrategias de piscinas de almacenamiento centralizadas de alta velocidad.

Para corregir este sesgo, la versión 2.4 introdujo el mecanismo SPoRA, que incorpora un índice global y acceso aleatorio lento a hashes, lo que obliga a los mineros a poseer realmente los bloques de datos para participar en la generación de bloques válidos, debilitando así el efecto de apilamiento de poder de cálculo desde el mecanismo. Como resultado, los mineros comenzaron a centrarse en la velocidad de acceso al almacenamiento, impulsando la aplicación de SSD y dispositivos de lectura y escritura de alta velocidad. La versión 2.6 introdujo una cadena de hashes para controlar el ritmo de generación de bloques, equilibrando los beneficios marginales de los dispositivos de alto rendimiento y proporcionando un espacio de participación justa para los mineros pequeños y medianos.

Las versiones posteriores refuerzan aún más la capacidad de colaboración en red y la diversidad de almacenamiento: 2.7 añade minería colaborativa y un mecanismo de pool de minería, mejorando la competitividad de los pequeños mineros; 2.8 lanza un mecanismo de empaquetado compuesto, permitiendo la participación flexible de dispositivos de gran capacidad y baja velocidad; 2.9 introduce un nuevo proceso de empaquetado en formato replica_2_9, mejorando significativamente la eficiencia y reduciendo la dependencia computacional, completando el ciclo del modelo de minería orientado a datos.

En general, la ruta de actualización de Arweave presenta claramente su estrategia a largo plazo orientada al almacenamiento: al resistir continuamente la tendencia de concentración de poder de cálculo, reduce constantemente las barreras de participación, garantizando la viabilidad del funcionamiento del protocolo a largo plazo.

Walrus: Un nuevo intento de almacenamiento de datos calientes

La idea de diseño de Walrus es completamente diferente a la de Filecoin y Arweave. El punto de partida de Filecoin es crear un sistema de almacenamiento descentralizado y verificable, a costa del almacenamiento de datos fríos; el punto de partida de Arweave es construir una biblioteca de Alejandría en la cadena que pueda almacenar datos de forma permanente, a costa de tener muy pocos escenarios; el punto de partida de Walrus es optimizar el costo de almacenamiento del protocolo de almacenamiento de datos calientes.

RedStuff: versión mejorada del código de borrado y corrección

En términos del diseño de costos de almacenamiento, Walrus considera que los gastos de almacenamiento de FIL y Arweave son irracionales, ya que ambos adoptan una arquitectura de replicación completa, cuya principal ventaja es que cada nodo posee una copia completa, lo que proporciona una fuerte capacidad de tolerancia a fallos e independencia entre nodos. Este tipo de arquitectura puede garantizar que, incluso si algunos nodos están fuera de línea, la red aún tenga disponibilidad de datos. Sin embargo, esto también significa que el sistema necesita redundancia de múltiples copias para mantener la robustez, lo que a su vez eleva los costos de almacenamiento. Especialmente en el diseño de Arweave, el mecanismo de consenso en sí mismo fomenta el almacenamiento redundante en nodos para aumentar la seguridad de los datos. En comparación, FIL es más flexible en el control de costos, pero el costo es que parte del almacenamiento de bajo costo puede tener un mayor riesgo de pérdida de datos. Walrus intenta encontrar un equilibrio entre ambos, su mecanismo controla los costos de replicación al tiempo que mejora la disponibilidad mediante una forma de redundancia estructurada, estableciendo así una nueva ruta de compromiso entre la disponibilidad de datos y la eficiencia de costos.

La tecnología Redstuff creada por Walrus es clave para reducir la redundancia de nodos, y proviene de la codificación Reed-Solomon(RS). La codificación RS es un algoritmo de código de borrado muy tradicional, y el código de borrado es una técnica que permite duplicar un conjunto de datos mediante la adición de fragmentos redundantes(erasure code), lo que puede ser utilizado para reconstruir los datos originales. Desde CD-ROM hasta comunicaciones por satélite y códigos QR, se utiliza frecuentemente en la vida diaria.

El código de borrado permite a los usuarios obtener un bloque, por ejemplo de 1MB de tamaño, y luego "ampliarlo" a 2MB, donde el 1MB adicional se llama datos especiales de código de borrado. Si se pierde cualquier byte en el bloque, el usuario puede recuperar fácilmente esos bytes a través del código. Incluso si se pierde hasta 1MB del bloque, aún puedes recuperar el bloque completo. La misma técnica permite a las computadoras leer todos los datos en un CD-ROM, incluso si ha estado dañado.

Actualmente, el más utilizado es el código RS. La forma de implementación es empezar con k bloques de información, construir un polinomio relacionado y evaluarlo en diferentes coordenadas x para obtener bloques codificados. Al usar códigos de borrado RS, la probabilidad de perder grandes bloques de datos de manera aleatoria es muy baja.

Por ejemplo: dividir un archivo en 6 bloques de datos y 4 bloques de verificación, un total de 10 partes. Con mantener cualquiera de esas 6 partes, se puede recuperar completamente los datos originales.

Ventajas: alta tolerancia a fallos, ampliamente utilizado en CD/DVD, arreglos de discos duros tolerantes a fallos (RAID), así como en sistemas de almacenamiento en la nube ( como Azure Storage, Facebook F4).

Desventajas: la decodificación es computacionalmente compleja y tiene un alto costo; no es adecuada para escenarios de datos que cambian con frecuencia. Por lo tanto, generalmente se utiliza para la recuperación y programación de datos en entornos centralizados fuera de la cadena.

En una arquitectura de Descentralización, Storj y Sia han ajustado la codificación RS tradicional para adaptarse a las necesidades reales de las redes distribuidas. Walrus también ha propuesto su propia variante - el algoritmo de codificación RedStuff, para lograr mecanismos de almacenamiento redundante más económicos y flexibles.

¿Cuál es la característica más destacada de Redstuff? A través de la mejora del algoritmo de codificación de borrado, Walrus puede codificar rápidamente y de manera robusta bloques de datos no estructurados en fragmentos más pequeños, que se almacenan distribuidos en una red de nodos de almacenamiento. Incluso si se pierden hasta dos tercios de los fragmentos, se puede reconstruir rápidamente el bloque de datos original utilizando fragmentos parciales. Esto se hace posible manteniendo un factor de replicación de solo 4 a 5 veces.

Por lo tanto, es razonable definir a Walrus como un protocolo ligero de redundancia y recuperación rediseñado en torno a un escenario de Descentralización. En comparación con los códigos de borrado tradicionales ( como Reed-Solomon ), RedStuff ya no persigue una estricta consistencia matemática, sino que realiza un compromiso realista en relación con la distribución de datos, la verificación de almacenamiento y los costos de cálculo. Este modelo renuncia al mecanismo de decodificación instantánea requerido por la programación centralizada, y en su lugar, verifica en la cadena si los nodos tienen copias específicas de datos a través de pruebas, adaptándose así a una estructura de red más dinámica y marginal.

RedSt