Skip to content

海量文件存储

传统应用中,所有功能部署在同一台服务器上,图片、文件也存储在该服务器中。应用微服务架构后,服务之间的图片共享通过 FTP + Nginx 静态资源的方式进行访问,文件共享通过 NFS 磁盘挂载的方式进行访问。无论是单体架构还是微服务架构,都存在大量图片、文件的读写操作,而昂贵的磁盘空间和高性能服务器无疑增加了运营成本。更重要的是,各系统之间难以实现高效的文件共享。

因此,文件服务需要形成统一的访问标准,降低各个系统之间的互相依赖,提高开发效率,释放业务系统压力。HiMind 工业互联网平台通过整合 RustFS 对象存储服务解决上述问题,平台即可使用 RustFS 自建对象存储服务,也可直接对接兼容 S3 标准的云服务(阿里云 OSS、华为云 OBS、七牛云 Kodo 等)。

RustFS 简介

RustFS 是一款开源的、与 S3 完全兼容的高性能分布式对象存储系统,采用 Rust 语言开发。它遵循 Apache License 2.0 开源协议,广泛应用于大规模数据湖、AI 训练、企业备份等场景。

为什么选择 RustFS

能力维度RustFS 优势
卓越性能基于 Rust 语言构建,兼具内存安全与极致性能,处理小对象时吞吐量可达 MinIO 的 2.3 倍
S3 完全兼容100% 兼容 AWS S3 API(V2 和 V4),可无缝对接现有 S3 生态工具和应用
开源协议友好采用 Apache 2.0 许可证,无 AGPL 传染性限制,可自由嵌入商业产品
无 GC 停顿Rust 无垃圾回收机制,性能稳定,流量激增时无延迟抖动
轻量架构去中心化对等架构,无元数据单点瓶颈,部署简单
低资源占用内存管理基于所有权模型,无 GC 开销,硬件要求更低

RustFS 集成方案

平台通过封装 RustFS 集成组件,提供开箱即用的对象存储能力,主要包括以下核心功能:

1. 基础存储能力

  • 多端访问:支持通过 Console 控制台、S3 客户端、AWS SDK 等多种方式访问
  • 存储桶管理:支持创建、删除、配置存储桶,提供存储桶级别的策略控制
  • 对象操作:支持对象的上传、下载、删除、复制、移动等基本操作
  • 分片上传:支持大文件分片上传,提高上传效率和断点续传能力

2. 数据保护能力

  • 对象版本控制:开启后每次写入生成新版本,旧版本不会被覆盖,支持历史版本回溯
  • WORM 合规锁定:支持治理模式、合规模式和法律保留三种锁定机制,满足金融、医疗等行业监管要求
  • 服务端加密:支持 AES-256-GCM 和 ChaCha20-Poly1305 加密算法,数据落盘时自动加密
  • 多站点复制:支持跨站点双活复制,主备集群自动同步,保障数据高可用

3. 生命周期管理

  • 自动过期:支持配置对象生命周期策略,自动删除过期数据
  • 分层存储:支持热数据到冷数据的自动迁移,优化存储成本
  • 版本清理:支持自动清理历史版本,释放存储空间

4. 可观测性

  • 监控指标:原生支持 Prometheus 指标暴露,可接入 Grafana 可视化监控
  • 审计日志:记录所有操作日志,便于安全审计和问题追溯
  • 事件通知:支持对象操作事件通过 Webhook 通知外部系统

HiMind 工业互联网平台 技术文档