海量文件存储
传统应用中,所有功能部署在同一台服务器上,图片、文件也存储在该服务器中。应用微服务架构后,服务之间的图片共享通过 FTP + Nginx 静态资源的方式进行访问,文件共享通过 NFS 磁盘挂载的方式进行访问。无论是单体架构还是微服务架构,都存在大量图片、文件的读写操作,而昂贵的磁盘空间和高性能服务器无疑增加了运营成本。更重要的是,各系统之间难以实现高效的文件共享。
因此,文件服务需要形成统一的访问标准,降低各个系统之间的互相依赖,提高开发效率,释放业务系统压力。HiMind 工业互联网平台通过整合 RustFS 对象存储服务解决上述问题,平台即可使用 RustFS 自建对象存储服务,也可直接对接兼容 S3 标准的云服务(阿里云 OSS、华为云 OBS、七牛云 Kodo 等)。
RustFS 简介
RustFS 是一款开源的、与 S3 完全兼容的高性能分布式对象存储系统,采用 Rust 语言开发。它遵循 Apache License 2.0 开源协议,广泛应用于大规模数据湖、AI 训练、企业备份等场景。
为什么选择 RustFS
| 能力维度 | RustFS 优势 |
|---|---|
| 卓越性能 | 基于 Rust 语言构建,兼具内存安全与极致性能,处理小对象时吞吐量可达 MinIO 的 2.3 倍 |
| S3 完全兼容 | 100% 兼容 AWS S3 API(V2 和 V4),可无缝对接现有 S3 生态工具和应用 |
| 开源协议友好 | 采用 Apache 2.0 许可证,无 AGPL 传染性限制,可自由嵌入商业产品 |
| 无 GC 停顿 | Rust 无垃圾回收机制,性能稳定,流量激增时无延迟抖动 |
| 轻量架构 | 去中心化对等架构,无元数据单点瓶颈,部署简单 |
| 低资源占用 | 内存管理基于所有权模型,无 GC 开销,硬件要求更低 |
RustFS 集成方案
平台通过封装 RustFS 集成组件,提供开箱即用的对象存储能力,主要包括以下核心功能:
1. 基础存储能力
- 多端访问:支持通过 Console 控制台、S3 客户端、AWS SDK 等多种方式访问
- 存储桶管理:支持创建、删除、配置存储桶,提供存储桶级别的策略控制
- 对象操作:支持对象的上传、下载、删除、复制、移动等基本操作
- 分片上传:支持大文件分片上传,提高上传效率和断点续传能力
2. 数据保护能力
- 对象版本控制:开启后每次写入生成新版本,旧版本不会被覆盖,支持历史版本回溯
- WORM 合规锁定:支持治理模式、合规模式和法律保留三种锁定机制,满足金融、医疗等行业监管要求
- 服务端加密:支持 AES-256-GCM 和 ChaCha20-Poly1305 加密算法,数据落盘时自动加密
- 多站点复制:支持跨站点双活复制,主备集群自动同步,保障数据高可用
3. 生命周期管理
- 自动过期:支持配置对象生命周期策略,自动删除过期数据
- 分层存储:支持热数据到冷数据的自动迁移,优化存储成本
- 版本清理:支持自动清理历史版本,释放存储空间
4. 可观测性
- 监控指标:原生支持 Prometheus 指标暴露,可接入 Grafana 可视化监控
- 审计日志:记录所有操作日志,便于安全审计和问题追溯
- 事件通知:支持对象操作事件通过 Webhook 通知外部系统
