Tổng hợp kiến thức advanced storage on aws

[ThanhQuyen]

🚀 TỔNG HỢP KIẾN THỨC ADVANCED STORAGE ON AWS


Bài viết này sẽ tập trung vào các công nghệ lưu trữ nâng cao trên AWS, bao gồm AWS Snow Family, FSx, Storage Gateway, Transfer Family và DataSync. Đây đều là những dịch vụ giúp doanh nghiệp xử lý dữ liệu lớn, di chuyển dữ liệu giữa on-premises và AWS, hoặc triển khai hệ thống file chuyên dụng.


❄️ 1. AWS Snow Family – Giải pháp di chuyển & xử lý dữ liệu tại biên (Edge)


Snow Family là nhóm thiết bị phần cứng AWS gửi trực tiếp đến doanh nghiệp để:

• Thu thập dữ liệu tại biên (edge computing)
• Xử lý dữ liệu khi không có/ít Internet
• Di chuyển lượng dữ liệu rất lớn vào hoặc ra khỏi AWS

Snow Family gồm 3 thiết bị:
Snowcone, Snowball Edge, Snowmobile


🔹 Khi nào cần dùng Snow Family?


Theo tài liệu:

“Nếu mất hơn 1 tuần để chuyển dữ liệu qua mạng, hãy dùng Snowball!”

Lý do:

• Hạn chế băng thông
• Mạng không ổn định
• Chi phí mạng cao
• Dùng chung đường truyền → không tận dụng tối đa tốc độ
• Dữ liệu rất lớn (TB đến EB)

Tài liệu cho thấy thời gian truyền qua mạng:

• 10 TB → có thể mất 12 ngày đến 3 giờ tùy tốc độ
• 1 PB → có thể mất 3 năm qua đường truyền 100 Mbps

➡ Vì vậy AWS cung cấp thiết bị ngoại tuyến để ship dữ liệu.


❄️ Snowball Edge – Thiết bị dữ liệu dung lượng lớn


Snowball Edge là giải pháp vận chuyển dữ liệu vật lý để di chuyển TB đến PB dữ liệu.

Đặc điểm:

• Tính phí theo từng job
• Hỗ trợ cả block storage và object storage tương thích S3
• Có 2 phiên bản:

Snowball Edge Storage Optimized

• 80 TB lưu trữ HDD hữu dụng
• Dùng cho project lưu trữ lớn, di dời data center, khôi phục sau thảm họa

Snowball Edge Compute Optimized

• 42 TB HDD
• Tối ưu cho môi trường edge cần sức mạnh tính toán

❄️ Snowcone & Snowcone SSD – Thiết bị nhỏ gọn

• Nhẹ (2.1 kg)
• Chịu được môi trường khắc nghiệt
• Dùng cho edge computing hoặc di chuyển dữ liệu nhỏ hơn

Dung lượng:

• Snowcone: 8 TB HDD
• Snowcone SSD: 14 TB SSD

Snowcone có thể:

• Gửi lại về AWS như Snowball
• Hoặc kết nối Internet và đẩy dữ liệu bằng AWS DataSync

❄️ Snowmobile – Dành cho dữ liệu siêu lớn


Snowmobile là… một chiếc container 45 feet kéo bằng xe tải.

Dùng khi bạn cần di chuyển hơn 10 PB dữ liệu.

Đặc điểm:

• Mỗi xe chứa 100 PB
• Có thể dùng nhiều xe song song
• Bảo mật cực cao: GPS, camera 24/7, kiểm soát nhiệt độ

🔄 Quy trình sử dụng Snow Family

1. Bạn yêu cầu thiết bị từ AWS Console
2. Cài Snowball Client hoặc AWS OpsHub
3. Kết nối Snowball/Snowcone vào server và copy dữ liệu
4. Ship thiết bị về AWS
5. AWS tải dữ liệu vào S3
6. Thiết bị được xóa sạch dữ liệu

🏗 2. Edge Computing với Snow Family


Edge computing = xử lý dữ liệu ngay tại nơi tạo ra nó (ví dụ: tàu biển, xe tải, mỏ khai thác…).

Snow devices hỗ trợ:

• Tiền xử lý dữ liệu
• Machine Learning tại biên
• Xử lý video
• Chạy EC2 và Lambda thông qua AWS IoT Greengrass

Cấu hình:

• Snowcone: 2 CPU, 4 GB RAM
• Snowball Edge Compute Optimized: 52 vCPU, 208 GiB RAM + tùy chọn GPU
• Snowball Edge Storage Optimized: 40 vCPU, 80 GiB RAM

🖥 3. AWS OpsHub – Giao diện quản lý Snow Family


Trước đây phải dùng CLI để thao tác Snowball.
Giờ có AWS OpsHub, giúp:

• Mở khóa / cấu hình thiết bị
• Chuyển file
• Quản lý EC2, Lambda chạy trên Snowball/Snowcone
• Theo dõi chỉ số thiết bị
• Khởi chạy các service như DataSync, NFS…

🧊 4. Tích hợp Snowball và Glacier


Snowball không thể import trực tiếp vào Glacier.
Bạn phải:

1. Import vào S3
2. Dùng Lifecycle Policy để chuyển sang Glacier.

📁 5. Amazon FSx – File system hiệu năng cao


AWS FSx là dịch vụ cung cấp hệ thống file chuyên dụng theo chuẩn của các hãng lớn.

4 loại chính: ▪ FSx for Windows File Server

• File system Windows hoàn chỉnh
• Hỗ trợ SMB, NTFS, AD, ACLs, DFS
• Scale đến hàng triệu IOPS và hàng trăm PB
• Có SSD hoặc HDD
• Hỗ trợ Multi-AZ
• Backup tự động lên S3

▪ FSx for Lustre

• File system dùng cho HPC và Machine Learning
• Tốc độ cực cao: hàng trăm GB/s, hàng triệu IOPS
• Latency < 1ms
• Hỗ trợ SSD hoặc HDD
• Đọc/ghi trực tiếp với S3
• Có 2 loại: Scratch (tạm thời) và Persistent (dài hạn)

▪ FSx for NetApp ONTAP

• Hệ thống file NetApp do AWS quản lý
• Hỗ trợ NFS, SMB, iSCSI
• Hỗ trợ snapshot, replication, nén, dedup
• Dùng cho Windows, Linux, macOS, VMware…

▪ FSx for OpenZFS

• Dùng giao thức NFS
• Hiệu năng cao: đến 1 triệu IOPS
• Hỗ trợ snapshot, clone, nén

🌉 6. Hybrid Cloud Storage – AWS Storage Gateway


Storage Gateway kết nối on-premises với AWS.

Dùng trong:

• Backup, DR
• Lưu trữ tầng (tiered storage)
• Cache dữ liệu on-prem cho low latency
• Truy cập S3 bằng NFS/SMB

Ba loại chính: ▪ S3 File Gateway

• Truy cập S3 qua NFS hoặc SMB
• Cache dữ liệu local
• Tương thích nhiều class S3
• Hỗ trợ AD

▪ FSx File Gateway

• Truy cập FSx for Windows từ on-premises
• Hỗ trợ cache, SMB, NTFS, AD

▪ Volume Gateway

• Block storage dạng iSCSI
• Dữ liệu lưu trong S3 và backup bằng EBS snapshot
• Hai chế độ: Cached & Stored

▪ Tape Gateway

• Thay thế băng từ truyền thống bằng Virtual Tape Library trên S3 và Glacier

📨 7. AWS Transfer Family


Cho phép truyền file vào/ra S3 hoặc EFS qua:

• FTP
• FTPS
• SFTP

Đây là dịch vụ fully-managed, hỗ trợ multi-AZ, tích hợp AD, LDAP, Cognito…


🔁 8. AWS DataSync – Tự động đồng bộ dữ liệu lớn


DataSync giúp:

• Di chuyển dữ liệu từ on-prem → AWS
• Giữa các dịch vụ AWS với nhau
• Hỗ trợ NFS, SMB, HDFS, S3 API…
• Có thể đặt lịch theo giờ, ngày, tuần
• Bảo toàn metadata
• Tốc độ đến 10 Gbps
• Có giới hạn băng thông để kiểm soát

Bạn có thể đồng bộ đến:

• S3 (mọi class)
• EFS
• FSx (tất cả loại)

🎯 KẾT LUẬN


Tài liệu đã trình bày toàn bộ hệ sinh thái lưu trữ nâng cao của AWS:

• Snow Family: di chuyển dữ liệu lớn và edge computing
• FSx: 4 hệ thống file mạnh mẽ
• Storage Gateway: kết nối cloud – on-prem
• Transfer Family: truyền file bằng các giao thức FTP/FTPS/SFTP
• DataSync: tự động đồng bộ hóa dữ liệu
• So sánh toàn bộ dịch vụ lưu trữ từ S3 → Glacier → EBS → EFS → FSx

Nếu bạn muốn học AWS chuyên nghiệp, đây là những kiến thức nền tảng bắt buộc!