Thử thách migrate dữ liệu

Dữ liệu của các doanh nghiệp lớn không chỉ dừng lại ở vài GB mà nó có thể lên tới cả Petabytes. Thử thách đặt ra là làm sao để migrate lượng lớn dữ liệu đó lên AWS?

Ở bài này chúng ta sẽ tìm hiểu cách mà Snow Family giải quyết bài toán đó nhé.

AWS Snow Family là gì

AWS Snow Family là tập hợp các thiết bị phần cứng (Appliance) do AWS cung cấp, giúp khách hàng migrate dữ liệu dung lượng lớn vào/ra AWS cũng như xử lý dữ liệu tại Edge Location. Snow Family được thiết kế để giải quyết các trường hợp mà mạng Internet không đủ nhanh, không ổn định hoặc không khả thi để truyền dữ liệu trực tiếp lên AWS.

Edge Computing là gì

• Khái niệm chung (không chỉ AWS): Xử lý dữ liệu tại gần nơi dữ liệu sinh ra (thiết bị IoT, nhà máy, on-premise, cell tower 5G…).
• Mục tiêu:
  • Giảm latency
  • Tiết kiệm băng thông (không gửi hết lên cloud).
  • Đảm bảo hoạt động khi mất kết nối internet.

Thành phần của Snow Family

1. AWS Snowcone -> ĐÃ không còn sử dụng

• Nhỏ gọn nhất, kích thước như hộp giày, nặng ~2.1kg.
• Dung lượng: 8 TB (SSD) hoặc 14 TB (HDD).
• Có thể dùng để:
  • Thu thập dữ liệu ở những nơi hạn chế kết nối.
  • Edge computing (chạy EC2, IoT Greengrass).
• Thường dùng trong IoT, xe tự lái, môi trường khắc nghiệt.

2. AWS Snowball Edge

Có hai loại:

• Snowball Edge Storage Optimized: ~80 TB dung lượng lưu trữ, kèm compute capacity.
• Snowball Edge Compute Optimized: ~42 TB dung lượng, nhiều compute hơn (CPU/GPU).

Chức năng chính:

• Data transfer: vận chuyển dữ liệu TB-PB.
• Edge computing: chạy EC2, Lambda functions tại chỗ.
• Thường dùng trong migration hoặc xử lý dữ liệu offline.

3. AWS Snowmobile -> ĐÃ không còn sử dụng

• Lớn nhất trong Snow Family - là container 45 feet được kéo bằng xe tải.
• Dung lượng: 100 PB mỗi Snowmobile.
• Dùng khi cần migrate Petabyte hoặc exabyte dữ liệu**.
• Ví dụ: backup data center lên AWS.chuyển **hàng trăm peta

Cách Snow Family hoạt động

1. AWS gửi thiết bị Snowball đến địa điểm của bạn.
2. Bạn copy dữ liệu vào thiết bị bằng client software.
3. Thiết bị được vận chuyển vật lý về AWS data center.
4. AWS tải dữ liệu vào S3 hoặc dịch vụ khác bạn chọn.
5. Thiết bị được xoá dữ liệu và tái sử dụng cho khách hàng tiếp theo.

Trường hợp sử dụng

• Data Migration

  • Di chuyển hàng TB-PB dữ liệu từ on-premises sang AWS (hoặc ngược lại).
  • Phù hợp khi băng thông Internet nhỏ, tốn nhiều tháng/năm nếu truyền online.

• Edge Computing

  • Chạy ứng dụng tại vùng xa xôi, không có Internet.
  • Ví dụ: tàu, mỏ khai thác, giàn khoan dầu khí.

• Disaster Recovery & Backup

  • Thu thập dữ liệu offline và nhập vào AWS sau.