Northflank bị xâm nhập, API key AI của khách hàng bị lạm dụng

Northflank, nền tảng hosting ứng dụng trên cloud, đang yêu cầu toàn bộ khách hàng xoay vòng (rotate) mọi credential và secret lưu trên hệ thống sau một sự cố bảo mật. Một số khách hàng đã báo cáo API key của các dịch vụ AI bị dùng trái phép. Sự cố này không đứng riêng lẻ. Theo Wiz, đây là một trong ít nhất chín vụ nhắm vào các nền tảng dành cho lập trình viên AI chỉ trong tháng 10. Kẻ tấn công nhắm thẳng vào thứ mà nhiều đội vẫn để khá lỏng lẻo: environment variables.

Chuyện gì đã xảy ra với Northflank

Northflank cho phép lập trình viên deploy và quản lý ứng dụng, container, database và ứng dụng AI mà không phải tự vận hành hạ tầng bên dưới. Ngày 30/10, công ty công bố sự cố bảo mật sau khi nhận cảnh báo từ Wiz, một công ty bảo mật cloud.

Ban đầu, Northflank khuyên khách hàng rotate ngay environment variables và API key. Không lâu sau, thông điệp chuyển sang mức nghiêm trọng hơn: khách hàng nên giả định mọi environment variable đã bị giải mã và các secret bên trong đã bị đánh cắp. Bản cập nhật ngày 30/10 của Northflank yêu cầu vô hiệu hóa hoặc rotate toàn bộ key.

Sau đó, công ty xác nhận nhiều khách hàng đã báo cáo API key AI mà họ cung cấp cho nền tảng bị sử dụng trái phép. Northflank khuyến nghị khách hàng:

• Rotate ngay các secret do người dùng cung cấp nếu chưa làm.
• Kiểm tra log sử dụng và hóa đơn ở phía nhà cung cấp AI để tìm hoạt động bất thường.
• Báo các lượt dùng đáng ngờ cho cả Northflank lẫn nhà cung cấp AI.

Dòng thời gian phản ứng

Theo dòng thời gian sự cố mà Northflank công bố:

• 11:43 UTC, 30/10: Wiz gửi cảnh báo về vụ xâm nhập.
• Một phút sau, kỹ sư Northflank bắt đầu xem xét cảnh báo.
• Công ty triển khai nhanh một bản vá network policy.
• 12:50 UTC và 13:05 UTC: tiếp tục tung thêm các bản vá.
• Northflank đề nghị đội ứng cứu sự cố (incident response) của Wiz hỗ trợ.

Northflank cũng đã thêm một số biện pháp:

• Bật tính năng rotate credential cho PostgreSQL, MongoDB, MySQL và Redis.
• Bật audit log cho tất cả khách hàng, kể cả tài khoản miễn phí, để mọi người tự rà soát hoạt động đáng ngờ.
• Khuyên khách hàng rotate secret trong workload, secret group và global secret, đồng thời tắt public access cho các add-on đang bật chế độ này.

Theo bài gốc, Northflank chưa công bố cách kẻ tấn công vào được hệ thống, số khách hàng bị ảnh hưởng, hay ngoài API key AI thì còn credential nào khác bị đánh cắp hoặc lạm dụng. BleepingComputer đã gửi câu hỏi cho Northflank nhưng chưa nhận được phản hồi.

"Black October": chuỗi tấn công nhắm vào nền tảng AI

Wiz công bố một báo cáo mang tên "Black October for AI Developer Platforms". Báo cáo ghi nhận ít nhất chín sự cố bảo mật ảnh hưởng tới các nền tảng phát triển AI trong tháng 10, trong đó có Northflank, Railway, OpenCode, Warp và Lightning AI. Một số điểm đáng chú ý:

• Railway: cũng có khả năng làm lộ environment variables đã giải mã của khách hàng.
• OpenCode: công bố việc lộ API key AI.
• Warp: bị xâm nhập, làm lộ log của AI agent và dữ liệu telemetry người dùng.

Wiz cho biết trong một số vụ, kẻ tấn công cố tình nhắm vào environment variables chứa credential của dịch vụ AI để thực hiện LLMJacking. Đây là hình thức dùng credential đánh cắp được để gọi model AI bằng API key của tổ chức khác. Nạn nhân phải gánh hóa đơn khổng lồ, còn quyền truy cập ăn cắp được có thể bị bán lại.

Con số Wiz đưa ra khá đáng lo. Trong hai trường hợp Wiz điều tra, credential doanh nghiệp bị chiếm đã được dùng để thực hiện khoảng 2,5 triệu lượt gọi Amazon Bedrock API, tạo ra chi phí sử dụng AI khoảng 100.000 USD. Wiz cũng phát hiện hạ tầng liên quan tới các dịch vụ bán lại quyền truy cập model AI. Tuy vậy, họ chưa thể gắn các dịch vụ này với những vụ xâm nhập ban đầu hay các đợt lạm dụng quy mô lớn.

Wiz chưa khẳng định cả chín vụ do cùng một nhóm thực hiện, nhưng nhiều vụ có điểm chung là cố đánh cắp API key AI. Trong các bản cập nhật sự cố, Northflank cũng dẫn nghiên cứu của Wiz và cho rằng các báo cáo về việc API key AI bị dùng trái phép có thể liên quan tới chuỗi tấn công này.

Vì sao lập trình viên Việt Nam nên để ý

Nhiều startup và team nhỏ ở Việt Nam đang chọn các PaaS như Northflank, Railway, Render hay Fly.io để deploy nhanh mà không cần đội DevOps riêng. Mô hình phổ biến là dán thẳng OPENAI_API_KEY, ANTHROPIC_API_KEY, chuỗi kết nối database và AWS access key vào phần environment variables của nền tảng. Cách này tiện, nhưng sự cố lần này cho thấy vài điểm cần nhìn lại:

1. Environment variable không phải két sắt. Khi nhà cung cấp nền tảng bị xâm nhập ở tầng sâu, dữ liệu đã mã hóa vẫn có thể bị giải mã. Northflank đã phải bảo khách hàng giả định điều đó.
2. API key AI là "tiền mặt". Khác với key của nhiều dịch vụ khác, key AI bị lộ có thể biến thành hóa đơn hàng nghìn, thậm chí hàng chục nghìn USD chỉ trong thời gian ngắn. Với doanh nghiệp nhỏ thanh toán bằng thẻ quốc tế, đây là rủi ro tài chính trực tiếp.
3. Blast radius lớn. Một PaaS bị xâm nhập có thể kéo theo database, cloud account và các dịch vụ bên thứ ba của khách hàng, nếu credential không được giới hạn quyền.

Bài này khác với các lỗ hổng phần mềm cụ thể (như LXD hay Cisco SD-WAN) mà NextIT đã đưa tin gần đây. Rủi ro ở đây nằm ở chuỗi cung ứng hạ tầng: bạn không có lỗi gì trong code, nhưng vẫn bị ảnh hưởng vì tin tưởng một nền tảng trung gian.

Nếu bạn đang dùng Northflank (hoặc các nền tảng bị nêu tên)

Các bước dưới đây gồm khuyến nghị của Northflank và một số gợi ý bổ sung từ góc nhìn vận hành.

Theo khuyến nghị của Northflank:

• Rotate toàn bộ secret trong workload, secret group và global secret.
• Dùng tính năng rotate credential mới cho PostgreSQL, MongoDB, MySQL, Redis.
• Tắt public access cho các add-on nếu đang bật.
• Xem audit log trên Northflank để tìm hoạt động lạ.
• Kiểm tra log usage và billing tại nhà cung cấp AI, báo cáo nếu có bất thường.

Gợi ý thêm (không nằm trong thông báo của Northflank):

• Thu hồi key cũ chứ không chỉ tạo key mới. Rotate chỉ có ý nghĩa khi key cũ đã bị revoke ở phía nhà cung cấp (OpenAI, Anthropic, AWS, Google Cloud…).
• Đặt giới hạn chi tiêu (spending limit/budget alert) trên tài khoản AI và AWS. Với Amazon Bedrock, có thể dùng AWS Budgets để cảnh báo khi chi phí tăng đột biến.
• Rà soát CloudTrail nếu có AWS credential nằm trong env, đặc biệt các lời gọi Bedrock như InvokeModel từ IP lạ. Ví dụ với AWS CLI:

aws cloudtrail lookup-events \
  --lookup-attributes AttributeKey=EventName,AttributeValue=InvokeModel \
  --start-time 2026-10-01T00:00:00Z \
  --max-results 50

• Tách key theo môi trường và theo dịch vụ, mỗi key chỉ cấp đúng quyền cần thiết. Như vậy khi lộ một key, phạm vi thiệt hại sẽ hẹp hơn.
• Cân nhắc dùng secret manager (AWS Secrets Manager, HashiCorp Vault, Doppler…) và credential ngắn hạn (short-lived, ví dụ qua OIDC/IAM role) thay cho key tĩnh sống mãi.
• Nếu đang dùng Railway, OpenCode, Warp hay Lightning AI, hãy theo dõi thông báo chính thức của từng bên và áp dụng quy trình tương tự.

Lưu ý và những điều còn bỏ ngỏ

• Nguồn chưa nêu vector tấn công ban đầu, số lượng khách hàng bị ảnh hưởng, cũng như phạm vi dữ liệu bị lấy ngoài API key AI. Vì vậy, an toàn nhất là coi mọi secret từng lưu trên Northflank đã bị lộ, không chỉ key AI.
• Con số 2,5 triệu lượt gọi Bedrock và khoảng 100.000 USD là từ hai trường hợp Wiz điều tra. Nguồn không nói đây là thiệt hại của khách hàng Northflank.
• Wiz chưa xác nhận chín sự cố là do cùng một nhóm tấn công. Việc gộp chúng thành "Black October" phản ánh xu hướng chung, không phải kết luận về thủ phạm.
• Báo cáo "Black October" do Wiz công bố. Wiz là công ty kinh doanh giải pháp bảo mật cloud và cũng là bên tham gia hỗ trợ ứng cứu sự cố cho Northflank. Độc giả nên lưu ý bối cảnh này khi đánh giá các phân tích trong báo cáo.

Kết

Vụ Northflank là lời nhắc rõ ràng: khi API key AI có giá trị quy ra tiền ngay lập tức, các nền tảng lưu trữ hàng loạt key như PaaS trở thành mục tiêu béo bở. Với lập trình viên và team vận hành, đừng chờ nhà cung cấp gửi email cảnh báo. Hãy đặt giới hạn chi tiêu, cấp quyền tối thiểu, rotate định kỳ và chuẩn bị sẵn quy trình thu hồi key, vì chuyện environment variables bị đọc trộm không còn là kịch bản hiếm.

Nguồn: BleepingComputer