Vận hành và giám sát hệ thống chạy liên tục

Kiến trúc tham khảo cho việc vận hành hệ thống chạy liên tục. Trọng tâm không phải công cụ nào tốt nhất, mà là giám sát cái gì và cảnh báo khi nào thì đáng đánh thức người trực dậy.

Đây là kiến trúc tham khảo, không phải hồ sơ khách hàng. Trang này không chứa tên khách hàng hay số liệu của dự án cụ thể nào.

Bài toán

Hệ thống phục vụ khách hàng bên ngoài, dừng là mất doanh thu và mất uy tín. Đội kỹ thuật mỏng, không đủ người trực ba ca. Hiện tại cách phát hiện sự cố phổ biến nhất là khách hàng gọi điện báo.

Bốn tầng giám sát

Tầng 1 — Hệ thống còn sống không

Kiểm tra từ bên ngoài, mỗi phút một lần, từ nhiều vị trí địa lý. Đây là mức tối thiểu tuyệt đối. Kiểm tra từ nhiều nơi để phân biệt hệ thống hỏng thật với sự cố mạng cục bộ.

Tầng 2 — Tài nguyên máy chủ

CPU, bộ nhớ, dung lượng đĩa, kết nối cơ sở dữ liệu. Đĩa đầy là nguyên nhân gây sự cố phổ biến đến mức đáng ngạc nhiên, và cũng là thứ dễ phòng nhất — chỉ cần cảnh báo ở mức 80%.

Tầng 3 — Hành vi ứng dụng

Độ trễ phản hồi, tỉ lệ lỗi, số lượng yêu cầu. Quan trọng là theo dõi phân vị 95 và 99 chứ không phải giá trị trung bình. Trung bình che giấu vấn đề: nếu 95% người dùng được phục vụ trong 200 mili giây còn 5% phải chờ 8 giây, giá trị trung bình vẫn đẹp trong khi 5% khách hàng đang rất khó chịu.

Tầng 4 — Chỉ số nghiệp vụ

Đây là tầng hay bị bỏ qua nhưng thường phát hiện sự cố sớm nhất. Số đơn hàng mỗi giờ, số lần đăng nhập thành công, số giao dịch thanh toán. Nếu đơn hàng đột ngột về 0 trong khi mọi chỉ số kỹ thuật đều xanh, đó là dấu hiệu có gì đó hỏng theo cách mà giám sát kỹ thuật không thấy được.

Cảnh báo: vấn đề lớn nhất là cảnh báo thừa

Hệ thống gửi 50 cảnh báo mỗi ngày sẽ nhanh chóng bị bỏ qua hết, kể cả cảnh báo thật. Đây là cách hỏng phổ biến nhất của việc giám sát — không phải thiếu công cụ, mà là quá nhiều nhiễu.

Nguyên tắc: chỉ những gì cần hành động ngay lập tức mới được phép đánh thức người. Mọi thứ khác chờ đến sáng. Nếu một cảnh báo lặp lại nhiều lần mà lần nào cũng không cần làm gì, hãy sửa ngưỡng hoặc xoá cảnh báo đó.

Sao lưu — hạng mục quan trọng nhất

Quy tắc thực dụng: ba bản sao dữ liệu, trên hai loại phương tiện khác nhau, một bản đặt ở vị trí địa lý khác.

Nhưng điều quan trọng hơn cả cấu hình sao lưu là kiểm tra phục hồi định kỳ. Bản sao lưu chưa từng được thử phục hồi thì chưa phải bản sao lưu, nó chỉ là niềm tin. Rất nhiều doanh nghiệp phát hiện bản sao lưu của mình hỏng đúng vào ngày cần dùng đến.

Lịch kiểm tra tối thiểu: phục hồi thử toàn bộ mỗi quý một lần, vào môi trường tách biệt, và ghi lại thời gian phục hồi thực tế. Con số đó chính là thời gian doanh nghiệp sẽ phải ngừng hoạt động trong tình huống xấu nhất.

Tài liệu vận hành

Với mỗi loại sự cố hay gặp, cần một trang hướng dẫn ngắn gọn trả lời được: dấu hiệu nhận biết, cách kiểm tra nhanh, các bước xử lý, và khi nào thì phải gọi cấp cao hơn.

Tiêu chuẩn để biết tài liệu đủ tốt: một người không viết ra hệ thống này, đọc tài liệu lúc 3 giờ sáng, vẫn xử lý được. Nếu tài liệu chỉ có người viết mới hiểu thì nó chưa hoàn thành nhiệm vụ.

Lộ trình

1. Sao lưu và kiểm tra phục hồi. Làm đầu tiên, không tranh cãi. Đây là thứ duy nhất cứu được bạn trong tình huống tệ nhất.
2. Giám sát sống chết từ bên ngoài. Rẻ, nhanh, giá trị cao ngay lập tức.
3. Giám sát tài nguyên và cảnh báo cơ bản. Đĩa, bộ nhớ, kết nối.
4. Thu thập nhật ký tập trung. Khi có sự cố, không phải đăng nhập từng máy để tìm.
5. Chỉ số nghiệp vụ và bảng theo dõi. Cho cả người kỹ thuật lẫn người kinh doanh xem.
6. Viết tài liệu xử lý sự cố. Bổ sung dần sau mỗi lần có sự cố thật.

Bạn cần chuẩn bị gì

• Danh sách hệ thống cần giám sát, xếp theo mức độ quan trọng với doanh thu
• Ngưỡng chấp nhận được: dừng bao lâu thì coi là sự cố nghiêm trọng
• Ai là người nhận cảnh báo ngoài giờ, và thứ tự gọi nếu người đầu không bắt máy
• Nhật ký các sự cố đã xảy ra trước đây, nếu có ghi lại

Đội ngũ kỹ thuật TRIUNITECH

Bài viết được biên soạn từ kinh nghiệm triển khai hạ tầng và phần mềm của đội ngũ. Không nhận tài trợ, không quảng cáo sản phẩm.