'Siêu trung tâm' Vận hành Toàn cầu của Viettel: Bùng nổ từ quá trình chuyển đổi số

Tại Viettel, Trung tâm Vận hành Khai thác Toàn cầu, Tổng Công ty Mạng lưới Viettel (VTNet) là một trong những đơn vị đầu não về mạng lưới. Điều đặc biệt là đơn vị này không chỉ chịu trách nhiệm vận hành và đảm bảo chất lượng mạng, chất lượng dịch vụ của Viettel tại Việt Nam mà còn có toàn bộ hạ tầng viễn thông và công nghệ thông tin Viettel ở 10 thị trường nước ngoài.

Để duy trì được sự ổn định của mạng lưới Viettel ở từng thị trường, một bộ máy hàng trăm người của Trung tâm Vận hành Khai thác toàn cầu thay phiên nhau túc trực 24/7 để xử lý bất kỳ tình huống từ nhỏ tới lớn phát sinh từ hệ thống mạng lưới Viettel từ châu Á, châu Phi đến châu Mỹ.

Nơi đèn không bao giờ tắt

Phòng Điều hành mạng lưới của Trung tâm Vận hành và Khai thác Toàn cầu là nơi gần như không bao giờ tắt đèn. Đây là một “mắt xích” quan trọng trong hệ thống quản lý và điều hành mạng lưới tập trung của Viettel - Hệ thống Vận hành mạng lưới Toàn cầu GNOC (Global Network Operation Center).

Với vai trò “người điều hành” cho hệ thống mạng lưới của hơn 110 triệu khách hàng ở 11 quốc gia, hệ thống GNOC giám sát và tác động tới các hệ thống mạng lưới liên tỉnh và quốc gia. Như một vệ tinh giám sát, GNOC cho phép các chuyên gia kỹ thuật ở Việt Nam cũng nắm được tình trạng của từng trạm BTS ở Peru, Haiti, Tanzania… dù khoảng cách địa lý rất lớn.

Do yêu cầu đặc thù, ở các thị trường nước ngoài, lực lượng kỹ thuật Viettel rất mỏng. Trong khi đó lĩnh vực viễn thông quá rộng vì thế một người không thể hiểu được nhiều mảng và càng không thể hiểu sâu được.

Việc giúp các thị trường kiểm soát chất lượng, xử lý sự cố, vận hành và tác động mạng lưới từ xa từ nhiều năm trở lại đây do VTNET đảm trách. Nhờ có khả năng vận hành mạng lưới từ xa, các hệ thống viễn thông lớn của Viettel tại các thị trường nước ngoài không cần có quá nhiều kỹ sư, giúp triển khai nhanh, tiết kiệm chi phí và tăng hiệu quả.

Trong giai đoạn 2020 - 2021 đại dịch Covid-19 bùng nổ, Viettel là một trong những doanh nghiệp có những đóng góp mạnh mẽ nhất cả về nguồn lực lẫn công nghệ để hỗ trợ Chính phủ, ngành y tế và các địa phương toàn quốc ứng phó với đại dịch.

Trong bối cảnh đó, khối lượng công việc của trung tâm tăng vọt do hàng loạt các giải pháp công nghệ hỗ trợ chống dịch quy mô lớn được chạy trên hạ tầng của Viettel như: hệ thống truy vết (Bluezone), khai báo y tế (Tờ khai y tế, Hệ thống khai báo y tế hợp nhất), cung cấp/quản lý thông tin sức khỏe (Sức khỏe toàn dân, Hồ sơ sức khỏe), Hệ thống mã QR Quốc gia, Hệ thống hỗ trợ tiêm chủng (Sổ sức khỏe điện tử), Hệ thống cầu truyền hình phục vụ điều hành phòng chống dịch bệnh….

Nhiều kỹ sư phải ăn nghỉ cả tháng trời tại trung tâm để đảm bảo giãn cách phòng dịch. Trong bối cảnh đó, trung tâm đã đáp ứng nhanh nhất hiệu quả nhất các hoạt động phòng chống dịch cũng như đảm bảo cho các sự kiện chính trị quan trọng cấp quốc gia, quốc tế như Hội nghị thượng đỉnh Mỹ - Triều. Tính đến nay trung tâm đã đảm bảo hạ tầng cho hơn 2.300 điểm cầu truyền hình, 571 điểm cách ly, kiểm soát an toàn tuyệt đối 6 cuộc họp trực tuyến do Thủ tướng điều hành chống dịch đến cấp xã…

"Phải học lập trình và thay đổi tư duy đi!"

Theo anh Lê Quang Hiếu, Giám đốc trung tâm, ở VTNet từ ngày thành lập đến khi Covid-19 xảy ra, khoảng 40% nhân sự của trung tâm thuộc nhóm “trực chiến”. Mô hình vận hành này được sắp xếp theo hướng chuyên môn hóa, mỗi nhân viên có thể bao quát và theo dõi cùng một lúc cả 11 thị trường.

Mặc dù hệ thống mô tả chi tiết đã giúp các quy trình tự động hóa, tuy nhiên khi có sự cố xảy ra, nhân viên cảnh báo sẽ tạo ra các phiếu yêu cầu để vận hành hệ thống, chuyển các lệnh yêu cầu tới các bộ phận chức năng giải quyết.

Đối với công việc này các nhân sự đảm nhiệm chỉ cần tiếp nhận quy trình, công cụ từ các bộ phận chuyên môn khác và tuân thủ 100%, đảm bảo không phát sinh sự cố. Công việc thuần túy là giám sát chất lượng mạng lưới, hệ thống trong thời gian trực, nếu có vấn đề phát sinh thì báo cáo cấp trên theo đúng quy trình, quy định.

Tính chất công việc thụ động, lặp đi lặp lại khiến anh em ít có cơ hội phát triển bản thân. Hơn nữa, việc chia ca kíp trực 24/7 cũng ảnh hưởng đến sức khỏe và tinh thần. "Để khắc phục những nhược điểm này chúng tôi đã yêu cầu anh em phải học lập trình và thay đổi tư duy”, anh Hiếu nhớ lại.

Trung tâm chủ động lựa chọn những nhân tố trẻ, tiềm năng để đi học lập trình. Khi có yêu cầu điều chỉnh công cụ, nhân sự của trung tâm sẽ trực tiếp đánh giá và tiến hành chỉnh sửa kịp thời, thay vì chờ đợi phản hồi từ các cấp hay đội ngũ lập trình. Bên cạnh đó, đội ngũ này cũng chủ động nghiên cứu sâu và toàn diện các hệ thống, tìm nguyên nhân gốc các vấn đề, nguy cơ và đưa ra giải pháp nâng cao tính bền vững, an ninh, an toàn của mạng lưới.

Tối ưu nhân sự nhờ chiến lược “phẳng hóa”

Cùng với thay đổi ở cấp độ cá nhân, lãnh đạo trung tâm còn đặt ra mục tiêu chiến lược tối ưu nhân sự với dự án Chuyển dịch vận hành khai thác từ xa. Trước đó trung tâm có gần 600 người, còn được các lãnh đạo gọi là siêu trung tâm của Viettel.

Đặc thù bộ máy trung tâm lúc bây giờ là phân rất nhiều tầng, chia thành 1 mạng lõi, 3 khu vực, 6 quy trình và hệ sinh thái công cụ. Trung tâm Vận hành Khai thác phụ trách mạng lõi, mỗi khu vực Bắc, Trung, Nam sẽ có các lực lượng NOC (Network Operation Center) riêng để trực và phụ trách lớp access tuyến tỉnh và khu vực.

Trong quá trình vận hành, mô hình nhiều lớp điều hành bộc lộ nhược điểm gây phân tán lực lượng quản lý và lực lượng kỹ thuật. Các sự cố, vấn đề khi phát sinh sẽ phải qua nhiều quy trình, thủ tục phức tạp mới có thể giải quyết triệt để. Cùng với nhu cầu phát triển mạng lưới và hệ thống công nghệ thông tin ngày càng tăng, nhu cầu tối ưu nhân sự và quy trình đang trở nên cấp thiết.

Chính từ thực tế này, trung tâm quyết định "phẳng hóa", áp dụng đồng nhất một quy trình xử lý sự cố để giúp việc xử lý tinh gọn hơn. "Với cách làm này, ví dụ như ở Hà Nội cũng có thể biết được sự cố trong Cần Thơ, giúp cho thời gian xử lý, khắc phục sự cố cho khách hàng đảm bảo chất lượng và thời gian ngắn nhất và nhanh nhất có thể”, anh Quang Hiếu chia sẻ.

Triển khai xóa mô hình vận hành phân tầng, chuyển sang “phẳng hóa”, trung tâm đã hợp nhất toàn bộ khu vực và toàn bộ nhân sự về trung tâm. Thay vì 3 – 4 lớp điều hành giờ chỉ lại còn một lớp. Toàn bộ mạng lưới ở Việt Nam sẽ chỉ có 1 lực lượng NOC phụ trách toàn bộ mạng lõi và 3 khu vực thay vì 4 lực lượng như trước kia.

“Số lượng nhân sự trực NOC đến nay đã giảm 20% và sẽ tiếp tục giảm hơn nữa trong tương lai. Nhiều nhân sự trước kia thuộc lực lượng NOC nay được điều chuyển sang công việc khác có tính sáng tạo, chủ động cao hơn”, anh Hiếu cho biết.

Thay đổi bản thân để vươn tầm thế giới

Nhờ những nỗ lực tối ưu và nâng cao chất lượng nhân sự, năm 2021, Trung tâm Vận hành Khai thác Toàn cầu để lại nhiều dấu ấn khi tiên phong nghiên cứu khoa học công nghệ, định vị vai trò, hình ảnh thương hiệu Viettel trong nước và quốc tế.

Trong nội bộ Viettel, trung tâm tự đặt ra các yêu cầu thách thức, đẩy mạnh hơn nữa quá trình số hóa, tự động hóa, nâng cao chất lượng toàn diện công tác vận hành khai thác: thay thế cơ bản hành động thủ công bằng các công nghệ mới do kỹ sư Viettel nghiên cứu, phát triển như ChatBot, Cloud Monitoring, Auto Escalate, One Click VMSA… và giảm 40% sự cố toàn mạng, không có sự cố nghiêm trọng chủ quan.

Trên phương diện quốc gia, trung tâm đã có đóng góp rất lớn về công nghệ vào phòng, chống dịch Covid-19 thông qua nghiên cứu, triển khai các giải pháp mới nhất về tối ưu hạ tầng và ATTT ứng dụng cho các hệ thống Bluezone, PC-Covid, Sổ sức khỏe điện tử, Tờ khai y tế… giúp các hệ thống hoạt động hiệu quả, an toàn.

Trên trường quốc tế, việc các kỹ sư vận hành khai thác của trung tâm được các tổ chức toàn cầu vinh danh đã giúp Viettel đóng góp vào nền tảng mã nguồn mở thế giới, đứng thứ 44/157 vendor contribute vào OpenStack và đứng số 1 Việt Nam cũng như Đông Nam Á. Viettel cũng đóng vai trò chính trong việc điều phối phiên chuyên đề Mã nguồn mở trong sự kiện Internet Day 2020.

Bài học thành công của trung tâm được Giám đốc Lê Quang Hiếu đúc kết là "Dám nghĩ khác biệt, làm mới chính mình, tiên phong chuyển đổi". Các kỹ sư vận hành khai thác chủ động tham gia vào việc nghiên cứu phát triển, đi học lập trình và trực tiếp tham gia lực lượng phát triển để đẩy nhanh tiến độ.

“Thành công của trung tâm có được nhờ sự đồng lòng thay đổi từ những kế hoạch công cụ giải pháp và ngay cả quy trình từ Ban giám đốc đến các anh em kĩ thuật bên dưới”, Giám đốc Lê Quang Hiếu lý giải.

Thành công nhờ công nghệ Cloud thần tốc

Một trong những công nghệ nổi bật, góp phần cho những thành công của Trung tâm là hạ tầng điện toán đám mây (ĐTĐM) do Viettel làm chủ, có khả năng hỗ trợ triển khai dịch vụ nhanh chóng, thuận lợi, tiết kiệm.

Trong đại dịch Viettel chủ động cung cấp giải pháp kèm đó là những yêu cầu về hạ tầng cho các nhu cầu công nghệ mới xuất hiện. Nhờ có sự hỗ trợ đắc lực của dịch vụ Cloud của Viettel, thời gian đáp ứng nhu cầu tài nguyên hạ tầng cho các dự án, hệ thống, sản phẩm đặc biệt quan trọng kể trên đã được rút ngắn đi đáng kể.

“Với các hệ thống với quy mô tương tự, trước đây Viettel đã có lúc phải mất hàng tuần mới có thể giải quyết được, nhưng nay đã có thể tự tin đáp ứng các nhu cầu này chỉ trong đơn vị ngày, thậm chí có thể hoàn thành ngay trong 24 giờ và còn đảm bảo toàn trình”, Kỹ sư vận hành và triển khai Cloud Trọng Vĩnh, Trung tâm Vận hành khai thác toàn cầu chia sẻ.

Về mặt công nghệ, Viettel cũng đã từng bước và tiến đến hoàn toàn làm chủ được công nghệ Cloud, đồng thời xây dựng các bộ công cụ triển khai, giám sát một cách tự động, đầy đủ. Các công nghệ này đều đáp ứng theo các tiêu chuẩn khắt khe trên thế giới. Đặc biệt, không thể không thể kể đến các bộ công cụ tự động hóa do Viettel phát triển phục vụ hiệu quả cho các công việc triển khai vận hành.

Theo lãnh đạo VTNet, trong lĩnh vực ĐTĐM, trước đây, Việt Nam mới chỉ đứng ở vai trò "người thụ hưởng" các công nghệ có sẵn trên thế giới. Còn bây giờ, câu chuyện là phát triển công nghệ lõi đó như thế nào và Việt Nam có thể làm chủ được hay không. "Các kỹ sư vận hành khai thác của Viettel triển khai hạ tầng ĐTĐM từ năm 2018. Đến nay, ngoài câu chuyện chỉ mang công nghệ thế giới về triển khai, chúng tôi phát hiện ra các lỗi và trực tiếp tham gia thảo luận với các kỹ sư trên diễn đàn thế giới, thay đổi từ thụ động tiếp nhận và đi hỏi sang chủ động làm", anh Lê Quang Hiếu cho hay.

Việc này, theo lãnh đạo VTNet giúp trình độ đội ngũ kỹ sư Viettel lên rất cao, rất nhanh và được thế giới ghi nhận. Hiện tại với 17.000 server, đứng trong top 19% những doanh nghiệp ĐTĐM hàng đầu thế giới, hạ tầng ĐTĐM của VTNet thuộc nhóm đầu khu vực Đông Nam Á. Điều đặc biệt, phần lớn hệ thống được xây dựng phát triển nhờ đội ngũ kỹ sư trẻ tài năng thế hệ 9x của Viettel.