Hệ thống tính toán hiệu năng cao: bệ phóng phát triển ứng dụng trí tuệ nhân tạo và liên kết điện toán lượng tử

Hệ thống máy tính hiệu năng cao (High Performance Computing - HPC) là tập hợp các phương pháp, công nghệ và hạ tầng tính toán được thiết kế nhằm xử lý các tác vụ đòi hỏi năng lực xử lý vượt xa khả năng của các máy tính thông thường. HPC thường được triển khai dưới dạng cụm máy tính (cluster), siêu máy tính (supercomputer) hoặc hạ tầng điện toán phân tán, trong đó nhiều bộ xử lý (CPU, GPU hoặc các bộ gia tốc chuyên dụng) hoạt động song song để giải quyết những bài toán có quy mô dữ liệu và độ phức tạp rất lớn. HPC đóng vai trò quan trọng trong việc xử lý các bài toán tính toán phức tạp trong khoa học mà cụ thể là trong các lĩnh vực vật lý, hóa học, dữ liệu lớn, trí tuệ nhân tạo... Tuy nhiên, việc khai thác và truy cập hiệu quả tài nguyên của HPC vẫn là một thách thức lớn, đặc biệt đối với những người dùng không có chuyên môn về hệ thống. Các rào cản phổ biến với người dùng có thể kể đến là quy trình đăng nhập phức tạp, yêu cầu thao tác qua dòng lệnh, thiếu công cụ trực quan hỗ trợ quản lý phiên làm việc, thậm chí còn nhiều khó khăn trong việc theo dõi hiệu suất và sử dụng tài nguyên.

Nhằm đơn giản hóa quy trình tương tác giữa người dùng và hạ tầng tính toán, PGS.TS Thoại Nam và cộng sự tại Trường Đại học Bách Khoa (ĐHQG TP.HCM) đã triển khai thực hiện nhiệm vụ khoa học và công nghệ “Nghiên cứu và phát triển giải pháp nâng cao hiệu năng hệ thống tính toán hiệu năng cao phục vụ ứng dụng trí tuệ nhân tạo” để nghiên cứu và phát triển các dịch vụ hỗ trợ truy cập hiệu quả vào hệ thống HPC.

Các dịch vụ này bao gồm cổng truy cập tập trung (portal), công cụ giám sát thông minh, giải pháp quản lý tài nguyên và lập lịch thông minh, giao diện người dùng trực quan cho phép gửi, theo dõi và quản lý tác vụ tính toán dễ dàng hơn. Mục tiêu cuối cùng là nâng cao trải nghiệm người dùng, tăng hiệu suất khai thác tài nguyên, đồng thời hỗ trợ quản trị viên giám sát và tối ưu hoạt động toàn hệ thống một cách hiệu quả.

Quản lý và phân tích hiệu quả sử dụng tài nguyên trên hệ thống HPC

Về giải pháp phát triển dịch vụ hỗ trợ tăng hiệu quả truy cập hệ thống và công cụ hỗ trợ phân tích hiệu quả hệ thống máy tính hiệu năng cao, nhóm thực hiện đã tối ưu hóa khả năng tiếp cận và phân tích hiệu quả hạ tầng tính toán hiệu năng cao với mô hình cổng kết nối ba lớp chuyên biệt bao gồm HPC Portal cho giao tiếp trung tâm, Access Portal hỗ trợ người dùng truy cập trực tiếp tài nguyên, và Resource Portal dành cho công tác quản trị hệ thống tập trung. Giải pháp này giúp đơn giản hóa các quy trình kỹ thuật phức tạp, cho phép người dùng không chuyên cũng có thể khai thác sức mạnh của hệ thống HPC một cách dễ dàng thông qua giao diện web trực quan.

Cùng với đó, hệ thống bảo mật đa tầng với cơ chế xác thực tập trung LDAP/SSO kết hợp với mã hóa đường truyền HTTPS/TLS cũng được thiết lập. Đặc biệt, dịch vụ ghi nhật ký hoạt động chi tiết dưới dạng văn bản và video được tích hợp nhằm đảm bảo mọi thao tác trên hệ thống đều có khả năng truy vết và giám sát.

Bên cạnh mảng dịch vụ truy cập, nhóm thực hiện còn phát triển một công cụ phân tích hiệu quả sử dụng tài nguyên đa chiều trong vận hành HPC. Công cụ này có khả năng thu thập và chuẩn hóa dữ liệu từ nhiều nguồn độc lập để cung cấp cái nhìn toàn diện về mức độ khai thác các tài nguyên trọng yếu như CPU, GPU, bộ nhớ và băng thông mạng. Khả năng phân tích được thực hiện chi tiết theo từng nhóm người dùng, lớp ứng dụng và cụ thể đến từng nút tính toán, giúp quản trị viên nhận diện chính xác tình trạng mất cân bằng tải hay lãng phí tài nguyên. Hệ thống cho phép thực hiện các phân tích ad-hoc nhanh chóng và vẽ biểu đồ theo nhu cầu tức thời bằng ngôn ngữ tự nhiên, nâng cao đáng kể hiệu quả phản ứng với sự cố và lập kế hoạch mở rộng hạ tầng trong tương lai, kiến tạo một nền tảng quản trị đồng bộ, minh bạch và tối ưu cho các hệ thống tính toán hiệu năng cao hiện đại phục vụ ứng dụng trí tuệ nhân tạo.

Tối ưu hóa hiệu suất hệ thống HPC cho các ứng dụng AI

Trong giải pháp khoa học toàn diện về quản lý và tối ưu hóa tài nguyên hệ thống HPC phục vụ các ứng dụng trí tuệ nhân tạo, nhóm thực hiện đã xây dựng mô hình dữ liệu tích hợp đa nguồn, cho phép chuẩn hóa và liên kết dữ liệu phân tán từ bộ lập lịch công việc, hệ thống giám sát tài nguyên và quản lý người dùng thành một thực thể thống nhất. Khung phân tích hiệu quả tài nguyên đa chiều dựa trên ba đối tượng chính: nhóm người dùng, lớp ứng dụng và nút tính toán. Phương pháp phân tích theo lớp ứng dụng là một điểm nhấn quan trọng giúp xác định đặc điểm tiêu thụ tài nguyên đặc thù của ứng dụng AI, mô phỏng hay dữ liệu lớn, từ đó đánh giá mức độ tương thích giữa hạ tầng phần cứng và nhu cầu thực tế của bài toán.

Nhóm thực hiện cũng nghiên cứu một giải pháp ứng dụng công nghệ ảo hóa Apptainer container nhằm tối ưu hóa hiệu suất cho hệ thống tính toán hiệu năng cao phục vụ trí tuệ nhân tạo. Đó là việc chuẩn hóa quy trình đóng gói ứng dụng thông qua định dạng Singularity Image Format (SIF), giúp bảo đảm tính nhất quán và khả năng tái lập (reproducibility) tuyệt đối cho các kết quả nghiên cứu khoa học trên các hạ tầng khác nhau. Nhóm thực hiện đề xuất mô hình bảo mật tiên tiến dựa trên cơ chế kế thừa định danh người dùng (UID/GID) trực tiếp từ hệ điều hành máy chủ, cho phép duy trì sự cô lập và an toàn dữ liệu trong môi trường đa người dùng mà không cần đặc quyền root, từ đó loại bỏ rủi ro leo thang đặc quyền thường gặp ở các nền tảng container truyền thống. Giải pháp này còn được tích hợp đồng bộ với bộ lập lịch Slurm và hệ thống xác thực FreeIPA/LDAP, giúp đơn giản hóa công tác quản trị, loại bỏ xung đột phiên bản phần mềm và tối ưu hóa khả năng khai thác tài nguyên phần cứng. Đây là nền tảng quan trọng cho việc xây dựng môi trường tính toán khoa học hiện đại, an toàn và có khả năng mở rộng linh hoạt.

Công cụ giám sát được thiết kế theo kiến trúc Modularity gồm nhiều module chức năng liên kết lỏng lẻo với nhau. Các module này hoạt động độc lập và có thể dễ dàng nâng cấp, thay thế mà không làm ảnh hướng đến khả năng vận hành của công cụ giám sát giúp tăng tính linh hoạt và phù hợp với nhiều loại hệ thống. Các công nghệ trong từng module được khuyến nghị dựa trên ngữ cảnh giám sát hệ thống lớn, quản trị viên nên điều chỉnh, thay đổi dựa trên đặc trưng trong của từng hệ thống. Bên cạnh những chức năng cần có của một công cụ giám sát, kiểu thiết kế trên còn cho phép chia sẻ dữ liệu giám sát các ứng dụng bên thứ ba thông qua cả hai con đường theo lô (lấy từ InfluxDB) và theo luồng (lấy từ Kafka), đồng thời cung cấp khả năng tự xử lý những sự cố đơn giản. Ví dụ như sự cố cúp điện phát hiện từ dữ liệu giám sát UPS, khi đó các công cụ xử lý dữ liệu dòng có thể ngay lập tức gửi một tín hiệu đến các Monitor Agent thông qua Kafka topic. Các Agent sẽ thực thi những tác vụ tương ứng dựa trên những tín hiệu chỉ thị này, ví dụ như tiến hành tắt nguồn nhằm tránh những hao tổn về phần cứng khi mất điện đột ngột.

Việc phát triển cảm biến ảo tại nút tính toán giúp giải pháp thu thập dữ liệu tương ứng từ các công nghệ cảm biến ảo dùng eBPF mang lại hiệu quả vượt trội do khả năng khởi chạy và tương tác trực tiếp trong nhân của hệ điều hành. Ngoài ra, kiến trúc truyền dẫn dữ liệu từ cảm biến ảo đến nút trung tâm cũng đã được xem xét kỹ lưỡng để đảm bảo tài nguyên tiêu thụ là tối ưu nhất và không ảnh hưởng đến hoạt động bình thường của hệ thống.

Việc nghiên cứu và phát triển giải thuật giám sát và phân tích dữ liệu dòng nhằm tăng hiệu quả hoạt động cho công cụ giám sát hệ thống máy tính HPC đã được triển khai, đánh giá thực nghiệm và rút ra được nhiều thông tin hữu ích. Kiến trúc xử lý cho dữ liệu dòng đa biến được đề xuất và đã chứng minh được hiệu quả thông qua việc triển khai đánh giá các giải thuật nén trên tập dữ liệu tổng hợp tử lõi tính toán, bộ nhớ và băng thông mạng trên cả hai mô hình lập trình tuần tự và song song. Kết quả cho thấy các giải thuật nén bằng phương pháp xấp xỉ tuyến tính từng phần có thông lượng cao và hoàn toàn vượt trội về tỉ số nén so với các giải thuật zip, bzip2 và xz.

Giải pháp quản lý và phân bổ tài nguyên theo loại ứng dụng trên hệ thống HPC, với trọng tâm là các workload AI sử dụng GPU đã được triển khai. Kết quả đạt được cho thấy bài toán phân bổ tài nguyên trên hệ thống HPC phục vụ AI không nên chỉ dựa trên các thông tin tài nguyên do người dùng khai báo trong job script. Bên cạnh các thông tin như số CPU, số GPU, bộ nhớ và walltime, hệ thống cần khai thác thêm đặc trưng ứng dụng, trạng thái tài nguyên, dữ liệu giám sát GPU và dữ liệu lịch sử thực thi. Cách tiếp cận này giúp hệ thống đánh giá tốt hơn nhu cầu tài nguyên thực tế của job, từ đó hỗ trợ khuyến nghị cấu hình phù hợp và cải thiện hiệu quả sử dụng tài nguyên. Giải thuật SARA-AI (Source-Aware Resource Allocation for AI Workloads on HPC) được ứng dụng giúp trích xuất đặc trưng từ job script, dòng lệnh và metadata để phân loại chính xác các nhóm workload như Training, Fine-tuning, Inference hay Preprocessing. Điểm đổi mới quan trọng là SARA-AI không chỉ dự đoán thời gian chạy cho một cấu hình duy nhất mà còn ước lượng hiệu năng trên nhiều cấu hình tài nguyên ứng viên, từ đó đưa ra khuyến nghị dựa trên sự cân bằng giữa các mục tiêu: giảm time to-result, tối ưu hóa GPU-hour và kiểm soát rủi ro dự đoán.

Về mặt quản lý hạ tầng, giải pháp quản lý nút tính toán có bộ gia tốc GPU thông qua cơ chế Job-GPU Mapper là một đề xuất mới. Cơ chế này cho phép ánh xạ chính xác dữ liệu telemetry từ GPU (như mức sử dụng, bộ nhớ, nhiệt độ) tới từng công việc cụ thể, giúp phát hiện các tình trạng sử dụng tài nguyên chưa hiệu quả hoặc rủi ro lỗi bộ nhớ (out-of-memory) mà các bộ lập lịch truyền thống thường bỏ qua. Bằng cách sử dụng dự đoán runtime cộng với safety margin và cơ chế lập lịch backfilling nhận biết đặc trưng ứng dụng, hệ thống có thể tận dụng các khoảng trống tài nguyên để thực thi các job ngắn mà không làm trì hoãn các công việc ưu tiên, qua đó tăng throughput toàn hệ thống. Các đóng góp này tạo thành một hệ khung kỹ thuật đồng bộ giúp chuyển đổi từ mô hình lập lịch dựa trên yêu cầu sang mô hình quản lý thông minh dựa trên dữ liệu vận hành thực tế.

Gắn kết HPC và tính toán lượng tử

"Hạ tầng tính toán hiệu năng cao trong tương lai không thể tách rời với tính toán lượng tử (hay còn gọi là điện toán lượng tử - Quantum Computing). Trong tương lai gần, hệ thống HPC sẽ phải kết nối và tương tác với máy tính lượng tử mở ra hệ thống tính toán lai HPC-QC", PGS. TS Thoại Nam nhấn mạnh, "Vì thế, nghiên cứu và phát triển hệ thống máy tính lai HPC-QC (High-Performance Computing - Quantum Computing) kết hợp giữa hệ thống HPC và các trình giả lập lượng tử (Quantum Simulators) là bước đi chiến lược mang tính đột phá cho các đô thị lớn trong giai đoạn 2026-2030 xa hơn là 2035. Mô hình này sẽ giúp giải quyết những bài toán phức tạp vượt xa khả năng của hệ thống truyền thống, tạo bước đột phá trong nghiên cứu khoa học, công nghệ và đổi mới sáng tạo".

Theo đó, trong bối cảnh hạ tầng phần cứng máy tính lượng tử thực tế (QPU) vẫn đang ở giai đoạn hoàn thiện và chịu rào cản chi phí rất lớn, việc tận dụng sức mạnh tính toán song song, phân tán trên nền tảng HPC để giả lập các mạch lượng tử quy mô 30-50+ qubits chính là giải pháp khả thi và tối ưu nhất về mặt chi phí để tiếp cận công nghệ lượng tử. Hệ thống HPC-QC đóng vai trò là “bệ phóng” kép phục vụ cả hai mục tiêu chiến lược: đào tạo nguồn nhân lực chất lượng cao và phát triển ứng dụng thực tiễn cho Thành phố. Về mặt đào tạo, nền tảng giả lập cho phép sinh viên, kỹ sư và các nhà khoa học tiếp cận, thực hành lập trình các thuật toán lượng tử (như VQE, QAOA, QML) thông qua các khung làm việc chuẩn công nghiệp như Qiskit, Cirq hay PennyLane trên hạ tầng mô phỏng có độ tin cậy cao. Điều này giúp chuẩn bị sẵn sàng lực lượng chuyên gia trình độ cao trước khi các hệ thống phần cứng lượng tử đáp ứng được các nhu cầu thực tiễn hoàn toàn.

Nhóm thực hiện đã hệ thống hóa và phân loại chi tiết 4 kịch bản kết hợp vật lý và phần mềm: từ kết nối lỏng lẻo độc lập đến tích hợp chặt chẽ trên cùng một nút tính toán. Đóng góp này giải quyết bài toán trừu tượng hóa sự tương tác giữa máy tính cổ điển và lượng tử, đảm bảo giảm thiểu độ trễ giao tiếp dữ liệu - yếu tố then chốt để duy trì ưu thế lượng tử. Từ đó, nhóm đề xuất mô hình tích hợp HPC-QC sử dụng kiến trúc lai gồm 5 thành phần chính và phân tách rõ ràng giữa miền xử lý cổ điển và lượng tử.

"Mô hình giúp đóng gói các thuật toán AI lượng tử (QkNN, QSVM, QNN) thành các mô-đun linh hoạt. Qua đó, hệ thống tối ưu hóa tài nguyên bằng cách phân tách vai trò rõ rệt, cho phép thử nghiệm mô phỏng an toàn và sẵn sàng tích hợp đa dạng phần cứng mà không làm thay đổi luồng xử lý cốt lõi", PGS.TS Thoại Nam cho biết.

PGS. TS Thoại Nam thông tin thêm, nhóm thực hiện đề xuất khung phân tích hiệu quả tài nguyên đa chiều dựa trên ba đối tượng chính: nhóm người dùng, lớp ứng dụng và nút tính toán. Phương pháp phân tích theo lớp ứng dụng là một điểm nhấn khoa học quan trọng, giúp xác định đặc điểm tiêu thụ tài nguyên đặc thù của AI, mô phỏng hay dữ liệu lớn, từ đó đánh giá mức độ tương thích giữa hạ tầng phần cứng và nhu cầu thực tế của bài toán. Các giải pháp và công cụ phát triển liên quan đến quản lý và vận hành hệ thống tính toán hiệu năng cao đã được triển khai thử nghiệm trên 2 hệ thống máy tính hiệu năng cao tại Phòng Thí nghiệm Tính toán Hiệu năng cao (Trường Đại học Bách khoa - ĐHQG TP.HCM) và Trung tâm Công nghệ thông tin và Địa không gian TP.HCM (Sở Khoa học và Công nghệ TP.HCM). 

Kết quả của nhiệm vụ không những giải quyết bài toán giám sát, tối ưu hóa hiệu năng và gia tăng hiệu quả khai thác hệ thống máy tính hiệu năng cao - áp dụng hiệu quả trong quản trị và vận hành, mà còn mở ra các hướng phát triển mới, kết hợp giữa tính toán hiệu năng cao và tính toán lượng tử để sẵn sàng phục vụ cho các ứng dụng AI tiên tiến trong tương lai gần của TP.HCM.

Quỹ PT KH, CN & ĐMST TP.HCM - tháng 10/2026