Model Compression

Định nghĩa

Model Compression (tạm dịch: Nén mô hình) là một lĩnh vực chuyên sâu trong khoa học máy tính và trí tuệ nhân tạo, tập trung vào việc giảm thiểu các đặc trưng không gian – thời gian của mô hình học máy, bao gồm số lượng tham số, độ lớn bộ nhớ cần thiết để lưu trữ, độ phức tạp tính toán trong quá trình suy luận (inference), và mức tiêu thụ năng lượng, mà không làm suy giảm đáng kể độ chính xác hoặc hiệu năng tổng thể của mô hình. Thuật ngữ này không chỉ đơn thuần ám chỉ việc nén dữ liệu theo nghĩa truyền thống (như ZIP hay JPEG), mà là một quy trình kỹ thuật đa tầng, kết hợp giữa lý thuyết thông tin, tối ưu hóa toán học, kiến trúc hệ thống và hiểu biết chuyên sâu về cơ chế hoạt động của các mô hình học sâu.

Từ gốc tiếng Anh model ở đây được hiểu là một cấu trúc toán học đã được huấn luyện trên dữ liệu, thường là mạng nơ-ron nhân tạo (neural network), nhưng cũng bao gồm các mô hình cổ điển như cây quyết định, rừng ngẫu nhiên, máy vector hỗ trợ (SVM) hoặc mô hình thống kê xác suất. Còn compression mang hàm ý kỹ thuật: loại bỏ sự dư thừa (redundancy), tận dụng tính chất cấu trúc (structural properties), và biểu diễn lại thông tin dưới dạng cô đọng hơn mà vẫn bảo toàn chức năng thiết yếu. Trong bối cảnh công nghệ & điện tử, model compression không chỉ là vấn đề phần mềm — nó gắn chặt với khả năng triển khai thực tế trên các nền tảng phần cứng cụ thể như vi điều khiển (MCU), vi xử lý nhúng (SoC), chip AI chuyên dụng (ASIC), FPGA, hoặc thậm chí là cảm biến thông minh tích hợp.

Mục tiêu cốt lõi của model compression là giải quyết nghịch lý ngày càng gia tăng giữa xu hướng mở rộng quy mô mô hình (scale-up) — vốn đòi hỏi hàng tỷ tham số và hàng petaflop tính toán — và nhu cầu thực tiễn về triển khai tức thì, tiết kiệm năng lượng, bảo mật cục bộ và độ trễ thấp. Đây không phải là sự đánh đổi đơn giản giữa kích thước và độ chính xác, mà là một bài toán tối ưu đa mục tiêu, trong đó các ràng buộc về băng thông, dung lượng bộ nhớ RAM/Flash, tần số xung nhịp CPU/GPU, nhiệt độ vận hành và tuổi thọ pin đều trở thành các biến quyết định trong thiết kế giải pháp nén.

Lịch sử và nguồn gốc

Nguồn gốc của model compression bắt đầu hình thành từ những năm 1990, trong bối cảnh các mô hình học máy đầu tiên — như mạng perceptron đa lớp (MLP) và mạng RBF — bắt đầu cho thấy tiềm năng ứng dụng trong nhận dạng chữ viết tay và xử lý tín hiệu âm thanh. Khi đó, các nhà nghiên cứu như LeCun, Denker và Solla đã tiến hành các thí nghiệm cắt tỉa (pruning) thủ công các trọng số gần bằng không trong mạng nơ-ron, chứng minh rằng nhiều kết nối không đóng góp đáng kể vào đầu ra cuối cùng. Công trình nổi bật năm 1989 của LeCun et al. với phương pháp OBD (Optimal Brain Damage) được coi là tiền thân lý thuyết của pruning hiện đại: họ sử dụng đạo hàm bậc hai của hàm mất mát để định lượng mức độ ảnh hưởng của từng trọng số đến sai số tổng thể, từ đó loại bỏ những trọng số có “đóng góp biên” thấp nhất.

Giai đoạn 2000–2010 chứng kiến sự phát triển mạnh mẽ của các kỹ thuật nén dựa trên đại số tuyến tính và học biểu diễn. Các phương pháp như phân rã ma trận (matrix factorization), phân rã giá trị kỳ dị (SVD), và học từ điển (dictionary learning) được áp dụng để giảm hạng (low-rank approximation) các lớp fully-connected và convolutional. Đồng thời, các nghiên cứu về lượng tử hóa (quantization) cũng bắt đầu xuất hiện, chủ yếu trong lĩnh vực xử lý tín hiệu số (DSP), khi các bộ vi xử lý nhúng bắt đầu yêu cầu biểu diễn số học cố định (fixed-point arithmetic) thay vì dấu phẩy động (floating-point) để tiết kiệm năng lượng và diện tích mạch. Tuy nhiên, lúc này, các kỹ thuật này thường được áp dụng rời rạc và thiếu khung lý thuyết thống nhất.

Sự bùng nổ thực sự của model compression diễn ra sau năm 2015, song hành với sự phổ biến của mạng nơ-ron sâu (deep neural networks) và nhu cầu cấp thiết về triển khai trên thiết bị di động và IoT. Năm 2016, Han et al. công bố bài báo mang tính bước ngoặt 'Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding', lần đầu tiên tích hợp ba kỹ thuật then chốt — cắt tỉa, lượng tử hóa có huấn luyện lại (training-aware quantization), và mã hóa entropy — vào một quy trình tuần tự, đạt được tỉ lệ nén lên tới 35×–49× cho các mô hình như AlexNet và VGG-16 mà không mất độ chính xác. Cùng thời điểm, các nhóm nghiên cứu tại Google (MobileNet), Facebook (Q8BERT), và MIT (TinyML) bắt đầu xây dựng các kiến trúc mô hình từ đầu với ràng buộc về độ nhẹ (lightweight design), mở đường cho khái niệm co-design — thiết kế đồng thời phần mềm và phần cứng. Đến năm 2020, model compression đã trở thành một trụ cột không thể thiếu trong các khuôn khổ triển khai AI như TensorFlow Lite, PyTorch Mobile, ONNX Runtime và Apache TVM.

Đặc điểm và tính chất

Model compression không phải là một kỹ thuật đơn lẻ, mà là một hệ sinh thái kỹ thuật có tính hệ thống, được đặc trưng bởi tính tương tác cao giữa các thành phần và phụ thuộc mạnh vào ngữ cảnh triển khai. Một trong những đặc điểm nổi bật nhất là tính tương thích đa mức: các phương pháp nén có thể được áp dụng ở nhiều mức độ khác nhau — từ mức mô hình (model-level), mức lớp (layer-level), mức tham số (parameter-level), cho đến mức bit (bit-level). Mỗi mức lại yêu cầu các công cụ phân tích và kỹ thuật tối ưu riêng biệt, ví dụ như pruning ở mức tham số đòi hỏi phân tích độ nhạy trọng số, trong khi pruning ở mức kênh (channel pruning) lại liên quan trực tiếp đến kiến trúc phần cứng và luồng dữ liệu trong đơn vị xử lý.

Một đặc điểm kỹ thuật quan trọng khác là tính không đồng nhất (heterogeneity) trong mức độ nén có thể đạt được giữa các thành phần của mô hình. Các lớp đầu vào và đầu ra thường ít có khả năng nén do phải duy trì tính biểu diễn đầy đủ của dữ liệu thô, trong khi các lớp ẩn giữa (intermediate layers) lại chứa rất nhiều dư thừa cấu trúc và thống kê. Ngoài ra, tính chất tính toán – lưu trữ – truyền thông tương hỗ cũng là yếu tố then chốt: giảm số lượng tham số không chỉ tiết kiệm bộ nhớ mà còn giảm số phép nhân–cộng (MACs), từ đó giảm tiêu thụ năng lượng; đồng thời, việc lượng tử hóa sang 8-bit hoặc 4-bit giúp tận dụng các đơn vị tính toán chuyên dụng (như INT8 tensor cores trên GPU NVIDIA hoặc NPU trên chip Kirin), nâng cao thông lượng tính toán mỗi watt.

• Tính khả hồi (Reversibility): Hầu hết các kỹ thuật nén hiện đại đều không yêu cầu phục hồi hoàn toàn mô hình gốc; thay vào đó, chúng hướng tới một bản sao chức năng tương đương (functionally equivalent) — tức là cho cùng đầu ra trên cùng đầu vào trong phạm vi sai số chấp nhận được.
• Tính phụ thuộc vào dữ liệu: Hiệu quả của nén thường phụ thuộc mạnh vào phân bố thống kê của dữ liệu huấn luyện và dữ liệu triển khai thực tế; một mô hình nén tốt trên tập ImageNet chưa chắc hoạt động ổn định trên dữ liệu y tế hoặc công nghiệp.
• Tính phi tuyến trong đánh giá hiệu năng: Giảm 50% số tham số không đồng nghĩa với giảm 50% thời gian suy luận, do các yếu tố như độ trễ bộ nhớ (memory latency), giới hạn băng thông (bandwidth bottleneck), và độ song song hóa phần cứng có thể làm méo mó mối quan hệ tuyến tính giữa kích thước và tốc độ.
• Tính tương thích phần cứng: Một mô hình đã được lượng tử hóa 4-bit chỉ có thể chạy hiệu quả nếu phần cứng hỗ trợ toán học 4-bit; ngược lại, việc ép chạy trên phần cứng không hỗ trợ sẽ dẫn đến phần mềm giả lập chậm và tiêu tốn năng lượng hơn cả phiên bản 32-bit.

Phân loại

Cắt tỉa (Pruning)

Cắt tỉa là kỹ thuật loại bỏ các thành phần không thiết yếu trong mô hình — thường là các trọng số (weights), các nơ-ron (neurons), các kênh (channels), hoặc thậm chí các lớp con (sub-layers). Có hai dạng chính: cắt tỉa không cấu trúc (unstructured pruning), trong đó từng trọng số riêng lẻ bị đặt về 0, tạo ra ma trận thưa (sparse matrix); và cắt tỉa có cấu trúc (structured pruning), loại bỏ cả khối lượng lớn các tham số theo cấu trúc có ý nghĩa như toàn bộ kênh trong lớp (convolutional layer) hoặc toàn bộ nơ-ron trong lớp fully-connected. Loại sau thường được ưa chuộng hơn trong triển khai thực tế vì phù hợp với kiến trúc phần cứng song song và dễ tối ưu hóa bằng trình biên dịch.

Lượng tử hóa (Quantization)

Lượng tử hóa chuyển đổi các trọng số và hoạt động (activations) từ biểu diễn dấu phẩy động độ chính xác cao (thường là FP32) sang biểu diễn số nguyên độ chính xác thấp (INT8, INT4, thậm chí binary hoặc ternary). Quá trình này bao gồm việc xác định phạm vi (range) và bước lượng tử (quantization step), sau đó ánh xạ tuyến tính từng giá trị thực sang giá trị rời rạc gần nhất. Lượng tử hóa có thể là tĩnh (static), trong đó các tham số lượng tử được xác định trước suy luận, hoặc động (dynamic), điều chỉnh theo phân bố thực tế của dữ liệu trong thời gian chạy. Một biến thể tiên tiến là lượng tử hóa có huấn luyện lại (quantization-aware training – QAT), trong đó mô hình được huấn luyện với các lớp giả lập lượng tử, giúp bù đắp sai số do làm tròn.

Triển khai kiến trúc hiệu quả (Efficient Architecture Design)

Thay vì nén mô hình đã huấn luyện, cách tiếp cận này thiết kế ngay từ đầu các kiến trúc có độ phức tạp thấp nhưng hiệu năng cao, như MobileNet (sử dụng depthwise separable convolution), EfficientNet (kết hợp scaling hợp lý về chiều sâu, chiều rộng và độ phân giải), hoặc GhostNet (sinh các đặc trưng 'ma' từ các đặc trưng gốc để giảm tính toán). Đây không phải là kỹ thuật nén hậu huấn luyện, nhưng là một phần không thể tách rời của hệ sinh thái model compression vì mục tiêu cuối cùng là đạt được hiệu quả toàn hệ thống.

Giáo viên – Học sinh (Knowledge Distillation)

Kỹ thuật này huấn luyện một mô hình nhỏ (học sinh) sao cho đầu ra của nó khớp với phân bố xác suất đầu ra của một mô hình lớn hơn (giáo viên), thường là mô hình đã huấn luyện đầy đủ. Thay vì học từ nhãn cứng (hard labels), học sinh học từ ‘kiến thức mềm’ (soft targets) — tức là phân bố xác suất mượt mà hơn nhờ nhiệt độ (temperature) cao trong hàm softmax. Phương pháp này đặc biệt hiệu quả khi mô hình giáo viên nắm giữ các mối quan hệ tinh tế giữa các lớp mà nhãn gốc không thể biểu diễn.

Cơ chế hoạt động

Cơ chế hoạt động của model compression dựa trên ba nguyên lý khoa học nền tảng: (1) Nguyên lý dư thừa thống kê — phân bố trọng số trong mạng nơ-ron sâu thường tuân theo phân bố có đuôi dài (heavy-tailed distribution), với phần lớn trọng số tập trung gần 0 và chỉ một tỷ lệ nhỏ có giá trị lớn; điều này tạo điều kiện cho pruning và lượng tử hóa. (2) Nguyên lý dư thừa cấu trúc — các lớp mạng thường có hạng thấp (low-rank) hoặc có thể phân rã thành các thành phần độc lập, cho phép biểu diễn lại bằng ít tham số hơn mà vẫn gần đúng hàm ánh xạ ban đầu. (3) Nguyên lý bất định trong học máy — tồn tại vô số mô hình khác nhau có thể đạt được hiệu năng tương đương trên tập kiểm tra, do đó việc tìm kiếm một mô hình nhỏ hơn trong không gian các mô hình chức năng tương đương là bài toán khả thi về mặt lý thuyết.

Quá trình nén thường được thực hiện theo chuỗi tuần tự hoặc lặp lại: đầu tiên là phân tích độ nhạy (sensitivity analysis) để xác định các thành phần có thể loại bỏ hoặc giảm độ chính xác; sau đó là áp dụng kỹ thuật nén tương ứng; tiếp theo là tinh chỉnh (fine-tuning) hoặc huấn luyện lại để phục hồi hiệu năng; cuối cùng là kiểm định chức năng và đo lường hiệu năng trên nền tảng mục tiêu. Một số phương pháp hiện đại như Neural Architecture Search (NAS) cho mô hình nén tự động tìm kiếm kiến trúc tối ưu trong không gian bị ràng buộc bởi các chỉ tiêu như FLOPs, tham số và độ trễ — đây là sự kết hợp giữa học máy và tối ưu hóa tổ hợp.

Ứng dụng thực tế

Model compression đã trở thành xương sống của các hệ thống AI triển khai trên thiết bị (edge AI). Trong điện thoại thông minh, các tính năng như nhận diện khuôn mặt, dịch thuật thời gian thực, và tăng cường thực tế (AR) đều dựa trên các mô hình đã được nén để chạy trên NPU tích hợp mà không làm nóng máy hoặc cạn pin. Trong ngành công nghiệp ô tô, hệ thống hỗ trợ lái xe nâng cao (ADAS) sử dụng mô hình nén để nhận diện biển báo, người đi bộ và phương tiện khác với độ trễ dưới 100ms trên chip nhúng như NVIDIA Drive Orin. Trong y tế, các thiết bị chẩn đoán cầm tay sử dụng mô hình CNN nén để phân tích hình ảnh siêu âm hoặc ECG ngay tại điểm chăm sóc, giảm phụ thuộc vào kết nối đám mây và đảm bảo quyền riêng tư dữ liệu bệnh nhân.

Các ứng dụng IoT cũng phụ thuộc sâu sắc vào model compression: cảm biến thông minh trong nhà máy có thể chạy mô hình phát hiện bất thường (anomaly detection) trên dữ liệu rung động hoặc nhiệt độ mà không cần gửi toàn bộ dữ liệu lên máy chủ; thiết bị đeo tay phân tích tín hiệu EEG để phát hiện cơn động kinh tiềm ẩn dựa trên mô hình LSTM đã được lượng tử hóa và cắt tỉa. Ngay cả trong lĩnh vực nông nghiệp thông minh, drone bay trên cánh đồng sử dụng mô hình YOLO nén để đếm cây trồng và phát hiện sâu bệnh trong thời gian thực, mà không cần hạ cánh để xử lý ảnh.

Ưu điểm và hạn chế

Ưu điểm nổi bật nhất của model compression là khả năng mở rộng khả năng tiếp cận AI tới các nền tảng có tài nguyên cực kỳ hạn chế — từ vi điều khiển 8-bit chỉ có vài KB RAM đến các cảm biến không dây tiêu thụ điện dưới 100µW. Điều này thúc đẩy sự phát triển của các hệ thống phân tán, bảo mật cao (do xử lý cục bộ), và có độ trễ cực thấp — những yếu tố không thể đạt được bằng cách phụ thuộc vào điện toán đám mây. Về mặt kinh tế, việc giảm chi phí vận hành (OPEX) và chi phí cơ sở hạ tầng (CAPEX) cho các trung tâm dữ liệu cũng là lợi ích gián tiếp to lớn.

Tuy nhiên, model compression cũng tồn tại những hạn chế nghiêm trọng. Thứ nhất là sự đánh đổi không thể tránh khỏi giữa hiệu năng và độ chính xác: dù các kỹ thuật hiện đại có thể giữ sai số dưới 1%, nhưng trong các ứng dụng an toàn như y tế hoặc hàng không, ngay cả sai số 0,1% cũng có thể dẫn đến hệ lụy nghiêm trọng. Thứ hai là tính thiếu tính tổng quát: một mô hình nén tốt cho một kiến trúc phần cứng cụ thể (ví dụ: ARM Cortex-M7) có thể hoạt động kém trên kiến trúc khác (ví dụ: RISC-V PULP). Thứ ba là chi phí phát triển tăng cao: quy trình nén, tinh chỉnh và kiểm thử đòi hỏi chuyên gia cả về học máy và phần cứng, làm gia tăng thời gian đưa sản phẩm ra thị trường. Cuối cùng, các mô hình nén thường khó giải thích hơn (less interpretable), gây khó khăn trong việc kiểm định và tuân thủ các quy định về AI có trách nhiệm (responsible AI).

Lưu ý quan trọng

Khi áp dụng model compression, điều quan trọng nhất là phải xác định rõ ràng các ràng buộc hệ thống trước khi lựa chọn kỹ thuật: không phải mô hình nhỏ nhất luôn là tốt nhất, mà là mô hình đáp ứng đầy đủ các chỉ tiêu về độ trễ, tiêu thụ năng lượng, độ chính xác và độ tin cậy trong môi trường triển khai cụ thể. Cần tránh sai lầm phổ biến là áp dụng nén một cách cơ học — ví dụ, lượng tử hóa xuống 4-bit cho mọi lớp — vì điều này có thể làm suy giảm nghiêm trọng hiệu năng nếu lớp đó nhạy cảm với sai số làm tròn. Ngoài ra, việc kiểm thử phải được thực hiện trên phần cứng đích, chứ không chỉ trên môi trường mô phỏng, do các hiệu ứng như tràn số (overflow), làm tròn không đồng nhất và độ trễ bộ nhớ chỉ hiện rõ trong điều kiện thực.

Một lưu ý kỹ thuật khác là cần phân biệt rõ giữa nén mô hình và nén dữ liệu: nén mô hình ảnh hưởng đến logic tính toán, trong khi nén dữ liệu chỉ ảnh hưởng đến lưu trữ và truyền tải. Việc kết hợp cả hai là cần thiết, nhưng phải được thiết kế đồng bộ để tránh các lỗi tương thích. Cuối cùng, các kỹ thuật như knowledge distillation và pruning có thể làm lộ các đặc trưng nội tại của mô hình gốc, gây rủi ro về bảo mật mô hình (model stealing) hoặc tấn công phản bác (adversarial attacks), do đó cần tích hợp các biện pháp bảo vệ như nhiễu hóa (obfuscation) hoặc mã hóa phần mềm khi cần thiết.