Phân loại (Classification)

Nguồn và giấy phép. Đây là bản dịch tiếng Việt của tụi mình cho “4 Classification”, do đội ngũ khóa học MIT 6.390 (trước đây là 6.036) biên soạn; nguồn được truy cập ngày 12/08/2026 và phát hành theo giấy phép CC BY-NC-SA 4.0. Tụi mình diễn đạt lại câu văn bằng tiếng Việt, chuyển thuật toán, ví dụ và câu hỏi sang các khối trình bày phù hợp với trang, đồng thời ghi rõ những chỗ chuẩn hóa ký hiệu. Các hình tương tác của bami-hub được dựng độc lập từ phương trình và tham số của bài học, không sao chép tài sản hình ảnh của nguồn; liên kết đến bản demo gốc vẫn được giữ lại. Bản dịch và phần đóng góp của bami-hub cũng được phát hành theo CC BY-NC-SA 4.0. MIT và đội ngũ khóa học không bảo trợ hay chứng thực bami-hub.

4.1. Phát biểu bài toán

Phân loại (classification) là bài toán học máy tìm một ánh xạ từ đầu vào thuộc $ℝ^{d}$ đến đầu ra thuộc một tập hợp không có thứ tựHiện ghi chú bên lềĐiều này khác với đầu ra là một số thực liên tục như trong hồi quy tuyến tính..

Chẳng hạn, tập đầu ra có thể là ${táo, cam, lê}$ khi ta cần nhận biết loại trái cây, hoặc ${nhồi máu cơ tim, không nhồi máu cơ tim}$ khi nhân viên phòng cấp cứu cần hỗ trợ chăm sóc một bệnh nhân mới. Trước hết, chúng ta tập trung vào trường hợp đơn giản nhưng thiết yếu: phân loại nhị phân (binary classification), trong đó mục tiêu là tìm một ánh xạ từ $ℝ^{d}$ đến hai đầu ra.

Hai đầu ra này không mang thứ tự, nhưng thường được mã hóa thuận tiện thành ${0,1}$ . Như trước, dùng $h$ — viết tắt cho giả thuyết (hypothesis) — để biểu diễn một bộ phân loại (classifier), ta có quy trình:

x \to h \to y .

Giống hồi quy, phân loại là một bài toán học có giám sát (supervised learning). Ta được cung cấp tập dữ liệu huấn luyện

𝒟_{train} = {(x^{(1)}, y^{(1)}), \dots, (x^{(n)}, y^{(n)})} .

Ta giả sử mỗi $x^{(i)}$ là một vector cột kích thước $d \times 1$ . Mục đích của dữ liệu này là giúp giả thuyết đã học sinh ra đầu ra $y^{(i)}$ khi nhận đầu vào $x^{(i)}$ .

Điều gì làm nên một bộ phân loại hữu ích? Cũng như với hồi quy, ta muốn nó dự đoán tốt những mẫu mới chưa từng thấy. Tuy nhiên, khi triển khai trong thực tế, ta không biết chính xác bộ phân loại sẽ gặp dữ liệu kiểm tra nào. Vì vậy, ta phải giả định có mối liên hệ giữa dữ liệu huấn luyện và dữ liệu kiểm tra; thông thường, hai tập được lấy độc lập từ cùng một phân phối xác suất.

Trong bài toán phân loại, ta thường dùng mất mát 0–1 (0-1 loss) để đánh giá, như đã giới thiệu ở Mục 1.3: dự đoán đúng chịu mất mát 0, còn dự đoán sai chịu mất mát 1. Với lựa chọn đó, ta có thể viết lỗi huấn luyện và lỗi kiểm thử. Cụ thể, cho tập huấn luyện $𝒟_{train}$ và bộ phân loại $h$ , lỗi huấn luyện (training error) của $h$ được định nghĩa là

\begin{matrix} \begin{matrix} ℰ_{train} (h) & = \frac{1}{n} \sum_{i = 1}^{n} {\begin{matrix} 1 & h (x^{(i)}) \neq y^{(i)}, \\ 0 & otherwise . \end{matrix} \end{matrix} & (4.1) \end{matrix}

Trong công thức, otherwise nghĩa là trường hợp còn lại, tức dự đoán đúng.

Trước mắt, ta sẽ tìm một bộ phân loại có lỗi huấn luyện nhỏ — sau này sẽ bổ sung thêm tiêu chí — rồi hy vọng nó tổng quát hóa tốt sang dữ liệu mới và đạt lỗi kiểm thử (test error) nhỏ:

\begin{matrix} ℰ_{test} (h) & = \frac{1}{n^{'}} \sum_{i = n + 1}^{n + n^{'}} {\begin{matrix} 1 & h (x^{(i)}) \neq y^{(i)}, \\ 0 & otherwise . \end{matrix} \end{matrix}

Đại lượng này được tính trên $n^{'}$ mẫu mới không tham gia quá trình tìm bộ phân loại.

Trước tiên, ta giới thiệu lớp giả thuyết gồm các bộ phân loại tuyến tính ở Mục 4.2. Sau đó, Mục 4.3 sẽ xây dựng một khuôn khổ tối ưu để học các bộ phân loại logistic tuyến tính.

4.2. Bộ phân loại tuyến tính

Ta bắt đầu với lớp giả thuyết gồm các bộ phân loại tuyến tính (linear classifier). Chúng tương đối dễ hiểu, đơn giản về mặt toán học, tự thân đã mạnh và còn là nền tảng của nhiều phương pháp tinh vi hơn. Sau khi định nghĩa lớp giả thuyết này, ta sẽ trình bày một thuật toán học bộ phân loại.

4.2.1. Định nghĩa

Một bộ phân loại tuyến tính trong không gian $d$ chiều được xác định bởi vector tham số $θ \in ℝ^{d}$ và vô hướng $θ_{0} \in ℝ$ . Vì vậy, lớp giả thuyết $ℋ$ của các bộ phân loại tuyến tính $d$ chiều được tham số hóa bởi tập hợp mọi vector trong $ℝ^{d + 1}$ . Ta giả sử $θ$ là vector cột kích thước $d \times 1$ .

Với các giá trị cụ thể của $θ$ và $θ_{0}$ , bộ phân loại được định nghĩa bằng hàm bước (step function):

\begin{matrix} h (x; θ, θ_{0}) & = step (θ^{T} x + θ_{0}) \\ = {\begin{matrix} + 1 & if θ^{T} x + θ_{0} > 0, \\ 0 & otherwise . \end{matrix} \end{matrix}

Nói cách khác, hàm bước trả về nhãn $+ 1$ khi biểu thức $θ^{T} x + θ_{0}$ dương và trả về nhãn $0$ trong mọi trường hợp còn lại.

Ghi chú (Ghi chú của biên tập viên về nhãn)

Mục 4.1 minh họa cách mã hóa hai lớp bằng ${0,1}$ , còn bộ phân loại tuyến tính ở Mục 4.2 dùng ${+ 1,0}$ . Vì vậy, số $0$ ở đây là nhãn âm theo quy ước của nguồn, không phải $- 1$ . Tụi mình giữ nguyên cả hai quy ước để phản ánh chính xác cách trình bày của nguồn; khi triển khai một mô hình, cần chọn và dùng nhất quán một quy ước nhãn.

Nhắc lại rằng $θ$ và $θ_{0}$ xác định một siêu phẳng affine $d$ chiều — chính là đồ thị của $θ^{T} x + θ_{0}$ trong không gian có thêm một chiều đầu ra, tương tự giả thuyết hồi quy tuyến tính ở Chương 2. Lần này, ta không quan tâm đến giá trị của đồ thị tại từng $x$ mà tập trung vào siêu phẳng phân cách (separator) do nó tạo ra trong không gian đầu vào:

{x \in ℝ^{d} : θ^{T} x + θ_{0} = 0} .

Siêu phẳng phân cách này có $d - 1$ chiều. Vector $θ$ vuông góc với nó, nên $θ$ được gọi là vector pháp tuyến (normal vector) của siêu phẳng phân cách.

Ghi chú (Hai siêu phẳng, hai không gian)

Trong phép so sánh với hồi quy, đồ thị của $θ^{T} x + θ_{0}$ có $d$ chiều và nằm trong không gian $ℝ^{d + 1}$ . Còn tập $θ^{T} x + θ_{0} = 0$ là siêu phẳng phân cách có $d - 1$ chiều trong không gian đầu vào $ℝ^{d}$ . Tụi mình nêu rõ hai đối tượng này để tránh nhập nhằng từ cách diễn đạt rút gọn của nguồn.

Nguồn có một bản demo tương tác về siêu phẳng phân cách và vector pháp tuyến. Trong hai chiều ( $d = 2$ ), siêu phẳng phân cách có một chiều nên trở thành một đường thẳng; hai thành phần của $θ = {[θ_{1}, θ_{2}]}^{T}$ quyết định hướng của đường này.

4.2.2. Ví dụ

Ví dụ (Đường phân cách và vector pháp tuyến)

Cho $h$ là bộ phân loại tuyến tính có

θ = [\begin{matrix} 1 \\ - 1 \end{matrix}], θ_{0} = 1.

Đường phân cách thỏa

x_{1} - x_{2} + 1 = 0,

hay $x_{2} = x_{1} + 1$ . Trong hình của nguồn, vector $θ$ được vẽ từ điểm $(0,1)$ trên đường phân cách đến điểm $(1,0)$ và vuông góc với đường này.

$θ_{0}$ bằng bao nhiêu? Ta có thể tìm tham số này bằng cách thế một điểm trên đường thẳng vào phương trình. Chọn điểm nằm trên một trục thường giúp phép tính gọn hơn. Với $x = {[0,1]}^{T}$ ,

θ^{T} [\begin{matrix} 0 \\ 1 \end{matrix}] + θ_{0} = 0,

nên $θ_{0} = 1$ .

Trong ví dụ này, đường phân cách chia $ℝ^{2}$ — không gian chứa các điểm $x^{(i)}$ — thành hai nửa không gian (half-space). Nửa không gian dương gồm các điểm thỏa $θ^{T} x + θ_{0} > 0$ và nằm về phía được hướng của vector pháp tuyến quy định; mọi điểm ở đó được phân loại là dương. Nửa không gian còn lại gồm các điểm thỏa $θ^{T} x + θ_{0} \leq 0$ và được phân loại là âm.

Ta gọi một siêu phẳng là siêu phẳng phân cách tuyến tính (linear separator) của một tập dữ liệu nếu mọi điểm mang một nhãn nằm ở một phía và mọi điểm mang nhãn còn lại nằm ở phía kia. Nếu tồn tại một siêu phẳng như vậy, tập dữ liệu được gọi là phân tách tuyến tính được (linearly separable).

Ví dụ (Phân loại hai điểm)

Cho $h$ là bộ phân loại tuyến tính có

θ = [\begin{matrix} - 1 \\ 1.5 \end{matrix}], θ_{0} = 3.

Xét hai điểm

x^{(1)} = [\begin{matrix} 3 \\ 2 \end{matrix}], x^{(2)} = [\begin{matrix} 4 \\ - 1 \end{matrix}] .

Khi đó,

\begin{matrix} h (x^{(1)}; θ, θ_{0}) & = step ([\begin{matrix} - 1 & 1.5 \end{matrix}] [\begin{matrix} 3 \\ 2 \end{matrix}] + 3) = step (3) = + 1, \\ h (x^{(2)}; θ, θ_{0}) & = step ([\begin{matrix} - 1 & 1.5 \end{matrix}] [\begin{matrix} 4 \\ - 1 \end{matrix}] + 3) = step (- 2.5) = 0. \end{matrix}

Vì vậy, $x^{(1)}$ được phân loại là dương, với nhãn $+ 1$ , còn $x^{(2)}$ được phân loại là âm, với nhãn $0$ .

Hãy kéo từng thành phần của $θ$ và $θ_{0}$ trong hình dưới đây. Quan sát đồng thời hướng của đường phân cách, phía mà vector pháp tuyến chỉ tới, và điểm số của hai mẫu. Nút “Ví dụ đường thẳng” chuyển sang bộ tham số của ví dụ đầu tiên; “Đặt lại” trở về ví dụ hai điểm.

Bộ phân loại tuyến tính trong hai chiều

Đường phân cách: −x₁ + 1.5x₂ + 3 = 0

Thành phần θ₁-1Thành phần θ₂1,5Hệ số chặn θ₀3

Phương trình−x₁ + 1.5x₂ + 3 = 0

x¹3 → +1

x²-2,5 → 0

Đường phân cách là tập điểm có điểm số θᵀx + θ₀ bằng 0; vector θ vuông góc với đường phân cách và chỉ về phía nửa không gian dương. Hình tròn và hình vuông giữ danh tính của hai điểm trong ví dụ, còn nhãn và điểm số viết cạnh hình giúp đọc kết quả mà không phụ thuộc riêng vào màu sắc.

Hình tương tác cần JavaScript. Trạng thái tĩnh dùng θ = (−1, 1.5), θ₀ = 3: x¹ = (3, 2) có điểm 3 và nhãn +1; x² = (4, −1) có điểm −2.5 và nhãn 0.

Bài tập

Trong hình minh họa của nguồn, vector màu xanh nào là pháp tuyến của đường phân cách? Hãy viết nó dưới dạng vector cột.

Bài tập

Phải thay đổi $θ$ và $θ_{0}$ như thế nào để giữ nguyên vị trí của siêu phẳng phân cách nhưng đổi mọi điểm mang dấu “+” trong hình nguồn thành lớp âm và mọi điểm mang dấu “−” thành lớp dương?

4.3. Bộ phân loại logistic tuyến tính

Cho một tập dữ liệu và lớp giả thuyết gồm các bộ phân loại tuyến tính, mục tiêu của ta là tìm bộ phân loại tối ưu một hàm mục tiêu liên hệ các dự đoán với dữ liệu huấn luyện. Để bài toán có thể giải được với chi phí tính toán hợp lý, ta phải cẩn thận khi phát biểu bài toán tối ưu.

Trong phân loại, dự đoán thuộc ${+ 1,0}$ và hàm mất mát 0–1 $ℒ_{01}$ là một lựa chọn tự nhiên, như đã giới thiệu ở Mục 1.3:

ℒ_{01} (g, a) = {\begin{matrix} 0 & if g = a, \\ 1 & otherwise . \end{matrix}

Tuy nhiên, ngay cả với bộ phân loại tuyến tính đơn giản, việc tìm $θ, θ_{0}$ làm cực tiểu lỗi huấn luyện 0–1

J (θ, θ_{0}) = \frac{1}{n} \sum_{i = 1}^{n} ℒ_{01} (step (θ^{T} x^{(i)} + θ_{0}), y^{(i)})

là một bài toán rất khó. Bài toán này NP-khó (NP-hard), nên có lẽ việc giải những trường hợp khó nhất sẽ cần thời gian tính toán tăng theo hàm mũ của số mẫu huấn luyện $n$ Hiện ghi chú bên lềTừ “có lẽ” không xuất phát từ việc nguồn ngại tra cứu. Nó liên quan đến bài toán nền tảng chưa có lời giải trong lý thuyết khoa học máy tính: P so với NP (P vs. NP)..

Điểm khiến bài toán tối ưu này khó là hàm mục tiêu không “trơn”:

Hai giả thuyết $(θ, θ_{0})$ và $(θ^{'}, θ_{0}^{'})$ có thể cách nghiệm tối ưu $(θ^{*}, θ_{0}^{*})$ những khoảng khác nhau trong không gian tham số nhưng phân loại sai cùng số mẫu, nên có cùng giá trị $J$ .
Mọi dự đoán đều mang tính phân loại: bộ phân loại không thể biểu đạt mức độ chắc chắn rằng đầu vào $x$ nên nhận nhãn $y$ nào.

Vì vậy, nếu một giả thuyết $(θ, θ_{0})$ đang dự đoán sai năm mẫu, ta khó biết cần thay đổi các tham số theo hướng nào để cải thiện kết quả. Điều đó cũng khiến việc thiết kế một thuật toán tìm kiếm có định hướng trong không gian giả thuyết trở nên khó khăn. Ta sẽ xét một lớp giả thuyết khác — bộ phân loại logistic tuyến tính — rồi xây dựng cách học lớp này bằng tối ưu hóa.

4.3.1. Định nghĩa

Các giả thuyết trong một bộ phân loại logistic tuyến tính (linear logistic classifier, LLC) được tham số hóa bởi vector $d$ chiều $θ$ và vô hướng $θ_{0}$ , giống bộ phân loại tuyến tính. Tuy nhiên, thay vì dự đoán trong ${+ 1,0}$ , giả thuyết LLC sinh đầu ra thực thuộc khoảng $(0,1)$ :

h (x; θ, θ_{0}) = σ (θ^{T} x + θ_{0}) .

Hình thức này trông quen thuộc. Thành phần mới là gì?

Hàm logistic (logistic function), còn gọi là hàm sigmoid (sigmoid function), được định nghĩa bởi

σ (z) = \frac{1}{1 + e^{- z}} .

Đầu ra của hàm có thể được diễn giải như một xác suất vì $σ (z) \in (0,1)$ với mọi $z$ .

Bài tập

Hãy kiểm tra rằng đầu ra của $σ$ luôn thuộc khoảng $(0,1)$ . Vì sao nó không thể bằng 0 hoặc 1? Với giá trị $z$ nào thì $σ (z) = 0.5$ ?

4.3.2. Ví dụ

Một LLC có hình dạng như thế nào? Trước hết, xét trường hợp đơn giản $d = 1$ , nên các đầu vào nằm trên trục $x$ . Bộ phân cách khi đó có chiều 0, tức là một điểm. Hình trong nguồn biểu diễn ba LLC với các bộ tham số khác nhau:

σ (10 x + 1), σ (- 2 x + 1), σ (2 x - 3) .

Chọn lần lượt ba công thức rồi thay đổi $θ$ và $θ_{0}$ . Hình cho thấy $θ$ điều khiển chiều và độ dốc của chuyển tiếp, còn $θ_{0}$ dịch điểm cắt; cùng một điểm số affine cũng tạo đường phân cách trong hai chiều.

Khám phá sigmoid và LLC

Ngưỡng τ = 0,5 biến xác suất thành miền dự đoán; cùng phương trình đó tạo đường phân cách 2D.

Công thức nguồn

Hệ số θ10.0Hệ số chặn θ₀1.0

LLC đang xétσ(10.0x + 1.0)

Điểm cắt τ-0.100

Ngưỡng τ0.50

Miền dươngx > -0.10

σ(0)0.731

Các đường mảnh giữ nguyên ba công thức nguồn; đường đậm là LLC đang được chọn. Đường ngang τ và điểm cắt cho biết miền dự đoán dương (phía phải hoặc phía trái tùy dấu của θ). Ở bên phải, cùng ngưỡng đó cho đường phân cách θx₁ + x₂ + θ₀ = logit(τ); vector pháp tuyến được vẽ bằng mũi tên hình học, không chỉ bằng màu.

Hình tương tác cần JavaScript. Trạng thái đại diện của σ(10x + 1) với ngưỡng 0,5 cắt trục tại x = −0,1 và dự đoán lớp dương khi x > −0,1; trong hai chiều, ngưỡng 0,5 tạo đường θx₁ + x₂ + θ₀ = 0.

Bài tập

Đường cong nào trong hình của nguồn ứng với từng biểu thức? Đại lượng nào quyết định độ dốc của đường cong? Đại lượng nào quyết định giá trị $x$ tại đó đầu ra bằng $0.5$ ?

Nhưng hãy khoan: theo định nghĩa, một bộ phân loại là ánh xạ từ $ℝ^{d}$ đến ${+ 1,0}$ hoặc một tập rời rạc khác. Như vậy, LLC với đầu ra thuộc $(0,1)$ dường như không thực sự là một bộ phân loại.

Nếu buộc phải biến đầu ra của LLC thành dự đoán trong ${+ 1,0}$ , lựa chọn mặc định là dự đoán $+ 1$ khi $σ (θ^{T} x + θ_{0}) > 0.5$ và dự đoán $0$ trong trường hợp còn lại. Giá trị $0.5$ đôi khi được gọi là ngưỡng dự đoán (prediction threshold).

Trong những bối cảnh khác nhau, ta có thể muốn chọn một ngưỡng khác. Lý thuyết quyết định (decision theory) nghiên cứu cách đưa ra lựa chọn này. Chẳng hạn, nếu hậu quả của việc dự đoán $+ 1$ khi nhãn đúng là $0$ nghiêm trọng hơn nhiều so với việc dự đoán $0$ khi nhãn đúng là $+ 1$ , ta có thể đặt ngưỡng dự đoán lớn hơn $0.5$ .

Bài tập

Với ngưỡng dự đoán $0.5$ , mỗi LLC trong hình một chiều của nguồn dự đoán $+ 1$ cho những giá trị $x$ nào?

Khi $d = 2$ , đầu vào $x$ nằm trong không gian hai chiều có các trục $x_{1}, x_{2}$ , còn đầu ra của LLC tạo thành một mặt. Nguồn minh họa trường hợp $θ = (1,1)$ và $θ_{0} = 2$ .

Bài tập

Hãy kiểm tra rằng tập điểm thỏa $σ (θ^{T} x + θ_{0}) = 0.5$ — tức “biên” giữa dự đoán dương và âm khi ngưỡng bằng $0.5$ — là một đường thẳng trong không gian $(x_{1}, x_{2})$ . Với tham số trong hình nguồn, đó là đường nào? Hình sẽ thay đổi thế nào nếu $θ = (1,1), θ_{0} = - 2$ ? Nếu $θ = (- 1, - 1), θ_{0} = 2$ thì sao?

4.3.3. Học bộ phân loại logistic tuyến tính

Tối ưu hóa là một cách tiếp cận chủ chốt để giải bài toán học máy. Ta cũng có thể học LLC bằng cách định nghĩa một hàm mất mát thích hợp rồi tối ưu nó. Thử nghiệm đầu tiên có thể là mất mát 0–1 $ℒ_{01}$ , bằng 0 cho dự đoán đúng và 1 cho dự đoán sai. Tuy nhiên, như vừa thấy, hàm mục tiêu sinh ra từ lựa chọn này rất khó tối ưu, nên ta cần một chiến lược khác.

Lớp giả thuyết LLC cho đầu ra trong $(0,1)$ , còn dữ liệu huấn luyện có nhãn $y \in {+ 1,0}$ . Ta sẽ thay đổi cách diễn giải đầu ra: xem nó là xác suất đầu vào được ánh xạ đến nhãn 1 — cũng có thể nói là xác suất đầu vào thuộc lớp 1 hoặc lớp dương.

Bài tập

Nếu $h (x)$ là xác suất $x$ thuộc lớp $+ 1$ , thì xác suất $x$ thuộc lớp $- 1$ là bao nhiêu, giả sử chỉ có hai lớp?

Ghi chú (Ghi chú của biên tập viên về nhãn âm)

Câu hỏi của nguồn viết lớp âm là $- 1$ , dù bộ phân loại trong Mục 4.2 dùng nhãn $0$ . Với cách mã hóa nhị phân đang dùng cho NLL, lớp dương $+ 1$ được biểu diễn bằng $y = 1$ và lớp âm bằng $y = 0$ ; xác suất lớp âm là $1 - h (x)$ . Tụi mình giữ ký hiệu $- 1$ trong câu hỏi và nêu rõ phép ánh xạ để không che đi sự thiếu nhất quán của nguồn.

Về trực giác, mất mát nên nhỏ khi mô hình gán xác suất cao cho lớp đúng. Ta sẽ định nghĩa mất mát log-likelihood âm (negative log-likelihood loss, NLL) có tính chất đó. Hàm này còn mở rộng thuận tiện sang bài toán có nhiều hơn hai lớp.

Để đơn giản hóa cách trình bày, từ đây ta giả sử nhãn huấn luyện đã có — hoặc đã được chuyển về — dạng $y \in {0,1}$ Hiện ghi chú bên lềKhi học LLC bằng NLL, cần kiểm tra chắc chắn rằng các giá trị $y$ có đúng dạng này..

Ta muốn chọn tham số sao cho LLC gán xác suất lớn nhất cho các nhãn đúng trong tập huấn luyện. Đặt

g^{(i)} = σ (θ^{T} x^{(i)} + θ_{0}) .

Dưới giả định các dự đoán độc lập, xác suất ấy là

\prod_{i = 1}^{n} {\begin{matrix} g^{(i)} & if y^{(i)} = 1, \\ 1 - g^{(i)} & otherwise . \end{matrix}

Ký hiệu $\prod$ biểu thị phép nhân nhiều thừa số, tương tự như $\sum$ biểu thị phép cộng nhiều số hạng. Khi $y^{(i)} \in {0,1}$ , biểu thức trên có thể viết gọn thành

\prod_{i = 1}^{n} {g^{(i)}}^{y^{(i)}} {(1 - g^{(i)})}^{1 - y^{(i)}} .

Ghi chú (Ghi chú của biên tập viên về tính độc lập)

Nguồn viết rút gọn là “các dự đoán độc lập.” Cách hiểu xác suất chính xác hơn là các nhãn quan sát độc lập có điều kiện khi đã biết các đầu vào và tham số mô hình, phù hợp với giả định lấy mẫu độc lập của tập dữ liệu.

Bài tập

Hãy giải thích vì sao hai biểu thức tích trên tương đương.

Tích lớn này khó xử lý trực tiếp. Vì hàm log đồng biến, bộ tham số $θ, θ_{0}$ làm cực đại tích cũng làm cực đại log của nó:

\sum_{i = 1}^{n} (y^{(i)} \log g^{(i)} + (1 - y^{(i)}) \log (1 - g^{(i)})) .

Cuối cùng, lấy đối của biểu thức biến bài toán cực đại thành bài toán cực tiểu

\sum_{i = 1}^{n} ℒ_{nll} (g^{(i)}, y^{(i)}),

trong đó

ℒ_{nll} (guess, actual) = - (actual \cdot \log (guess) + (1 - actual) \cdot \log (1 - guess)) .

Hàm này còn được gọi là mất mát log (log loss) hoặc entropy chéo (cross-entropy)Hiện ghi chú bên lềTheo nguồn, lựa chọn cơ số log không tạo khác biệt thực chất ở đây. Khi nguồn yêu cầu tính số, hãy dùng cơ số $e$ , tức $\ln$ ..

Ghi chú (Ghi chú của biên tập viên về cơ số log)

Với riêng NLL, đổi cơ số chỉ nhân toàn bộ mất mát với một hằng số dương nên không đổi nghiệm cực tiểu. Khi có số hạng chính quy hóa và giữ nguyên $λ$ , phép đổi này làm thay đổi tỷ lệ tương đối giữa hai số hạng; khi đó cần điều chỉnh $λ$ tương ứng.

Hàm mục tiêu cho phân loại logistic tuyến tính là gì? Ta có thể ghép các thành phần để xây dựng hàm mục tiêu NLL có chính quy hóa cho LLC. Quá trình này thường được gọi là hồi quy logistic (logistic regression), nên ký hiệu hàm mục tiêu là

\begin{matrix} J_{lr} (θ, θ_{0}; 𝒟) = (\frac{1}{n} \sum_{i = 1}^{n} ℒ_{nll} (σ (θ^{T} x^{(i)} + θ_{0}), y^{(i)})) + λ {‖ θ ‖}^{2} . & (4.2) \end{matrix}

Ghi chú (Ghi chú của biên tập viên về λ)

Nguồn không nhắc lại miền của $λ$ tại đây. Theo quy ước chính quy hóa đã đặt ở Chương 2, $λ \geq 0$ ; điều kiện này cũng cần thiết khi dùng tính lồi của số hạng $λ {‖ θ ‖}^{2}$ trong toàn bộ hàm mục tiêu.

Bài tập

Xét dữ liệu phân tách tuyến tính được. Các giá trị $θ$ tối ưu hàm mục tiêu sẽ có đặc điểm gì khi $λ = 0$ ? Khi $λ$ rất lớn thì sao? Hãy thử xây dựng một ví dụ một chiều có hai điểm dữ liệu.

Chính quy hóa đóng vai trò gì đối với bộ phân loại? Hàm mục tiêu trên có cùng cấu trúc với hàm mục tiêu hồi quy ở (2.2): số hạng trong ngoặc là mất mát trung bình, còn số hạng thứ hai là chính quy hóa. Cũng như trong hồi quy, chính quy hóa cần thiết để xây dựng bộ phân loại có khả năng tổng quát hóa tốt; $λ$ điều khiển sự đánh đổi giữa hai số hạng.

Nguồn minh họa một tập dữ liệu một chiều có thể được khớp rất sát bởi $h (x) = σ (θ x)$ . Nhưng giá trị $θ$ nào là tốt nhất? Khi không chính quy hóa, tức $λ = 0$ , $J_{lr} (θ)$ tiến về 0 khi $θ$ tăng lớn. Nhưng một $θ$ vô hạn hoặc rất lớn có thực sự là giả thuyết tốt nhất không? Nó biểu thị mức độ chắc chắn rất cao rằng chuyển tiếp đột ngột giữa $y = 0$ và $y = 1$ xảy ra đúng tại $x = 0$ , dù dữ liệu thực tế có một khoảng trống rộng quanh điểm đó.

Khi không có niềm tin bổ sung về nghiệm, ta có thể muốn LLC không quá tự tin và do đó ưu tiên $θ$ nhỏ hơn. Một giả thuyết bớt tự tin có thể hoạt động tốt hơn trên các mẫu tương lai lấy từ cùng phân phối. Có thể thể hiện ưu tiên này bằng $λ > 0$ ; hình bên phải của nguồn dùng $λ = 0.2$ . Một cách nhìn khác là chính quy hóa giúp giả thuyết bớt phụ thuộc vào đúng tập huấn luyện đã quan sát: nếu dữ liệu huấn luyện thay đổi nhẹ, giả thuyết cũng không nên thay đổi quá nhiều.

Hãy thay đổi $θ$ trong hình dưới đây và so sánh hai hàm mục tiêu. Với $λ = 0$ , NLL tiếp tục giảm khi mô hình ngày càng chắc chắn; số hạng $0.2 θ^{2}$ tạo một cực tiểu hữu hạn và làm rõ vai trò của chính quy hóa.

Chính quy hóa giữ độ chắc chắn hữu hạn

Tập dữ liệu đối xứng có khoảng trống quanh x = 0; λ = 0 và λ = 0,2 dùng cùng một NLL.

Hệ số θ trong h(x) = σ(θx)0.80

Mốc θ

NLL (λ = 0)0.2775

J_lr (λ = 0,2)0.4055

h(1)0.690

h(2)0.832

Bốn điểm đối xứng là một ví dụ phân tách được: khi θ tăng dương, các dự đoán tiến gần nhãn đúng 0 hoặc 1 nên NLL không chính quy hóa tiếp tục giảm về 0. Số hạng 0,2θ² tạo một đáy hữu hạn tại θ ≈ 0.80, vì vậy nghiệm không cần trở nên vô hạn để biểu diễn sự chắc chắn.

Hình tương tác cần JavaScript. Với dữ liệu đối xứng x = −2, −1, 1, 2 và nhãn 0, 0, 1, 1, NLL khi λ = 0 giảm dần về 0 khi θ tăng dương; λ = 0,2 thêm 0,2θ² và tạo cực tiểu hữu hạn gần θ = 0,8.

4.4. Giảm dần theo gradient cho hồi quy logistic

Ta đã có lớp giả thuyết LLC và hàm mất mát NLL; bước tiếp theo là tìm tham số từ dữ liệu. Không có nghiệm giải tích thuận tiện như nghiệm hồi quy ở Mục 2.7.2. May thay, ta có thể áp dụng phương pháp giảm dần theo gradient cho $J_{lr}$ , hoặc dùng SGD.

$J_{lr}$ có những tính chất đủ thuận lợi để GD và SGD nhìn chung hoạt động tốt. Ở Mục 6.7 của nguồn, ta sẽ gặp các bài toán tối ưu khó hơn trong bối cảnh mạng neural.

Trước hết, cần đạo hàm theo cả thành phần vô hướng $θ_{0}$ và thành phần vector $θ$ của $Θ$ . Đặt $g^{(i)} = σ (θ^{T} x^{(i)} + θ_{0})$ , ta có

\begin{matrix} \nabla_{θ} J_{lr} (θ, θ_{0}) & = \frac{1}{n} \sum_{i = 1}^{n} (g^{(i)} - y^{(i)}) x^{(i)} + 2 λ θ, \\ \frac{\partial J_{lr} (θ, θ_{0})}{\partial θ_{0}} & = \frac{1}{n} \sum_{i = 1}^{n} (g^{(i)} - y^{(i)}) . \end{matrix}

$\nabla_{θ} J_{lr}$ có kích thước $d \times 1$ , còn $\partial J_{lr} / \partial θ_{0}$ là một vô hướng vì ta đã tách $θ_{0}$ khỏi $θ$ .

Bài tập

Hãy kiểm tra kích thước của mọi đại lượng trên với giả định $θ$ có kích thước $d \times 1$ .

Bài tập

Hãy tính $\nabla_{θ} {‖ θ ‖}^{2}$ bằng vector các đạo hàm riêng

(\frac{\partial {‖ θ ‖}^{2}}{\partial θ_{1}}, \dots, \frac{\partial {‖ θ ‖}^{2}}{\partial θ_{d}}) .

$\nabla_{θ} {‖ θ ‖}^{2}$ có kích thước gì?

Bài tập

Hãy tính $\nabla_{θ} ℒ_{nll} (σ (θ^{T} x + θ_{0}), y)$ bằng cách tìm vector đạo hàm riêng theo $θ_{1}, \dots, θ_{d}$ .

Bài tập

Dùng hai kết quả vừa tìm để kiểm chứng phép suy diễn gradient ở trên.

Kết hợp các thành phần, ta thu được thuật toán GD cho hồi quy logistic của nguồn:

Thuật toán 4.1 LR-Gradient-Descent( $θ_{init}, θ_{0 init}, η, ϵ$ )

1: $θ^{(0)} \leftarrow θ_{init}$

2: $θ_{0}^{(0)} \leftarrow θ_{0 init}$

3: $t \leftarrow 0$

4:repeat

5: $t \leftarrow t + 1$

6: $θ^{(t)} \leftarrow θ^{(t - 1)} - η (\frac{1}{n} \sum_{i = 1}^{n} (σ (θ^{(t - 1) T} x^{(i)} + θ_{0}^{(t - 1)}) - y^{(i)}) x^{(i)} + 2 λ θ^{(t - 1)})$

7: $θ_{0}^{(t)} \leftarrow θ_{0}^{(t - 1)} - η (\frac{1}{n} \sum_{i = 1}^{n} (σ (θ^{(t - 1) T} x^{(i)} + θ_{0}^{(t - 1)}) - y^{(i)}))$

8:until $| J_{lr} (θ^{(t)}, θ_{0}^{(t)}) - J_{lr} (θ^{(t - 1)}, θ_{0}^{(t - 1)}) | < ϵ$

9:return $θ^{(t)}, θ_{0}^{(t)}$

Hồi quy logistic, khi được triển khai bằng GD theo toàn bộ lô hoặc SGD, là một kỹ thuật học máy nền tảng và hữu ích. Sau này ta sẽ thấy nó tương ứng với một mạng neural một tầng dùng hàm kích hoạt sigmoid, nên đây cũng là bước quan trọng để hiểu mạng neural.

4.4.1. Tính lồi của hàm mất mát NLL

Tương tự mất mát bình phương trong hồi quy tuyến tính, mất mát NLL của hồi quy logistic tuyến tính có tính lồi (convexity) theo các tham số $θ$ và $θ_{0}$ . Vì vậy, GD với một bộ siêu tham số hợp lý sẽ có hành vi thuận lợi.

Chứng minh (Chứng minh tính lồi của mất mát NLL).

Ta dùng ba tính chất:

Nếu đạo hàm của một hàm một biến vô hướng tăng đơn điệu, hàm đó lồi.
Tổng các hàm lồi cũng là hàm lồi.
Hàm lồi của một hàm affine là hàm lồi.

Đặt $z = θ^{T} x + θ_{0}$ . Vì $z$ là hàm affine (affine function) theo $θ, θ_{0}$ , chỉ cần chứng minh

f_{1} (z) = - \log σ (z), f_{2} (z) = - \log (1 - σ (z))

lồi theo $z$ . Với $f_{1}$ ,

\begin{matrix} \frac{d}{d z} f_{1} (z) & = \frac{d}{d z} [- \log σ (z)] \\ = - \frac{1}{σ (z)} \frac{d}{d z} σ (z) \\ = - \frac{1}{σ (z)} σ (z) (1 - σ (z)) \\ = σ (z) - 1. \end{matrix}

Đạo hàm này tăng đơn điệu, nên $f_{1}$ lồi. Tương tự,

\begin{matrix} \frac{d}{d z} f_{2} (z) & = \frac{d}{d z} [- \log (1 - σ (z))] \\ = - \frac{1}{1 - σ (z)} \frac{d}{d z} [1 - σ (z)] \\ = \frac{1}{1 - σ (z)} \frac{d}{d z} σ (z) \\ = \frac{1}{1 - σ (z)} σ (z) (1 - σ (z)) \\ = σ (z) . \end{matrix}

Đạo hàm của $f_{2}$ cũng tăng đơn điệu, nên $f_{2}$ lồi.

4.5. Xử lý nhiều lớp

Đến đây, ta chỉ xét phân loại nhị phân với hai lớp. Nếu bài toán có nhiều lớp — chẳng hạn dự đoán thể loại phim — có hai chiến lược cơ bản:

Huấn luyện nhiều bộ phân loại nhị phân trên các phần dữ liệu khác nhau rồi kết hợp đầu ra để dự đoán lớp.
Huấn luyện trực tiếp một bộ phân loại đa lớp bằng cách tổng quát hóa hồi quy logistic, sử dụng mã hóa one-hot (one-hot encoding) và mất mát NLL.

Phương pháp dựa trên NLL được dùng rộng rãi hơn, đặc biệt trong mạng neural, nên nguồn tập trung vào phương pháp này. Giả sử tập dữ liệu $𝒟$ có đầu vào $x^{(i)} \in ℝ^{d}$ và đầu ra $y^{(i)}$ thuộc một trong $K$ lớp ${c_{1}, \dots, c_{K}}$ .

Ta mở rộng NLL sang phân loại đa lớp (multiclass classification). Nhãn huấn luyện được biểu diễn bằng vector one-hot (one-hot vector)

y = {[\begin{matrix} y_{1} & \dots & y_{K} \end{matrix}]}^{T},

trong đó $y_{k} = 1$ nếu mẫu thuộc lớp $k$ , còn các thành phần khác bằng 0. Bài toán là ánh xạ $x^{(i)} \in ℝ^{d}$ đến một đầu ra $K$ chiều có thể diễn giải như phân phối xác suất rời rạc (discrete probability distribution): mọi thành phần không âm và tổng bằng 1.

Ta thực hiện qua hai bước. Trước hết, ánh xạ đầu vào $x$ sang $z \in ℝ^{K}$ bằng ma trận tham số $θ$ kích thước $d \times K$ và vector $θ_{0}$ kích thước $K \times 1$ :

z = θ^{T} x + θ_{0} .

$θ^{T}$ có kích thước $K \times d$ , $x$ có kích thước $d \times 1$ và $θ_{0}$ có kích thước $K \times 1$ , nên $z$ có kích thước $K \times 1$ .

Tiếp theo, mở rộng sigmoid thành hàm softmax (softmax function), nhận vector $z \in ℝ^{K}$ và sinh

g = softmax (z) = [\begin{matrix} \exp (z_{1}) / \sum_{i = 1}^{K} \exp (z_{i}) \\ ⋮ \\ \exp (z_{K}) / \sum_{i = 1}^{K} \exp (z_{i}) \end{matrix}] .

Ghi chú (Ghi chú của biên tập viên về chỉ số)

Nguồn viết mẫu số dưới dạng $\sum_{i} \exp (z_{i})$ mà không ghi cận và dùng lại $i$ , ký hiệu vốn đã chỉ số mẫu dữ liệu. Tụi mình chuẩn hóa thành $\sum_{i = 1}^{K} \exp (z_{i})$ trong công thức trên; tổng này luôn chạy qua $K$ thành phần của cùng một vector $z$ .

$g$ có thể được diễn giải là một phân phối xác suất trên $K$ lớp. Để đưa ra nhãn dự đoán cuối cùng, ta tìm thành phần lớn nhất của $g$ , chọn lớp có chỉ số tương ứng và tạo vector one-hot dự đoán với giá trị 1 tại vị trí đó.

Bài tập

Hãy kiểm tra rằng mọi thành phần của $g$ đều không âm và tổng của chúng bằng 1.

Kết hợp hai bước, lớp giả thuyết có dạng

h (x; θ, θ_{0}) = softmax (θ^{T} x + θ_{0}) .

Ta vẫn muốn cực đại hóa xác suất mà giả thuyết gán cho đầu ra đúng. Với một mẫu $(x, y)$ , đặt $g = h (x)$ , xác suất ấy là

\prod_{k = 1}^{K} g_{k}^{y_{k}} .

Bài tập

Có bao nhiêu thừa số trong tích trên khác 1?

Lấy log âm của xác suất dự đoán đúng, với $y$ là vector one-hot và $g$ là vector phân phối xác suất, ta được mất mát log-likelihood âm đa lớp (multiclass negative log-likelihood, NLLM):

ℒ_{nllm} (g, y) = - \sum_{k = 1}^{K} y_{k} \log (g_{k}) .

NLLM cũng là một hàm lồi, nhưng nguồn không trình bày chứng minh.

Bài tập

Hãy giải thích vì sao $ℒ_{nllm}$ đạt giá trị nhỏ khi dự đoán gán xác suất cao cho lớp đúng.

Bài tập

Hãy chỉ ra rằng khi $K = 2$ , $ℒ_{nllm}$ tương đương với $ℒ_{nll}$ .

4.6. Độ chính xác dự đoán và kiểm định

Để phát biểu bài toán phân loại bằng một hàm mục tiêu trơn có thể tối ưu ổn định bằng GD, ta đã chuyển đầu ra từ lớp rời rạc sang giá trị xác suất và chuyển hàm mất mát từ 0–1 sang NLL. Tuy nhiên, khi thực sự dự đoán, ta thường phải đưa ra lựa chọn dứt khoát: mua cổ phiếu của Acme hay không? Kết quả được tính là đúng hoặc sai, không phụ thuộc vào mức độ chắc chắn lúc đưa ra quyết định.

Hiệu năng của bộ phân loại thường được đặc trưng bằng độ chính xác (accuracy) — tỷ lệ mẫu được dự đoán đúng khi dùng mất mát 0–1. Nhân tỷ lệ này với 100 sẽ cho tỷ lệ phần trăm. Độ chính xác của giả thuyết $h$ trên dữ liệu $𝒟$ là phần dữ liệu không chịu mất mát:

A (h; 𝒟) = 1 - \frac{1}{n} \sum_{i = 1}^{n} ℒ_{01} (g^{(i)}, y^{(i)}),

trong đó $g^{(i)}$ là dự đoán lớp cuối cùng được tạo từ $h (x^{(i)})$ , chẳng hạn sau khi áp dụng ngưỡng.

Ghi chú (Ghi chú của biên tập viên về ký hiệu g)

Ở Mục 4.6, $g^{(i)}$ là một quyết định lớp rời rạc được đưa vào mất mát 0–1. Nó không phải vector xác suất softmax cũng được ký hiệu là $g$ ở Mục 4.5; với bài toán đa lớp, quyết định cứng thường được lấy bằng lớp có xác suất lớn nhất.

Điểm đáng chú ý là ta dùng một hàm mất mát để tối ưu và một hàm khác để đánh giá. Đây là sự đánh đổi nhằm giúp việc tính toán và tối ưu trở nên khả thi, hiệu quả hơn.

Ghi chú (Phạm vi của mục kiểm định)

Tiêu đề nguồn nhắc đến kiểm định, nhưng nội dung Mục 4.6 chỉ định nghĩa độ chính xác và phân biệt mất mát tối ưu với mất mát đánh giá; nguồn không trình bày thêm quy trình chia hay sử dụng tập kiểm định trong mục này.

Tài liệu tham khảo

MIT 6.390 course staff, “4 Classification”, truy cập ngày 12/08/2026, giấy phép CC BY-NC-SA 4.0.