Giới thiệu về học máy

Nguồn và giấy phép. Đây là bản dịch tiếng Việt của tụi mình cho “1 Introduction”, do đội ngũ khóa học MIT 6.390 (trước đây là 6.036) biên soạn; nguồn được truy cập ngày 06/08/2026 và phát hành theo giấy phép CC BY-NC-SA 4.0. Tụi mình diễn đạt lại câu văn bằng tiếng Việt và bổ sung các ghi chú được đánh dấu rõ, nhưng không lược bỏ nội dung chuyên môn của nguồn. Bản dịch và phần đóng góp của bami-hub cũng được phát hành theo CC BY-NC-SA 4.0. MIT và đội ngũ khóa học không bảo trợ hay chứng thực bami-hub.

Trọng tâm của học máy (Machine Learning, ML) là đưa ra dự đoán hoặc quyết định dựa trên dữ liệu. Các lĩnh vực khác dùng kỹ thuật tương tự nhưng nhắm mục tiêu khác: kinh tế học và tâm lý học tìm quá trình nhân quả ẩn sau dữ liệu, thống kê tìm mô hình khớp tốt với dữ liệu — ở đó mô hình là sản phẩm cuối cùng. Học máy cũng khớp mô hình, nhưng xem đó là phương tiện để đạt mục đích: dự đoán hoặc quyết định tốtHiện ghi chú bên lềMô tả này được diễn giải lại từ một bài đăng ngày 04/09/2012 trên andrewgelman.com..

Nhờ tiến bộ về năng lực và phạm vi áp dụng, ML thường là cách tiếp cận tốt nhất xét về tốc độ, công sức kỹ thuật và độ ổn định — như phát hiện khuôn mặt (face detection), nhận dạng tiếng nói (speech recognition), và nhiều tác vụ xử lý ngôn ngữ. Hầu hết ứng dụng cần hiểu dữ liệu hay tín hiệu thực tế đều có thể giải quyết hiệu quả bằng ML.

Dù vậy, con người vẫn giữ vai trò thiết yếu: định hình bài toán, thu thập và tổ chức dữ liệu, thiết kế không gian lời giải, chọn thuật toán học cùng tham số, chạy thuật toán, thẩm định kết quả trước khi đưa vào sử dụng, và tìm hiểu tác động lên những người chịu ảnh hưởngHiện ghi chú bên lềVai trò này thường bị đánh giá thấp..

Nền tảng khái niệm của việc học từ dữ liệu là bài toán quy nạp (problem of induction): vì sao dữ liệu quá khứ lại giúp ta dự đoán tương lai? Đây là câu hỏi triết học lâu đời. Trong khóa học này, ta cụ thể hóa nó bằng các giả định — dữ liệu huấn luyện độc lập và cùng phân phối (i.i.d.), các truy vấn mới đến từ cùng phân phối với dữ liệu huấn luyện, hoặc câu trả lời thuộc một tập phương án đã biết trướcHiện ghi chú bên lềNghĩa là các phần tử trong tập chỉ liên hệ ở chỗ cùng đến từ một phân phối xác suất nền; ngoài ra không liên hệ theo cách nào khác..

Nhìn chung, chúng ta cần giải quyết hai bài toán sau:

Ước lượng (estimation): Dữ liệu thường chỉ là những quan sát có nhiễu về một đại lượng mà chúng ta quan tâm. Vì vậy, chúng ta phải tổng hợp dữ liệu để ước lượng hoặc dự đoán đại lượng đó. Chẳng hạn, cùng một phương pháp điều trị có thể cho kết quả khác nhau qua từng lần thử; chúng ta xử lý sự khác biệt ấy thế nào? Làm sao biết một ước lượng sẽ phù hợp đến đâu với những kết quả trong tương lai?
Tổng quát hóa (generalization): Làm sao dự đoán kết quả của một tình huống hoặc thí nghiệm chưa từng xuất hiện trong tập dữ liệu?

Chúng ta có thể mô tả một bài toán học máy cùng lời giải của nó thông qua sáu yếu tố: ba yếu tố đặc trưng cho bài toán và ba yếu tố đặc trưng cho lời giải Hiện ghi chú bên lềTrong khóa học này và trong cộng đồng ML, “mô hình” (model) và “giả thuyết” (hypothesis)—cũng như “lớp mô hình” (model class) và “lớp giả thuyết” (hypothesis class)—thường được dùng thay thế cho nhau. Chúng ta sẽ coi các cặp thuật ngữ này là đồng nghĩa cho đến phần quá trình quyết định Markov (MDP) và học tăng cường (RL). Tại đó, “mô hình” và “giả thuyết” mang nghĩa khác nhau và sự phân biệt sẽ được chỉ rõ.:

Dạng bài toán (problem class): Dữ liệu huấn luyện có bản chất gì? Khi kiểm tra, hệ thống sẽ phải trả lời những loại truy vấn nào?
Giả định (assumptions): Chúng ta biết gì về nguồn của dữ liệu hoặc dạng của lời giải?
Tiêu chí đánh giá (evaluation criteria): Hệ thống dự đoán hoặc ước lượng nhằm đạt mục tiêu gì? Mỗi câu trả lời được đánh giá ra sao? Hiệu năng tổng thể của hệ thống được đo bằng cách nào?
Dạng mô hình (model type): Có xây dựng một mô hình trung gian về thế giới hay không? Mỗi biến hoặc tham số sẽ biểu diễn khía cạnh nào của dữ liệu? Mô hình được dùng để dự đoán như thế nào?
Lớp mô hình (model class): Chúng ta sẽ dùng lớp mô hình nào? Tiêu chí nào giúp chọn một mô hình cụ thể trong lớp đó?
Thuật toán (algorithm): Quy trình tính toán nào sẽ được dùng để khớp mô hình với dữ liệu, để dự đoán, hoặc để thực hiện cả hai việc?

Nếu không đưa ra giả định nào về quá trình sinh dữ liệu, chúng ta không thể tổng quát hóa từ dữ liệu đã thấy sang trường hợp mới. Các phần tiếp theo sẽ làm rõ sáu yếu tố trên.

1.1. Dạng bài toán

Học máy có nhiều dạng bài toán khác nhau. Điểm phân biệt nằm ở loại dữ liệu được sử dụng và loại kết luận cần rút ra. Dưới đây là một số dạng bài toán tiêu chuẩn; phần trình bày này đồng thời thiết lập ký hiệu và thuật ngữ cho cả khóa học.

Khóa học tập trung vào phân loại (classification) và hồi quy (regression) — hai dạng của học có giám sát (supervised learning) — đồng thời đề cập đến học tăng cường, học chuỗi (sequence learning) và phân cụm (clustering)Hiện ghi chú bên lềBạn không cần ghi nhớ ngay tất cả các dạng học này. Mục tiêu ở đây chỉ là cho bạn một cái nhìn rất khái quát về một phần bề rộng của lĩnh vực..

1.1.1. Học có giám sát

Trong học có giám sát, hệ thống nhận các đầu vào cùng đầu ra cụ thể tương ứng với từng đầu vào. Dựa vào miền giá trị của đầu ra, chúng ta chia học có giám sát thành hai dạng: phân loại (classification) khi đầu ra thuộc một tập hữu hạn nhỏ; hồi quy (regression) khi đầu ra thuộc một tập hữu hạn lớn có thứ tự hoặc một tập liên tục.

1.1.1.1. Hồi quy

Trong bài toán hồi quy, tập dữ liệu huấn luyện $𝒟_{train}$ gồm $n$ cặp:

𝒟_{train} = {(x^{(1)}, y^{(1)}), \dots, (x^{(n)}, y^{(n)})},

Ở đây, $x^{(i)}$ là một đầu vào, thường là vector $d$ chiều có các phần tử mang giá trị thực và/hoặc rời rạc; $y^{(i)}$ là đầu ra cần dự đoán, trong trường hợp này là một số thực. Mỗi thành phần $x_{j}$ của vector đầu vào được gọi là một đặc trưng (feature) — chẳng hạn diện tích hoặc tuổi của một căn nhà. Các giá trị $y$ đôi khi được gọi là giá trị mục tiêu (target values) Hiện ghi chú bên lềNhiều giáo trình dùng $x_{i}$ và $t_{i}$ thay cho $x^{(i)}$ và $y^{(i)}$ . Chúng tôi thấy cách ký hiệu ấy khó sử dụng hơn khi bản thân $x^{(i)}$ là một vector và cần xét từng thành phần của nó. Ký hiệu trong bài này cũng là một quy ước phổ biến trong các tài liệu ML..

Mục tiêu cuối cùng của hồi quy là dự đoán $y^{(n + 1)}$ khi nhận một đầu vào mới $x^{(n + 1)}$ . Hồi quy thuộc học có giám sát vì mỗi mẫu huấn luyện $x^{(i)}$ đều đi kèm đầu ra mong muốn $y^{(i)}$ .

1.1.1.2. Phân loại

Phân loại tương tự hồi quy, nhưng các giá trị có thể có của $y^{(i)}$ không có quan hệ thứ tự. Nếu $y^{(i)}$ — còn gọi là lớp (class) — chỉ nhận một trong hai giá trị, chúng ta có bài toán phân loại nhị phân (binary classification) hay phân loại hai lớp (two-class classification). Nếu có nhiều hơn hai giá trị, đó là bài toán phân loại đa lớp (multi-class classification).

1.1.2. Học không giám sát

Học không giám sát (unsupervised learning) không học một hàm $f$ mà ánh xạ đầu vào $x$ sang đầu ra $y$ dựa trên các cặp đầu vào-đầu ra. Thay vào đó, hệ thống chỉ nhận một tập dữ liệu và phải tìm ra những mẫu hình (patterns) hoặc cấu trúc (structures) vốn có trong dữ liệu.

1.1.2.1. Phân cụm

Cho các mẫu $x^{(1)}, \dots, x^{(n)} \in ℝ^{d}$ , mục tiêu của phân cụm (clustering) là chia các mẫu thành những nhóm sao cho các mẫu tương tự nằm cùng nhóm, mỗi nhóm còn được gọi là một cụm. Có nhiều hàm mục tiêu khác nhau, tùy vào cách định nghĩa độ tương tự và tiêu chí phân cụm. Chẳng hạn, chúng ta có thể muốn giảm khoảng cách trung bình giữa các phần tử cùng cụm và tăng khoảng cách trung bình giữa các phần tử khác cụm. Một số phương pháp thực hiện phân cụm “mềm”: một mẫu có thể thuộc cụm này với mức 0,9 và cụm khác với mức 0,1. Phân cụm đôi khi là một bước trong ước lượng mật độ (density estimation), được mô tả ngay sau đây; trong những trường hợp khác, nó giúp phát hiện cấu trúc hữu ích hoặc các đặc trưng có ảnh hưởng trong dữ liệu.

1.1.2.2. Ước lượng mật độ

Cho các mẫu $x^{(1)}, \dots, x^{(n)} \in ℝ^{d}$ được lấy i.i.d. từ một phân phối $\Pr (X)$ , mục tiêu là ước lượng mật độ xác suất tại điểm mới $x^{(n + 1)}$ , cũng được lấy từ phân phối ấy. Ước lượng mật độ đôi khi còn đóng vai trò như một “chương trình con” trong một phương pháp học có giám sát lớn hơn.

1.1.2.3. Giảm chiều

Cho các mẫu $x^{(1)}, \dots, x^{(n)} \in ℝ^{D}$ , giảm chiều (dimensionality reduction) tìm cách biểu diễn lại chúng trong một không gian $d$ chiều, với $d < D$ . Mục tiêu thường là giữ lại những thông tin cần thiết — chẳng hạn thông tin cho phép phân biệt các phần tử thuộc những lớp khác nhau.

Giảm chiều là một kỹ thuật tiêu chuẩn, đặc biệt hữu ích khi trực quan hóa hoặc tìm hiểu dữ liệu nhiều chiều. Tuy nhiên, nếu mục tiêu cuối cùng là hồi quy hoặc phân loại trên dữ liệu sau khi giảm chiều, thông thường nên xác định hàm mục tiêu cho toàn bộ bài toán dự đoán, thay vì giảm chiều trước khi biết chiều nào quan trọng cho tác vụ đó.

1.1.3. Học chuỗi

Trong học chuỗi (sequence learning), mục tiêu là học một ánh xạ từ chuỗi đầu vào $x_{1}, \dots, x_{k}$ sang chuỗi đầu ra $y_{1}, \dots, y_{m}$ . Ánh xạ này thường được biểu diễn bằng một máy trạng thái (state machine): hàm $f_{s}$ tính trạng thái ẩn tiếp theo từ đầu vào, còn hàm $f_{o}$ tính đầu ra từ trạng thái ẩn hiện tại.

Đây vẫn là học có giám sát, vì mỗi chuỗi đầu vào đi kèm chuỗi đầu ra cần sinh. Tuy nhiên, không thể giám sát trực tiếp các hàm bên trong vì chúng ta không biết chuỗi trạng thái ẩn; các hàm ấy phải được học theo một cách khác.

1.1.4. Học tăng cường

Trong học tăng cường (reinforcement learning, RL), mục tiêu là học một ánh xạ từ giá trị đầu vào sang giá trị đầu ra. Đầu vào thường được xem là trạng thái của một tác nhân (agent) hoặc hệ thống — chẳng hạn vận tốc của một chiếc xe đang chạy. Đầu ra thường là hành động điều khiển — chẳng hạn tăng tốc hay đạp phanh. Không có tín hiệu giám sát trực tiếp nào cho biết hành động nào là tốt nhất tại một trạng thái cụ thể. Thay vào đó, bài toán được mô tả qua quá trình một tác nhân tương tác với môi trường:

Tác nhân quan sát trạng thái hiện tại $s_{t}$ .
Nó chọn một hành động $a_{t}$ .
Nó nhận một phần thưởng $r_{t}$ , thường phụ thuộc vào $s_{t}$ và có thể cả $a_{t}$ .
Môi trường chuyển ngẫu nhiên sang trạng thái mới $s_{t + 1}$ ; phân phối của trạng thái mới chỉ phụ thuộc vào $s_{t}$ và $a_{t}$ .
Tác nhân quan sát trạng thái mới $s_{t + 1}$ .
Tương tự như vậy $\dots$

Mục tiêu là tìm một chính sách (policy) $π$ ánh xạ trạng thái $s$ sang hành động $a$ , sao cho tổng hoặc trung bình dài hạn của các phần thưởng $r$ đạt giá trị lớn nhất.

Bối cảnh này khác hẳn học có giám sát và học không giám sát: hành động của tác nhân vừa ảnh hưởng đến phần thưởng, vừa ảnh hưởng đến những gì tác nhân có thể quan sát về môi trường. Vì vậy, ngoài các vấn đề vốn có trong học có giám sát, chúng ta còn phải cân nhắc cẩn thận hệ quả dài hạn của mỗi hành động.

1.1.5. Những bối cảnh khác

Còn nhiều bối cảnh bài toán khác. Sau đây là một vài ví dụ.

Trong học bán giám sát (semi-supervised learning), bên cạnh tập huấn luyện có giám sát còn có thể có các giá trị $x^{(i)}$ chưa biết $y^{(i)}$ . Những đầu vào chưa gán nhãn này vẫn có thể cải thiện hiệu năng học, miễn là chúng được lấy từ $\Pr (X)$ — phân phối biên của $\Pr (X, Y)$ chi phối phần còn lại của tập dữ liệu.

Trong học chủ động (active learning), việc thu thập nhãn $y^{(i)}$ được xem là tốn kém — hãy hình dung phải nhờ một người đọc ảnh X-quang. Vì thế, thuật toán có thể lần lượt yêu cầu gán nhãn cho những đầu vào $x^{(i)}$ cụ thể. Nó phải chọn các dữ liệu thật cẩn thận để học hiệu quả nhất trong khi giảm thiểu chi phí gán nhãn.

Trong học chuyển giao (transfer learning) — mà đôi khi cũng gọi là học cách học (meta-learning) — chúng ta có nhiều tác vụ, với dữ liệu đến từ những phân phối khác nhau nhưng có liên hệ với nhau. Mục tiêu là tận dụng kinh nghiệm từ các tác vụ trước để giảm việc phải học thêm kinh nghiệm cần có khi học tác vụ mới.

Ghi chú (Cách dùng thuật ngữ hiện nay)

Nguồn xem “transfer learning” và “meta-learning” là hai tên gọi của cùng một khái niệm. Trong cách dùng hiện nay, hai lĩnh vực có liên hệ và đôi khi chồng chéo lên nhau, nhưng có thể được phân biệt như sau:

Học chuyển giao tái sử dụng tri thức giữa các miền hoặc tác vụ.
Còn học cách học tập trung vào việc học một quy trình hoặc thiên kiến giúp hệ thống thích nghi với tác vụ mới.

1.2. Giả định

Chúng ta có thể đặt ra nhiều loại giả định về nguồn dữ liệu hoặc dạng của lời giải, chẳng hạn:

Dữ liệu độc lập và cùng phân phối (i.i.d.).
Dữ liệu được sinh bởi một chuỗi Markov (Markov chain); tức là đầu ra chỉ phụ thuộc vào trạng thái hiện tại, không cần thêm bộ nhớ.
Quá trình sinh dữ liệu có thể mang tính đối kháng (adversarial).
Mô hình “thực” sinh ra dữ liệu có thể được mô tả hoàn hảo bởi một giả thuyết thuộc một tập giả thuyết cụ thể.

Một giả định thường thu hẹp “kích thước” hoặc “khả năng biểu đạt” của không gian giả thuyết. Nhờ đó, chúng ta cần ít dữ liệu hơn để xác định một giả thuyết phù hợp với độ tin cậy cao.

1.3. Tiêu chí đánh giá

Sau khi xác định dạng bài toán, chúng ta phải nói rõ thế nào là một đầu ra tốt hay một câu trả lời tốt cho đầu vào bất kỳ, xét trên dữ liệu huấn luyện. Tiêu chí đánh giá được xác định ở hai cấp: cách chấm điểm từng dự đoán và cách đánh giá hành vi tổng thể của hệ thống dự đoán hoặc ước lượng.

Chất lượng dự đoán của mô hình thường được biểu diễn bằng một hàm mất mát (loss function). Hàm $ℒ (g, a)$ cho biết mức phạt khi dự đoán $g$ trong khi đáp án thực tế là $a$ . Có nhiều hàm mất mát khác nhau; dưới đây là một số lựa chọn thường gặp.

Mất mát 0-1 (0-1 loss) dùng cho các dự đoán thuộc một miền hữu hạn.

ℒ (g, a) = {\begin{matrix} 0 & if g = a \\ 1 & otherwise \end{matrix}

Mất mát bình phương (squared loss):

ℒ (g, a) = {(g - a)}^{2}

Mất mát tuyệt đối (absolute loss):

ℒ (g, a) = | g - a |

Mất mát bất đối xứng (asymmetric loss). Giả sử cần dự đoán một người có đang lên cơn đau tim hay không. Dự đoán “không” khi đáp án thực tế là “có” có thể tệ hơn nhiều so với sai lầm theo chiều ngược lại.

ℒ (g, a) = {\begin{matrix} 1 & if g = 1 and a = 0 \\ 10 & if g = 0 and a = 1 \\ 0 & otherwise \end{matrix}

Một quy tắc dự đoán thường được đánh giá trên nhiều lần dự đoán, mỗi lần có một giá trị mất mát. Ở cấp tổng thể, chúng ta có thể quan tâm đến:

Cực tiểu hóa mất mát kỳ vọng (expected loss) trên toàn bộ các dự đoán — đại lượng này còn được gọi là rủi ro (risk).
Cực tiểu hóa mất mát lớn nhất, tức mất mát của dự đoán tệ nhất.
Cực tiểu hóa hoặc chặn trên độ hối tiếc (regret): quy tắc dự đoán này tệ hơn bao nhiêu so với quy tắc tốt nhất trong một lớp cho trước.
Mô tả hành vi tiệm cận: quy tắc dự đoán hoạt động tốt đến đâu khi lượng dữ liệu huấn luyện tiến tới vô hạn.
Tìm các thuật toán xấp xỉ đúng với xác suất cao (probably approximately correct, PAC): với xác suất cao, thuật toán sinh ra một giả thuyết đúng trong phần lớn trường hợp.

Theo một lý thuyết về tác nhân duy lý, chúng ta luôn nên chọn hành động cực tiểu hóa mất mát kỳ vọng. Chẳng hạn, trong bối cảnh cờ bạc, chiến lược này giúp tối đa hóa số tiền kiếm được về dài hạn. Như đã nói ở trên, tài liệu ML đôi khi gọi mất mát kỳ vọng là “rủi ro”. Tuy nhiên, từ này mang những nghĩa khác trong kinh tế học và các nhánh khác của lý thuyết quyết định (decision theory), nên cần dùng nó thận trọng — bản thân cách gọi ấy cũng có phần “rủi ro”. Trong phần lớn khóa học, chúng ta sẽ tập trung vào tiêu chí mất mát kỳ vọng.

1.4. Dạng mô hình

Nhắc lại rằng một hệ thống ML thường nhằm ước lượng hoặc tổng quát hóa từ dữ liệu được cung cấp. Bây giờ, chúng ta xét vai trò của việc xây dựng mô hình trong quá trình đó.

1.4.1. Mô hình phi tham số

Trong một số trường hợp đơn giản, mô hình phi tham số (non-parametric model) có thể trả lời truy vấn trực tiếp từ dữ liệu huấn luyện mà không cần xây dựng mô hình trung gian — nói chính xác hơn là không cần học tham số nào.

Chẳng hạn, trong hồi quy hoặc phân loại, phương pháp láng giềng gần nhất (nearest neighbor) trả lời một truy vấn mới bằng các đầu ra gắn với những mẫu huấn luyện giống truy vấn ấy nhất.

1.4.2. Mô hình tham số

Thông thường hơn, chúng ta thực hiện hai bước:

“Khớp” một mô hình — với cách tham số hóa đã chọn trước — vào dữ liệu huấn luyện.
Trực tiếp dùng mô hình để đưa ra dự đoán.

Trong hồi quy hoặc phân loại bằng mô hình tham số (parametric model), mô hình là một giả thuyết hay quy tắc dự đoán có dạng $y = h (x; Θ)$ , với một dạng hàm $h$ nào đó. Từ giả thuyết (hypothesis) bắt nguồn từ học thống kê và phương pháp khoa học: các mô hình hay giả thuyết về thế giới được kiểm nghiệm bằng dữ liệu thực, rồi được điều chỉnh khi xuất hiện thêm bằng chứng, quan sát hoặc hiểu biết. Cần lưu ý rằng các tham số chỉ là một phần trong những giả định chúng ta đặt ra về thế giới. Bản thân mô hình là một giả thuyết sẽ tiếp tục được điều chỉnh khi có thêm bằng chứng.

Tập $Θ$ chứa một hoặc nhiều giá trị tham số. Những giá trị này được xác định khi khớp mô hình với dữ liệu huấn luyện, sau đó được giữ cố định trong quá trình kiểm tra.

Với đầu vào mới $x^{(n + 1)}$ , mô hình đưa ra dự đoán $h (x^{(n + 1)}; Θ)$ .

Quá trình khớp thường được phát biểu thành một bài toán tối ưu: tìm $Θ$ sao cho một tiêu chí phụ thuộc vào $Θ$ và dữ liệu đạt giá trị nhỏ nhất. Nếu biết phân phối thực sự sinh ra dữ liệu $\Pr (X, Y)$ , chiến lược tối ưu là dự đoán giá trị $y$ làm cực tiểu mất mát kỳ vọng—hay rủi ro đã nhắc ở trên; trong thực tế, chúng ta ước lượng đại lượng này bằng lỗi kiểm tra (test error). Nếu không biết phân phối ấy, thậm chí không có một ước lượng của nó, chúng ta có thể cực tiểu hóa lỗi huấn luyện (training error): chọn quy tắc dự đoán $h$ có mất mát trung bình nhỏ nhất trên tập huấn luyện. Cụ thể, chúng ta tìm $Θ$ để cực tiểu hóa

\begin{matrix} ℰ_{train} (h; Θ) = \frac{1}{n} \sum_{i = 1}^{n} ℒ (h (x^{(i)}; Θ), y^{(i)}), \end{matrix}

trong đó $ℒ (g, a)$ đo mức phạt khi dự đoán $g$ trong khi giá trị thực tế là $a$ .

Chỉ cực tiểu hóa lỗi huấn luyện thường không phải lựa chọn tốt. Một mô hình có thể bám quá sát dữ liệu hiện có nhưng lại tổng quát hóa kém khi gặp các giá trị $x$ mới.

1.5. Lớp mô hình và khớp tham số

Một lớp mô hình (model class) $ℳ$ là tập hợp các mô hình khả dĩ, thường được tham số hóa bởi vector $Θ$ . Chúng ta sẽ giả định mô hình có dạng nào? Chẳng hạn, khi giải bài toán hồi quy bằng một quy tắc dự đoán, chúng ta có thể tìm hàm tuyến tính (linear function) $h (x; θ, θ_{0}) = θ^{T} x + θ_{0}$ khớp tốt với dữ liệu. Khi đó, vector tham số là $Θ = (θ, θ_{0})$ .

Đối với những bài toán như phân loại, người ta đã nghiên cứu rất nhiều lớp mô hình. Phần lớn khóa học này sẽ khám phá các lớp đó, đặc biệt là mô hình mạng neural. Chúng ta hầu như chỉ xét những lớp mô hình có số tham số hữu hạn và cố định. Các mô hình không bị ràng buộc bởi giả định này được gọi là “phi tham số”.

Chúng ta chọn lớp mô hình bằng cách nào? Đôi khi, người thực hành ML đã biết lớp nào phù hợp và chỉ định trực tiếp. Trong những trường hợp khác, họ xem xét nhiều lớp rồi chọn lớp tốt nhất theo một hàm mục tiêu. Khi đó, họ đang giải bài toán lựa chọn mô hình (model selection): chọn một lớp $ℳ$ trong một tập—thường là hữu hạn—các lớp khả dĩ. Ngược lại, khớp mô hình (model fitting) là chọn một mô hình cụ thể trong lớp đã chọn bằng cách xác định các tham số $Θ$ , thường nhận giá trị liên tục.

1.6. Thuật toán

Sau khi xác định lớp mô hình và cách chấm điểm một mô hình trên dữ liệu, chúng ta phải giải một bài toán thuật toán: cần dùng quy trình tính toán nào để tìm được một mô hình tốt trong lớp? Chẳng hạn, khi khớp hàm $h$ với dữ liệu $x$ , chúng ta có thể tìm vector tham số làm nhỏ nhất lỗi huấn luyện bằng một thuật toán bình phương tối thiểu (least squares) quen thuộc.

Đôi khi chúng ta có thể dùng phần mềm tối ưu tổng quát. Trong nhiều trường hợp khác, cần đến thuật toán chuyên biệt cho bài toán ML hoặc lớp giả thuyết đang xét. Cũng có những thuật toán không thể dễ dàng diễn giải như quá trình tối ưu một tiêu chí cụ thể. Thuật toán perceptron (perceptron algorithm)—một phương pháp có vai trò quan trọng trong lịch sử phát triển bộ phân loại tuyến tính—là một ví dụ.

Tài liệu nguồn

MIT 6.390 course staff. “1 Introduction,” Introduction to Machine Learning. Truy cập ngày 06/08/2026. CC BY-NC-SA 4.0.
Andrew Gelman. andrewgelman.com. Nguồn được đội ngũ MIT diễn giải lại trong phần mở đầu.