Tại sao Gradient Descent lại quan trọng trong machine learning? Thuật toán thực hiện lặp đi lặp lại để tối ưu loss function. Loss function mô tả mô hình sẽ hoạt động tốt như thế nào với các them số (weights và biases), gradient descent được sử dụng để tìm ra tham số tốt nhất. Ví dụ cập nhật tham số cho Linear Regression hay weights trong neural netwworks.

Cost Function là gì?

Cost function (hay loss function) giúp xác định chi phí để đo mức độ dự đoán kết quả đầu ra trên tập kiểm tra. Mục tiêu là tìm weights và biases giúp giảm thiểu chi phí. Và sử dụng MSE (mean squared error) đo sự khác biệt giữa giá trị thực của y và giá trị dự đoán. Phương trình hồi quy là một đường thẳng có dạng hθ(x) = θ + θ1x, trong đó weight (θ1) và bias (θ0).

Tối ưu cost function.

Hầu như mục tiêu chính của các mô hình Machine Learning là giúp tối ưu hóa cost.

Ý tưởng là sẽ đưa những điểm ở đỉnh màu đỏ về những nơi vùng thấp màu xanh. Để làm được điều đó thì chúng ta cần điều chỉnh các trọng số θ0 và θ1.

Gradient Descent chạy lặp đi lặp lại để tìm các giá trị tối ưu của các tham số tương ứng giúp tối ưu cost function. Về mặt toán học, thì đạo hàm sẽ giúp chúng ta tối thiểu hóa hàm chi phí và giúp xác định điểm cực tiểu.