[ad_1]
Thuật toán này được gọi là “Giảm dần độ dốc” hoặc “Phương pháp giảm dần dốc nhất”, là một phương pháp tối ưu hóa để tìm giá trị tối thiểu của hàm trong đó mỗi bước được thực hiện theo hướng của độ dốc âm. Phương pháp này không đảm bảo rằng sẽ tìm thấy mức tối thiểu toàn cục của hàm mà là mức tối thiểu cục bộ.
Các cuộc thảo luận về việc tìm mức tối thiểu tổng thể có thể được phát triển trong một bài viết khác, nhưng ở đây, chúng tôi đã chứng minh một cách toán học cách sử dụng gradient cho mục đích này.
Bây giờ, áp dụng nó vào hàm chi phí E điều đó phụ thuộc vào N trọng lượng wchúng ta có:
Để cập nhật tất cả các phần tử của W dựa trên độ dốc giảm dần, chúng tôi có:
Và đối với bất kỳ Nphần tử thứ 𝑤 của vectơ Wchúng ta có:
Vì vậy, chúng tôi có của chúng tôi thuật toán học lý thuyết. Về mặt logic, điều này không được áp dụng cho ý tưởng giả định về người đầu bếp mà đúng hơn là cho nhiều thuật toán học máy mà chúng ta biết ngày nay.
Dựa trên những gì chúng ta đã thấy, chúng ta có thể kết luận phần trình diễn và chứng minh toán học của thuật toán học lý thuyết. Cấu trúc như vậy được áp dụng cho nhiều phương pháp học tập như AdaGrad, Adam và Stochastic gradient Descent (SGD).
Phương pháp này không đảm bảo tìm được N-giá trị trọng lượng w ở đâu chức năng ước lượng mang lại kết quả bằng 0 hoặc rất gần với nó. Tuy nhiên, nó đảm bảo với chúng ta rằng sẽ tìm được mức tối thiểu cục bộ của hàm chi phí.
Để giải quyết vấn đề cực tiểu cục bộ, có một số phương pháp mạnh mẽ hơn, chẳng hạn như SGD và Adam, thường được sử dụng trong học sâu.
Tuy nhiên, việc hiểu cấu trúc và chứng minh toán học của thuật toán học lý thuyết dựa trên độ dốc sẽ tạo điều kiện thuận lợi cho việc hiểu các thuật toán phức tạp hơn.
Người giới thiệu
Carreira-Perpinan, MA, & Hinton, GE (2005). Về học tập phân kỳ tương phản. Trong RG Cowell & Z. Ghahramani (Eds.), Trí tuệ nhân tạo và Thống kê, 2005. (trang 33–41). Fort Lauderdale, FL: Hiệp hội Thống kê và Trí tuệ Nhân tạo.
García Cabello, J. Mạng lưới thần kinh toán học. Tiên đề 2022, 11, 80.
Geoffrey E. Hinton, Simon Osindero, Yee- Whye Teh. Thuật toán học nhanh cho mạng lưới niềm tin sâu sắc. Tính toán thần kinh 18, 1527–1554. Viện Công nghệ Massachusetts
LeCun, Y., Bottou, L., & Haffner, P. (1998). Học tập dựa trên gradient được áp dụng để nhận dạng tài liệu. Kỷ yếu của IEEE, 86(11), 2278–2324.
[ad_2]
Source link