Tuyên truyền ngược trong mạng nơ-ron: Thuật toán học máy

Trước khi tìm hiểu Mạng thần kinh lan truyền ngược (BPNN), hãy hiểu:

Mạng thần kinh nhân tạo là gì?

Mạng nơron là một nhóm các đơn vị I/O được kết nối trong đó mỗi kết nối có trọng số liên quan đến các chương trình máy tính của nó. Nó giúp bạn xây dựng các mô hình dự đoán từ cơ sở dữ liệu lớn. Mô hình này được xây dựng dựa trên hệ thống thần kinh của con người. Nó giúp bạn thực hiện việc hiểu hình ảnh, học tập của con người, lời nói của máy tính, v.v.

Lan truyền ngược là gì?

Lan truyền ngược là bản chất của việc huấn luyện mạng lưới thần kinh. Đây là phương pháp tinh chỉnh các trọng số của mạng nơ-ron dựa trên tỷ lệ lỗi thu được ở kỷ nguyên trước đó (tức là lần lặp). Việc điều chỉnh trọng số phù hợp cho phép bạn giảm tỷ lệ lỗi và làm cho mô hình trở nên đáng tin cậy bằng cách tăng tính tổng quát hóa của nó.

Lan truyền ngược trong mạng nơ-ron là một dạng viết tắt của “lan truyền ngược các lỗi”. Đây là một phương pháp tiêu chuẩn để đào tạo mạng lưới thần kinh nhân tạo. Phương pháp này giúp tính toán độ dốc của hàm mất đối với tất cả các trọng số trong mạng.

Thuật toán lan truyền ngược hoạt động như thế nào

Thuật toán lan truyền ngược trong mạng nơ-ron tính toán độ dốc của hàm mất mát cho một trọng số duy nhất theo quy tắc chuỗi. Nó tính toán hiệu quả từng lớp một, không giống như tính toán trực tiếp gốc. Nó tính toán độ dốc, nhưng không xác định cách sử dụng độ dốc. Nó khái quát hóa phép tính trong quy tắc delta.

Hãy xem xét sơ đồ ví dụ về mạng nơ-ron truyền ngược sau đây để hiểu rõ hơn:

1. Đầu vào X, đến thông qua đường dẫn được kết nối trước
2. Đầu vào được mô hình hóa bằng các trọng số thực W. Các trọng số thường được chọn ngẫu nhiên.
3. Tính toán đầu ra cho mỗi nơ-ron từ lớp đầu vào, đến lớp ẩn, đến lớp đầu ra.
4. Tính toán sai số ở đầu ra

ErrorB= Actual Output – Desired Output

5. Di chuyển trở lại từ lớp đầu ra đến lớp ẩn để điều chỉnh trọng số sao cho giảm lỗi.

Tiếp tục lặp lại quá trình cho đến khi đạt được kết quả mong muốn

Tại sao chúng ta cần lan truyền ngược?

Ưu điểm nổi bật nhất của Backpropagation là:

• Lan truyền ngược nhanh, đơn giản và dễ lập trình
• Nó không có tham số nào để điều chỉnh ngoài số lượng đầu vào
• Đây là một phương pháp linh hoạt vì nó không yêu cầu kiến ​​thức trước về mạng
• Đó là một phương pháp tiêu chuẩn thường hoạt động tốt
• Không cần đề cập đặc biệt đến các tính năng của hàm cần học.

Mạng chuyển tiếp nguồn cấp dữ liệu là gì?

Mạng nơ-ron chuyển tiếp là mạng nơ-ron nhân tạo trong đó các nút không bao giờ tạo thành một chu kỳ. Loại mạng thần kinh này có lớp đầu vào, lớp ẩn và lớp đầu ra. Đây là loại mạng lưới thần kinh nhân tạo đầu tiên và đơn giản nhất.

Các loại mạng lan truyền ngược

Hai loại mạng lan truyền ngược là:

• Truyền ngược tĩnh
• Lan truyền ngược định kỳ

Truyền ngược tĩnh

Đây là một loại mạng lan truyền ngược tạo ra ánh xạ đầu vào tĩnh cho đầu ra tĩnh. Nó rất hữu ích để giải quyết các vấn đề phân loại tĩnh như nhận dạng ký tự quang học.

Lan truyền ngược định kỳ

Lan truyền ngược lặp lại trong khai thác dữ liệu được đưa về phía trước cho đến khi đạt được giá trị cố định. Sau đó, lỗi được tính toán và truyền ngược lại.

Sự khác biệt chính giữa cả hai phương pháp này là: ánh xạ nhanh chóng trong lan truyền ngược tĩnh trong khi nó không tĩnh trong lan truyền ngược lặp lại.

Lịch sử của lan truyền ngược

• Năm 1961, khái niệm cơ bản về lan truyền ngược liên tục được đưa ra trong bối cảnh lý thuyết điều khiển của J. Kelly, Henry Arthur và E. Bryson.
• Năm 1969, Bryson và Ho đưa ra phương pháp tối ưu hóa hệ thống động nhiều giai đoạn.
• Năm 1974, Werbos tuyên bố khả năng áp dụng nguyên tắc này trong mạng lưới thần kinh nhân tạo.
• Năm 1982, Hopfield đưa ra ý tưởng về mạng lưới thần kinh.
• Năm 1986, nhờ nỗ lực của David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, nhân giống ngược đã được công nhận.
• Năm 1993, Wan là người đầu tiên giành chiến thắng trong cuộc thi nhận dạng mẫu quốc tế với sự trợ giúp của phương pháp lan truyền ngược.

Những điểm chính của lan truyền ngược

• Đơn giản hóa cấu trúc mạng bằng các phần tử có trọng số liên kết ít ảnh hưởng nhất đến mạng được đào tạo
• Bạn cần nghiên cứu một nhóm giá trị đầu vào và kích hoạt để phát triển mối quan hệ giữa lớp đầu vào và lớp đơn vị ẩn.
• Nó giúp đánh giá tác động của một biến đầu vào nhất định đối với đầu ra của mạng. Kiến thức thu được từ phân tích này phải được thể hiện trong các quy tắc.
• Lan truyền ngược đặc biệt hữu ích cho các mạng nơ-ron sâu làm việc trên các dự án dễ xảy ra lỗi, chẳng hạn như nhận dạng hình ảnh hoặc giọng nói.
• Lan truyền ngược tận dụng lợi thế của chuỗi và các quy tắc công suất cho phép lan truyền ngược hoạt động với bất kỳ số lượng đầu ra nào.

Cách thực hành tốt nhất Tuyên truyền ngược

Lan truyền ngược trong mạng lưới thần kinh có thể được giải thích bằng sự trợ giúp của phép tương tự “Dây giày”

Quá ít căng thẳng =

• Không đủ ràng buộc và rất lỏng lẻo

Căng thẳng quá =.

• Quá nhiều hạn chế (tập luyện quá sức)
• Mất quá nhiều thời gian (quá trình tương đối chậm)
• Khả năng gãy cao hơn

Kéo một dây nhiều hơn dây khác =

• Khó chịu (thiên vị)

Nhược điểm của việc sử dụng Backpropagation

• Hiệu suất thực tế của lan truyền ngược đối với một vấn đề cụ thể phụ thuộc vào dữ liệu đầu vào.
• Thuật toán lan truyền ngược trong khai thác dữ liệu có thể khá nhạy cảm với dữ liệu nhiễu
• Bạn cần sử dụng phương pháp tiếp cận dựa trên ma trận để truyền ngược thay vì theo lô nhỏ.

Tổng kết

• Mạng nơron là một nhóm các đơn vị I/O được kết nối với nhau trong đó mỗi kết nối có trọng số liên quan đến các chương trình máy tính của nó.
• Lan truyền ngược là một dạng viết tắt của “lan truyền ngược các lỗi”. Đây là một phương pháp tiêu chuẩn để đào tạo mạng lưới thần kinh nhân tạo
• Thuật toán lan truyền ngược trong học máy nhanh chóng, đơn giản và dễ lập trình
• Mạng BPN tiếp nối là mạng nơ ron nhân tạo.
• Hai loại mạng lan truyền ngược là 1) Lan truyền ngược tĩnh 2) Lan truyền ngược định kỳ
• Năm 1961, khái niệm cơ bản về lan truyền ngược liên tục được đưa ra trong bối cảnh lý thuyết điều khiển của J. Kelly, Henry Arthur và E. Bryson.
• Sự lan truyền ngược trong khai thác dữ liệu đơn giản hóa cấu trúc mạng bằng cách loại bỏ các liên kết có trọng số có ảnh hưởng tối thiểu đến mạng được đào tạo.
• Nó đặc biệt hữu ích cho các mạng nơ-ron sâu làm việc trong các dự án dễ xảy ra lỗi, chẳng hạn như nhận dạng hình ảnh hoặc giọng nói.
• Hạn chế lớn nhất của Backpropagation là nó có thể nhạy cảm với dữ liệu nhiễu.