Phần 1 “tỷ lệ kèo cá cược hôm nay tăng cường sâu là gì” (1/2)

Xin chào, đây là Saito đến từ Trung tâm R&D của tỷ lệ cá cược

Trong ba phần tiếp theo, tôi sẽ giải thích cách triển khai tỷ lệ kèo cá cược hôm nay tăng cường sâu bằng cách sử dụng một OSS có tên là "ChainerRL"

Giới thiệu

Tính đến năm 2019, thế giới đang ở giữa thời kỳ bùng nổ AI lần thứ ba
Gần đây, nhiều thứ đã được đặt tên là “AI” và nó đã trở nên phổ biến trong xã hội nói chung

Công nghệ khơi dậy sự bùng nổ này là công nghệ được gọi là tỷ lệ kèo cá cược hôm nay sâu
Sự bùng nổ bắt đầu khi việc sử dụng tỷ lệ kèo cá cược hôm nay sâu chứng tỏ khả năng vượt trội hơn con người trong một số lĩnh vực nhất định như nhận dạng khuôn mặt

tỷ lệ kèo cá cược hôm nay tăng cường sâu, sẽ được giải thích ở đây, là sự kết hợp giữa tỷ lệ kèo cá cược hôm nay tăng cường và tỷ lệ kèo cá cược hôm nay sâu

• "tỷ lệ kèo cá cược hôm nay tăng cường sâu" = "tỷ lệ kèo cá cược hôm nay tăng cường" + "tỷ lệ kèo cá cược hôm nay sâu"
  Đây là một trong những công nghệ đang thu hút sự chú ý vì nó được sử dụng trong ``AlphaGo'' của DeepMind, giúp đánh bại những người chơi cờ vây chuyên nghiệp trong các trận đấu cờ vây

Phân loại máy tỷ lệ kèo cá cược hôm nay

Trước khi đi vào phần giải thích về tỷ lệ kèo cá cược hôm nay tăng cường sâu, hãy tổ chức phương pháp tỷ lệ kèo cá cược hôm nay của tỷ lệ kèo cá cược hôm nay máy

tỷ lệ kèo cá cược hôm nay máy nói chung có thể được chia thành ba loại: ``tỷ lệ kèo cá cược hôm nay có giám sát'' ``tỷ lệ kèo cá cược hôm nay không giám sát'' và ``tỷ lệ kèo cá cược hôm nay tăng cường''

tỷ lệ kèo cá cược hôm nay có giám sát

Trong tỷ lệ kèo cá cược hôm nay có giám sát, ``mối quan hệ giữa đầu vào và đầu ra'' được tỷ lệ kèo cá cược hôm nay từ dữ liệu huấn luyện có nhãn câu trả lời đúng

Ví dụ: khi triển khai phân loại hình ảnh chó và mèo bằng phương pháp tỷ lệ kèo cá cược hôm nay có giám sát, thông tin "đây là một con chó" (nhãn chính xác) sẽ được thêm vào hình ảnh con chó (dữ liệu tỷ lệ kèo cá cược hôm nay tập)
Nhãn câu trả lời đúng này là mẫu dữ liệu bạn muốn máy xuất ra
Điều này cho phép máy tỷ lệ kèo cá cược hôm nay để đầu ra của nó khớp với mẫu

tỷ lệ kèo cá cược hôm nay có giám sát là phương pháp tỷ lệ kèo cá cược hôm nay chủ đạo trong AI hiện đại
Vì câu trả lời đúng được đưa ra một cách rõ ràng nên con người sẽ dễ dàng đưa ra câu trả lời dự định hơn
Nhiệm vụ tốn nhiều thời gian trong việc thu thập dữ liệu huấn luyện và gán nhãn câu trả lời chính xác cho dữ liệu đã trở thành một vấn đề

tỷ lệ kèo cá cược hôm nay không giám sát

Trong tỷ lệ kèo cá cược hôm nay không giám sát, "cấu trúc của nhóm dữ liệu" được tỷ lệ kèo cá cược hôm nay từ dữ liệu huấn luyện mà không có nhãn câu trả lời đúng

Ví dụ: khi triển khai phương pháp tỷ lệ kèo cá cược hôm nay không giám sát để tính toán độ tương tự của hình ảnh, thông tin cho thấy hình ảnh A và hình ảnh B giống nhau sẽ không được thêm vào
Chỉ cần nhập một lượng lớn hình ảnh làm dữ liệu huấn luyện, bạn có thể xuất ra những điểm tương đồng dựa trên đặc điểm của hình ảnh

Do đó, bạn không cần phải mất công thêm nhãn câu trả lời đúng vào hình ảnh mà
Vì không biết câu trả lời đúng nên bạn có thể đưa ra kết quả sai

tỷ lệ kèo cá cược hôm nay tăng cường

tỷ lệ kèo cá cược hôm nay tăng cường tỷ lệ kèo cá cược hôm nay "chuỗi hành động tối ưu" thông qua thử và sai
Chuỗi hành động là một chuỗi hành động nhằm hoàn thành một việc nào đó
Về cơ bản, dữ liệu huấn luyện là không cần thiết nên không có dữ liệu nào được thu thập hoặc nhãn câu trả lời đúng được chỉ định
Ý tưởng này giống nhau ngay cả trong tỷ lệ kèo cá cược hôm nay tăng cường sâu

Để các bạn có ý tưởng về tỷ lệ kèo cá cược hôm nay tăng cường, tôi xin giới thiệu một bài toán nổi tiếng tên là "CartPole"
Bài toán này sử dụng tỷ lệ kèo cá cược hôm nay tăng cường để giải bài toán ``ngăn cây gậy bị đổ bằng cách di chuyển xe từ bên này sang bên kia''

＜Trước khi tỷ lệ kèo cá cược hôm nay＞

＜Sau khi tìm hiểu＞

Cho dù đó là một lần thử không thành công, chẳng hạn như khi gậy nghiêng quá nhiều hoặc xe di chuyển sang một bên, hoặc một lần thử thành công mà gậy không bị đổ trong một khoảng thời gian nhất định, hãy quay lại tâm và thử lại

Trong video trước khi tỷ lệ kèo cá cược hôm nay, gậy nghiêng nhanh nên nhanh chóng trở về tâm
Video sau khi tìm hiểu là sau khoảng 200 lần thử
Ở đây, tôi đã có thể giữ cây gậy ở đúng vị trí trong thời gian dài hơn trước khi tỷ lệ kèo cá cược hôm nay

*Mã nguồn được đăng ở cuối bài viết này

Điều quan trọng ở đây là không có dữ liệu tỷ lệ kèo cá cược hôm nay tập nào được đưa ra, chẳng hạn như ``Cái gậy phải nghiêng bao nhiêu độ và nó phải di chuyển theo hướng nào trước khi nó rơi xuống?''
Ngược lại với ``tỷ lệ kèo cá cược hôm nay có giám sát'', giúp cây gậy không bị đổ bằng cách cung cấp một lượng lớn dữ liệu tỷ lệ kèo cá cược hôm nay tập như vậy
tỷ lệ kèo cá cược hôm nay tăng cường là một hệ thống sử dụng phương pháp thử và sai, như trong video, để tìm ra cách di chuyển cây gậy sao cho nó không bị đổ

Phương pháp tỷ lệ kèo cá cược hôm nay tập để tìm ra hành vi tối ưu thông qua thử và sai cũng tương tự như phương pháp của con người
Nhiều thiết bị gia dụng ngày nay có thể hoạt động mà không cần đọc hướng dẫn, vì vậy tôi nghĩ mọi người hiểu cách sử dụng chúng bằng cách thực sự nhấn nút và quan sát điều gì xảy ra

Tất nhiên, con người có sẵn kiến thức từ kinh nghiệm trong quá khứ nên không thể nói rằng chúng giống hệt nhau
Trong máy móc, sự thiếu hụt kiến thức sẵn có được bù đắp bằng số lượng lớn các thử nghiệm

Ngoài ra, một trong những ưu điểm chính của tỷ lệ kèo cá cược hôm nay tăng cường là do không cung cấp dữ liệu tỷ lệ kèo cá cược hôm nay tập nên nó có thể khám phá các chuỗi hành vi mà con người không bao giờ nghĩ tới

Tuy nhiên, tất nhiên, việc tỷ lệ kèo cá cược hôm nay không thể được thực hiện trong chân không
Trong tỷ lệ kèo cá cược hôm nay tăng cường, thay vì tỷ lệ kèo cá cược hôm nay dữ liệu, cần chuẩn bị “trạng thái có thể thực hiện thử và sai”
“Trạng thái có thể thử và sai” đề cập đến trạng thái trong đó “tác nhân”, “môi trường” và “ba tương tác xảy ra giữa chúng” được xác định

Đại lý

Đây là chủ đề tỷ lệ kèo cá cược hôm nay tập thông qua thử và sai
Đại lý quyết định hành động tiếp theo dựa trên trạng thái và phần thưởng
Bằng cách cung cấp thông tin như ``Bạn sẽ nhận được loại phần thưởng nào nếu thực hiện hành động nào ở trạng thái nào?'', bạn có thể chọn hành động tiếp theo để thực hiện

Tôi sẽ giải thích sau,Sự khác biệt chính giữa tỷ lệ kèo cá cược hôm nay tăng cường sâu và tỷ lệ kèo cá cược hôm nay tăng cường là liệu mạng thần kinh có được sử dụng cho lựa chọn này hay không

Trong ví dụ về CartPole, tác nhân là người phán xử quyết định hành vi của xe đẩy
Thẩm phán này tương ứng với bộ não con người

Môi trường

Đại lý là mục tiêu của nỗ lực
tỷ lệ kèo cá cược hôm nay tăng cường yêu cầu số lượng thử nghiệm rất lớn nên về cơ bản nó được thực hiện trong một trình mô phỏng
Do đó, chúng ta cần xác định môi trường xung quanh

Nếu bạn đang thử nghiệm trong thế giới thực thì không cần xác định môi trường
Tuy nhiên, như đã đề cập ở trên, sẽ có rất nhiều lần thử
Trong thế giới thực, mọi thứ có thể bị hỏng và trong nhiều trường hợp, tốc độ dùng thử bị chậm lại
Vì vậy, chúng tôi khuyên bạn nên tỷ lệ kèo cá cược hôm nay trên máy tính ngoại trừ những điều chỉnh cuối cùng

Trong ví dụ CartPole, ngoài các vật thể vật lý như gậy và đường ray, môi trường còn bao gồm những thứ như trọng lực

Ba lần tương tác

• Hành động

Thể hiện hành động từ "tác nhân" đến "môi trường"
Bạn có thể tìm hiểu thông qua việc thử và sai về những hành động bạn thực hiện và điều gì sẽ xảy ra
Tuy nhiên, bản thân các tùy chọn hành động phải được xác định trước

Trong ví dụ CartPole, di chuyển sang trái và di chuyển sang phải là các hành động

• Trạng thái

Đại diện cho các thành phần của "môi trường" mà "tác nhân" có thể quan sát được
Tác nhân có thể tự thực hiện việc quan sát hoặc có thể nhận thông tin quan sát từ bên ngoài

Trong ví dụ về CartPole, các trạng thái bao gồm vị trí của xe đẩy và độ nghiêng của thanh

• Phần thưởng

Thể hiện mặt tốt hay mặt xấu của những gì đã xảy ra trong ``môi trường'' đối với ``tác nhân'' và mức độ của nó
Khi nghe thấy từ khen thưởng, chúng ta nghĩ đến điều gì đó tốt đẹp, nhưng trong thế giới tỷ lệ kèo cá cược hôm nay tăng cường, bằng cách đặt giá trị âm cho phần thưởng, chúng ta có thể bày tỏ sự trừng phạt
Một cỗ máy không biết gì sẽ không thể quyết định điều gì sẽ xảy ra và điều gì sẽ xảy ra
Do đó, nó phải được xác định trước

Trong ví dụ về CartPole, bạn không thể nhìn thấy nó từ video nhưng nó vẫn tiếp tục cho 1 điểm miễn là cây gậy vẫn tiếp tục đứng vững
Đây là những điều cần được xác định trong tỷ lệ kèo cá cược hôm nay tăng cường
"Quan sát những thay đổi xảy ra trong môi trường xung quanh để phản ứng với hành động của bạn, sau đó đánh giá xem những thay đổi đó là tốt hay xấu đối với bạn"
Bằng cách lặp lại quá trình thử và sai này, bạn có thể tìm ra hướng hành động mang lại những thay đổi tích cực nhất cho mình

Coi chừng sự khác biệt về mục tiêu tỷ lệ kèo cá cược hôm nay tập

Tôi đã giới thiệu ba phương pháp tỷ lệ kèo cá cược hôm nay: ``tỷ lệ kèo cá cược hôm nay có giám sát'' ``tỷ lệ kèo cá cược hôm nay không giám sát'' và ``tỷ lệ kèo cá cược hôm nay tăng cường'' nhưng mỗi phương pháp có mục tiêu tỷ lệ kèo cá cược hôm nay tập khác nhau
Xin lưu ý rằng các vấn đề có thể giải quyết cũng khác nhau
Tôi đã đề cập rằng tỷ lệ kèo cá cược hôm nay tăng cường về cơ bản không yêu cầu thu thập dữ liệu, nhưng có những trường hợp cần thu thập dữ liệu tùy theo vấn đề

Ví dụ: chúng tôi sẽ so sánh tỷ lệ kèo cá cược hôm nay tập có giám sát và tỷ lệ kèo cá cược hôm nay tập tăng cường về "AI cung cấp câu trả lời tối ưu cho các câu hỏi"
Điều này có thể được thực hiện bằng cách sử dụng ``tỷ lệ kèo cá cược hôm nay có giám sát'' bằng cách chuẩn bị dữ liệu huấn luyện được gọi là ``câu trả lời hay nhất cho một câu hỏi''
Chatbot tự động phản hồi phần Hỏi đáp thường được triển khai bằng phương pháp tỷ lệ kèo cá cược hôm nay có giám sát như thế này

Bây giờ, giả sử rằng AI này được triển khai bằng cách tỷ lệ kèo cá cược hôm nay tăng cường, chúng ta sẽ nghĩ về định nghĩa về phần thưởng
Trong CartPole, phần thưởng được xác định dựa trên các giá trị thu được từ môi trường, chẳng hạn như độ dốc của thanh

Lần này, phần thưởng của bạn sẽ được quyết định dựa trên chất lượng câu trả lời của bạn
Để có được giá trị từ môi trường về câu trả lời là tốt hay xấu, cần chuẩn bị ``đủ dữ liệu để đưa ra quyết định chính xác''

Tuy nhiên, "đủ dữ liệu để đưa ra quyết định đúng" cuối cùng lại là "câu trả lời tốt nhất cho câu hỏi"
Nếu bạn có sẵn dữ liệu này thì việc triển khai nó bằng phương pháp tỷ lệ kèo cá cược hôm nay có giám sát sẽ rẻ hơn
Theo cách này, tỷ lệ kèo cá cược hôm nay tăng cường không phù hợp với các vấn đề mà không thể dự đoán được phần thưởng từ môi trường nếu không chuẩn bị dữ liệu

Không phải một trong ba phương pháp tỷ lệ kèo cá cược hôm nay tập tốt hơn mà là chúng được sử dụng theo những cách khác nhau
Con người cần xác định xem vấn đề có phù hợp cho việc tỷ lệ kèo cá cược hôm nay tăng cường hay không

Tổng quan về tỷ lệ kèo cá cược hôm nay tăng cường sâu

Như tôi đã đề cập ở phần đầu, tỷ lệ kèo cá cược hôm nay tăng cường sâu là sự kết hợp giữa tỷ lệ kèo cá cược hôm nay tăng cường và tỷ lệ kèo cá cược hôm nay sâu
＊Về tỷ lệ kèo cá cược hôm nay sâu,“Giới thiệu về TensorFlow + Keras ~ Tôi có thể làm việc đó ở nhà!? tỷ lệ kèo cá cược hôm nay sâu”Nhưng chúng tôi cũng giới thiệu nên các bạn hãy tham khảo thêm nhé

tỷ lệ kèo cá cược hôm nay tăng cường chọn hành động tối ưu bằng cách tìm hiểu "loại phần thưởng nào có thể nhận được khi thực hiện hành động nào ở trạng thái nào"
tỷ lệ kèo cá cược hôm nay tăng cường sâu sử dụng cùng một mục tiêu tỷ lệ kèo cá cược hôm nay tập, nhưng nó khác với tỷ lệ kèo cá cược hôm nay tăng cường ở chỗ nó sử dụng mạng lưới thần kinh để chọn hành động

Thay đổi lớn nhất khi sử dụng mạng thần kinh là giờ đây nó có thể xử lý các giá trị liên tục

Có thể xử lý các giá trị liên tục

Trong tỷ lệ kèo cá cược hôm nay tăng cường thông thường, một bảng giống như bảng hiển thị bên dưới, được gọi là Bảng Q, được sử dụng để quản lý ``những phần thưởng nào có thể nhận được bằng cách thực hiện hành động nào ở trạng thái nào''

Nếu bạn có bảng này, bạn có thể đưa ra các quyết định như nếu bạn thực hiện hành động B ở trạng thái A, bạn sẽ nhận được phần thưởng B
Sau đó, bạn có thể chọn cách hành động tốt nhất dựa trên nhận định đó

Tuy nhiên, bảng này có những hạn chế
Nếu trạng thái liên tục như CartPole thì nó phải được "rời rạc" như minh họa bên dưới

Tôi sẽ giải thích các giá trị liên tục và sự rời rạc bằng cách sử dụng góc của thanh, là một trong các trạng thái, làm ví dụ
Mặc dù có giới hạn về giá trị tối đa và tối thiểu cho góc của thanh nhưng có thể có vô số giá trị ở giữa
Đây là giá trị liên tục
Discretization là quá trình chia các giá trị liên tục thành các phạm vi cụ thể và xác định lại chúng theo cách không liên tục
Về góc của một thanh, chúng ta xác định và chia các góc có thể có như ``Chúng ta nên ở trạng thái A vào lúc nào và bao nhiêu lần?''
Sau đó, có thể đếm các giá trị có thể có của góc của thanh: ``trạng thái A, trạng thái B và trạng thái C''
Nói chung, bằng cách rời rạc hóa các giá trị liên tục theo cách này, có thể thực hiện nhiều quá trình xử lý khác nhau

Nếu các giá trị là liên tục thì các giá trị có thể có là vô hạn nên không thể tạo bảng
Do đó cần phải rời rạc hóa để đưa vào bảng
Tất nhiên, trạng thái không chỉ là góc của thanh nên chúng ta cần rời rạc hóa từng trạng thái

Vấn đề ở đây là bằng cách rời rạc hóa, các trạng thái có chiều rộng không đổi được coi là như nhau
Khi khả năng biểu đạt giảm, độ chính xác cũng giảm

tỷ lệ kèo cá cược hôm nay tăng cường sâu sử dụng mạng thần kinh để xử lý các giá trị liên tục
CartPole tạo mạng thần kinh như mạng bên dưới

Với tính năng này, tỷ lệ kèo cá cược hôm nay tăng cường sâu giờ đây có thể xử lý thông tin mà không làm mất đi tính biểu cảm

Ngoài ra, DQN (Deep Q-Network), nổi tiếng là thuật toán tỷ lệ kèo cá cược hôm nay tăng cường sâu, sử dụng nhiều kỹ thuật khác nhau để giúp việc tỷ lệ kèo cá cược hôm nay thành công, chẳng hạn như phá vỡ chuỗi thời gian đầu vào cho việc tỷ lệ kèo cá cược hôm nay, giới hạn thời gian cập nhật trọng số của mạng lưới thần kinh và ấn định phần thưởng thành [-1, 0, 1]