Mục này được đóng góp bởi Assist Co, Ltd ()

Tên tôi là Hiroshi Tanahashi và tôi phụ trách các sản phẩm Progress từ tháng 4 năm 2016 Gần đây, các thuật ngữ ``AI'', ``deep learning'' và ``Deep Learning'' đã trở nên phổ biến Mặt khác, '' số từ đã giảm đáng kể Sự khác biệt giữa những từ này là gì? Đối với những người quan tâm, Michael Copeland đã viết ``Sự khác biệt giữa Trí tuệ nhân tạo, Học máy và Học sâu là gì?'' trên blog chính thức của NVIDIA vào ngày 29 tháng 7 năm 2016

Bây giờ, một điều đáng chú ý khác là kỳ nghỉ hè dài ngày của các con chúng tôi cuối cùng cũng đã kết thúc Trong kỳ nghỉ hè năm đó, tôi đã dẫn dắt các giải bơi lội và kiếm đạo của Bad Son, nhưng dù tôi dành cả ngày ở đó nhưng bọn trẻ chỉ được tham gia chưa đầy 10 phút Vì vậy, tôi tận tỷ lệ cá cược trực tuyến thời gian rảnh rỗi đó để đọc vài cuốn sách về deep learning
Tôi đã biết về ``học có giám sát'' cách đây bốn năm khi tôi phát triển một trình kết nối để nhập một sản phẩm ``học máy'' nhất định vào QlikView mà chúng tôi xử lý, nhưng điều gì đã thay đổi kể từ đó
1) Ngôn ngữ lập trình đã bắt đầu hỗ trợ machine learning (deep learning), giúp phát triển và sử tỷ lệ cá cược trực tuyến dễ dàng hơn
2) Quá trình xử lý hiện sử tỷ lệ cá cược trực tuyến GPU thay vì sử tỷ lệ cá cược trực tuyến CPU
3) Phân tích đa chiều với ít phần tử hơn đã trở thành xu hướng chủ đạo so với phân tích đa phần tử một chiều
Vậy đó

``Học máy'' có hai phương pháp: ``học có giám sát'' và ``học không giám sát'' "Học sâu" chủ yếu đề cập đến "học có giám sát"
``Học có giám sát'' là phương pháp phân tích một lượng lớn dữ liệu mô hình đóng vai trò là giáo viên, khám phá xu hướng và thích ứng với các hiện tượng mới ``AlphaGo'' của Google trở nên nổi tiếng nhờ đánh bại con người bằng cách phân tích hồ sơ trò chơi của những người chơi shogi trên khắp thế giới bằng cách sử tỷ lệ cá cược trực tuyến GPU nhanh hơn 50 lần so với CPU và bằng cách thực hiện "nhiều điều chỉnh khác nhau" Những "điều chỉnh khác nhau" này là kết quả của rất nhiều thử nghiệm và sai sót để giành chiến thắng và phần này dường như là điều chỉ có thể thực hiện được bằng cách nắm vững các thống kê xác suất Ngoài ra, nếu câu trả lời sai thì cần phải nhập dữ liệu đúng nhiều lần và huấn luyện nó Mặt khác, nếu tăng số lượng dữ liệu mô hình thì mặt tiêu cực của tình trạng `` trang bị quá mức '' sẽ xuất hiện, bạn sẽ không thể nhìn thấy toàn bộ hiện tượng nên cần phải điều chỉnh lại sự cân bằng
Theo cách này, ``học có giám sát'' liên quan đến sự tồn tại của một ``câu trả lời mô hình'' nhất định, và ``các điều chỉnh khác nhau'' được thực hiện để tiến gần hơn đến câu trả lời đó ``các điều chỉnh khác nhau'' này tạo thành cốt lõi của ``học có giám sát'' Mặc dù các ngôn ngữ lập trình ​​đã bắt đầu hỗ trợ học máy (học sâu) cho những "điều chỉnh khác nhau" này, nhưng chúng vẫn sử tỷ lệ cá cược trực tuyến các tham số tổng quát và độ chính xác không đủ cho một chuyên gia ứng tỷ lệ cá cược trực tuyến Và học máy vẫn đang ở giai đoạn thử và sai, rất khó để tìm ra phải làm gì và làm như thế nào khi thiếu độ chính xác Tôi nhận ra điều này khi tôi đang phát triển Trình kết nối QlikView, nhưng cuốn sách tôi đọc lần này không đề cập rằng phần này đã trở nên dễ dàng hơn

``Học không giám sát'' trái ngược với ``học có giám sát'' và có nghĩa là không có câu trả lời Tuy nhiên, ngay cả khi không có câu trả lời, việc học cũng không thể diễn ra trừ khi có mục tiêu Một ví dụ về "học không giám sát" là "DQN" của Google DeepMind, cho phép máy tính tự học các quy tắc của trò chơi phá khối và đạt điểm cao hơn con người
Trong trường hợp ``học không giám sát'' không có câu trả lời nhưng có mục tiêu ``điểm cao''
``Kẻ cướp đa vũ trang'' là một đề xuất được đưa ra trong quá trình ``học không giám sát'' Hãy xem xét đề xuất này

Có một máy đánh bạc (máy xổ số) rút ra `` trúng '' hoặc `` trượt '' với một xác suất nhất định
Hiện tại có máy đánh bạc A có 70% cơ hội thắng và máy đánh bạc B có 40% cơ hội thắng
Tôi nên chọn cách nào để nhận được nhiều lượt truy cập nhất?

Trong trường hợp "học có giám sát"

1) Nếu bạn chạy máy đánh bạc A 10000 lần thì xác suất "thắng" sẽ là khoảng 70%
2) Nếu bạn chạy máy đánh bạc B 10000 lần thì xác suất "thắng" sẽ là khoảng 40%
3) So sánh kết quả của máy đánh bạc A và máy đánh bạc B, và nếu bạn tiếp tục chạy máy đánh bạc A từ lần đầu tiên, bạn sẽ nhận được số tiền tối đa


Tuy nhiên, trong ``học không giám sát'', thông tin duy nhất có sẵn là kết quả thực thi bạn sẽ làm gì?

``Xổ số dành cho máy đánh bạc có tỷ lệ cược tốt'' rất đơn giản và rõ ràng Tuy nhiên, định nghĩa về “máy đánh bạc có xác suất tốt” vẫn chưa rõ ràng Một chương trình không thể được viết nếu không có định nghĩa rõ ràng về kết quả của hai lần thực hiện hoặc mười lần thực hiện

Ví dụ: ``So sánh kết quả tích lũy và sử tỷ lệ cá cược trực tuyến máy đánh bạc có xác suất tốt hơn vào lần sau'' Nếu kết quả giống nhau, hãy sử tỷ lệ cá cược trực tuyến máy đánh bạc khác vào lần tiếp theo "Hãy nói đi Các quy tắc rất rõ ràng
1) Chạy máy đánh bạc A
Thật không may, tôi đã "trượt" 30%
　Kết quả tích lũy trừ đi số lần "thắng" của máy đánh bạc A và máy đánh bạc B là 0% nên lần sau tôi sẽ sử tỷ lệ cá cược trực tuyến máy đánh bạc B
Sử tỷ lệ cá cược trực tuyến nó
2) Chạy máy đánh bạc B
　Tình cờ tôi trúng được 40%
　So sánh kết quả tích lũy của máy đánh bạc A (0/1) 0% và máy đánh bạc B (1/1) 100% và thử máy đánh bạc B vào lần sau
Sử tỷ lệ cá cược trực tuyến
3) Xác suất của máy đánh bạc A là 0% nên nếu bạn tiếp tục sử tỷ lệ cá cược trực tuyến máy đánh bạc B thì xác suất cuối cùng sẽ vào khoảng 40%

Tuy nhiên, phương pháp này có nghĩa là nếu một máy đánh bạc có xác suất tốt rút ra "trượt" trong lần quay đầu tiên thì sẽ dẫn đến lựa chọn sai

Con người biết mục tiêu của mình nên cố gắng bắt họ chọn máy đánh bạc A có xác suất tốt theo cách chính xác Đây là "sự điều chỉnh khác nhau" được đề cập ở trên Điều này cũng đúng với "học tập không giám sát" Đây là phần có cảm giác lén lút theo một nghĩa nào đó

Hãy thêm các điều kiện sau vào quy tắc trên

Đầu tiên, so sánh kết quả chạy máy đánh bạc A hai lần và kết quả chạy máy đánh bạc B hai lần,
Từ bây giờ hãy sử tỷ lệ cá cược trực tuyến máy đánh bạc có tỷ lệ cược tốt

Đó là một sự điều chỉnh khá tốt Đây là bài kiểm tra AB để kiểm tra giả thuyết Cách "thực hiện (thử nghiệm) máy đánh bạc A hai lần" này được gọi là "KHÁM PHÁ" Sử tỷ lệ cá cược trực tuyến một máy đánh bạc cụ thể dựa trên kết quả tìm kiếm sau `` KHÁM PHÁ '' được gọi là `` KHAI THÁC ''

Cột này không nói về xác suất hay thống kê nên tôi muốn tính toán rằng máy đánh bạc B sẽ được chọn trong khoảng 15% trường hợp
Sử tỷ lệ cá cược trực tuyến `` KHÁM PHÁ '' hai lần có đủ không? 10 lần có đủ không? Về cơ bản, rất khó để giải quyết mệnh đề này chỉ bằng xác suất Một số chiến lược khác sẽ cần thiết

Một loạt thuật toán đã được tạo ra để giải quyết mệnh đề này, bao gồm thuật toán đại diện bên dưới

■Thuật toán tham lam Epsilon
■Thuật toán Softmax
■Thuật toán UCB1 (Thuật toán giới hạn tin cậy trên 1)

Vì bài viết này không phải là bài giải thích về thuật toán nên tôi sẽ để lại chi tiết từng thuật toán cho độc giả và đánh giá công thức tính toán của thuật toán UCB1

a Số lần thắng tích lũy trên máy đánh bạc "này"
n Số lần thử tích lũy được rút ra tại máy đánh bạc "này"
N Số lần rút tích lũy ở tất cả các máy đánh bạc
Hằng số C

Hãy sử tỷ lệ cá cược trực tuyến thuật toán UCB này cho `` KHÁM PHÁ'' và thực hành các quy tắc sau trên bàn làm việc của bạn

Chạy tất cả các máy đánh bạc và tạo giá trị UCB1 làm giá trị ban đầu
Chọn máy đánh bạc có giá trị UCB1 cao nhất
Nếu có nhiều máy đánh bạc có giá trị UCB1 cao nhất, hãy chọn máy đánh bạc trước đó
Đặt hằng số C là 2

Có vẻ như bạn đã chọn máy đánh bạc A rất nhiều lần Cần phải tăng số lượng thử nghiệm và xác minh xem đó là sự trùng hợp ngẫu nhiên hay cần thiết

Hãy triển khai các quy tắc được sử tỷ lệ cá cược trực tuyến trong phần trước bằng Corticon

Đầu tiên, hãy tạo một máy đánh bạc Điều này sử tỷ lệ cá cược trực tuyến toán tử sau, là một trình tạo số ngẫu nhiên

RandomGeneratorgetRandomNumber

Toán tử này tạo giá trị "thập phân" trong khoảng từ 0 đến 1 Tôi đã trích xuất chữ số thứ 4 sau dấu thập phân của giá trị này và tạo một chữ số duy nhất từ 0 đến 9

(((RandomGeneratorgetRandomNumber * 10000)toInteger)mod(10))toString

Theo kinh nghiệm của tôi, các hàm tạo số ngẫu nhiên có xu hướng có các giá trị khá sai lệch, vì vậy tôi sử tỷ lệ cá cược trực tuyến ``chữ số thứ 4 sau dấu thập phân'' Ngoài ra, chúng tôi đã chạy tập lệnh trên nhiều lần trong quá trình kiểm tra quy tắc và xác nhận rằng tỷ lệ xuất hiện của các số được tạo là xấp xỉ 1/10

Phần còn lại sẽ bao gồm một bảng quy tắc tích lũy kết quả xổ số Số lần thực hiện và số lần "thắng" cho máy đánh bạc A và máy đánh bạc B sẽ được hiển thị dưới dạng kết quả hiển thị

banditecore

Thuộc tính và cài đặt từ vựng

Để tạo quy tắc chung trong Corticon, một thuộc tính có tên là mới nhấtN,tiếp theo sẽ được tạo Đây là một biến không cần thiết khi tạo nó bằng ngôn ngữ lập trình

Đầu tiên, tạo hai bảng quy tắc để khởi tạo các thuộc tính Thứ tự thực thi hai bảng quy tắc khởi tạo này không quan trọng

initialize1ers

Xóa thuộc tính numberOfTrials của thực thể thử nghiệm về 0

initialize2ers

Xóa thuộc tính thử và thắng của thực thể kẻ cướp về 0 Đồng thời xóa thuộc tính tiếp theo bằng T(true)

Bây giờ là lúc tạo quy tắc cho phần xử lý chính Đầu tiên, tạo quy tắc vẽ một máy đánh bạc cụ thể

banditForLoopers

Click vào hình để phóng to

Trên dòng 0, một số tùy ý được tạo trong banditswstring dựa trên một số ngẫu nhiên
Ngoài ra, testbandittry, là số lần thử tích lũy trên mỗi máy, được tính lên Nó cũng đếm số lượng bộ đếm thử nghiệm, testnumberOfTrials Tiếp theo, xác minh xem chuỗi banditswstring được tạo trong mục điều kiện, một cột có tồn tại trong chuỗi testbanditsnumber đặt trước hay không và nếu nó tồn tại, hãy xác định đó là "lần truy cập" và đặt T(true) thành testbanditsresult Ngoài ra, trong trường hợp “thắng” thì tổng số lần mỗi máy rút ra “thắng” sẽ được tính cộng dồn
Bằng cách này, xác suất của một máy đánh bạc được xác định bởi bộ ký tự trong testbanditsnumber Nếu đặt 7 số thì xác suất là 70%, đặt 4 số thì xác suất là 40%

Tạo quy tắc để tính giá trị UCB1

ucb1ers

Click vào hình để phóng to

Máy đánh bạc rút bài sử tỷ lệ cá cược trực tuyến bộ lọc và đặt banditsnext=T Vì tất cả các máy đánh bạc luôn được thực thi trong quá trình xử lý ban đầu nên banditsnext của tất cả các máy đánh bạc được đặt thành T trong initize2ers
Sau quá trình xử lý ban đầu, luôn đặt T thành banditsnext cho một thiết bị và đặt thành null nếu vượt quá số lần thử theo kế hoạch
Nếu số lần thử ít hơn số lần thử theo kế hoạch, hãy tính giá trị UCB1 của tất cả các máy đánh bạc, lưu giá trị đó trong thuộc tính testbanditucb1 và xóa banditsnext bằng F để xác định máy đánh bạc tiếp theo sẽ chạy Đặt thành null nếu vượt quá số lần thử theo kế hoạch

Tạo quy tắc theo hai bước để xác định máy đánh bạc tiếp theo sẽ chạy

next1ers

Để chọn máy đánh bạc có giá trị UCB1 lớn nhất, hãy sử tỷ lệ cá cược trực tuyến toán tử tập hợp và đặt T trong thuộc tính banditsnext của máy đánh bạc có banditsucb1->max giống với banditsucb1

Tiếp theo, triển khai quy tắc rằng nếu các giá trị UCB1 giống nhau thì máy đánh bạc trước đó sẽ được sử tỷ lệ cá cược trực tuyến

next2ers

Mỗi lần rút xổ số, testnumberOfTrials được đặt trong thuộc tính banditslatestN của máy đánh bạc được sử tỷ lệ cá cược trực tuyến, do đó (máy đánh bạc trước đó) = (máy đánh bạc có giá trị banditslatestN lớn)

Bảng quy tắc trên được kiểm soát bởi luồng quy tắc

testerf

Tạo một luồng con có tên Vòng lặp để lưu trữ phần vòng lặp Cuối cùng, chúng ta thiết lập một vòng lặp cho luồng con Vòng lặp này

* cài đặt vòng lặp brmspropaties

Việc cài đặt quy tắc hiện đã hoàn tất Cuối cùng chúng tôi cũng đang tiến hành thử nghiệm, nhưng chúng tôi giả định sẽ có 50000 thử nghiệm Cài đặt mặc định của Corticon giới hạn số vòng lặp tối đa là 100, vì vậy bạn cần tăng giá trị này

comcorticonreactorrulebuildermaxloops=1000000

Cài đặt ở trên đặt giới hạn trên là 1000000 lần Vui lòng ghi đè lên tập tin thuộc tính Để biết thêm thông tin, hãy xem "Corticon Studio: Hướng dẫn tham khảo nhanh" trang 13 hoặc "Máy chủ Corticon: Hướng dẫn tích hợp & triển khai" "Phụ lục C: Định cấu hình các thuộc tính và cài đặt Corticon" "Sử tỷ lệ cá cược trực tuyến tệp ghi đè brmsproperties"

Bây giờ hãy thiết lập thử nghiệm
Đặt số lần thử dự kiến, textexpectedNumberOfTrials, thành 50000 Thiết lập hai máy đánh bạc Tạo hai tệp testbandit Đặt xác suất xổ số cho hai máy đánh bạc Vì 1 đơn vị là 70% nên tôi đặt chuỗi 7 ký tự "1246890" thành testbandit(bandit)number Xác suất xổ số là 70% Vì 1 đơn vị là 40% nên tôi đặt chuỗi 4 ký tự "2468" thành testbandit(bandit)number Xác suất xổ số là 40%

Hãy chạy nó

testert

Thuật toán học không giám sát có thể được cải thiện trong tương lai hoặc có thể xuất hiện một thuật toán khác, nhưng thuật toán UCB1 (Thuật toán giới hạn độ tin cậy trên 1) rất xuất sắc và dường như có nhiều ứng tỷ lệ cá cược trực tuyến trong kinh doanh
Mặt khác, khi sử tỷ lệ cá cược trực tuyến trong kinh doanh, việc thử và sai là cần thiết trong việc xác định cách xác định giá trị của hằng số C và cách sử tỷ lệ cá cược trực tuyến giá trị được tính toán
Chúng tôi thường nhận được câu hỏi "Tôi có thể học máy bằng Corticond không?" Dù câu trả lời là “có thể làm được” như đã nói ở trên nhưng phần thử và sai lại không thể làm được với Corticon Tức là không thể xác định được hằng số C hoặc cách sử tỷ lệ cá cược trực tuyến các xác suất tính toán được
Ngay cả khi Corticon triển khai một mẫu có nhiều thuật toán và một số mẫu hằng số C thì cuối cùng, con người sẽ phải quyết định hằng số C nào sẽ áp tỷ lệ cá cược trực tuyến thuật toán nào và cách sử tỷ lệ cá cược trực tuyến giá trị được tính toán, và rất tiếc là không thể tự động hóa phần này
Ngoài ra, trong học máy, người ta cho rằng gần như không thể phân tích lý do tại sao lại đưa ra một kết quả nhất định Ngược lại, không dễ để xác định nên sử tỷ lệ cá cược trực tuyến thuật toán A hay thuật toán B, hay hằng số C là 20 hay 10
Tôi nghĩ đây cũng là một lĩnh vực mà máy học vẫn còn rất xa vời