การเรียนรู้ของเครื่อง
| ส่วนหนึ่งของเนื้อหา |
| การเรียนรู้ของเครื่อง และ การทำเหมืองข้อมูล |
|---|
การเรียนรู้ของเครื่อง หรือ แม็ชชีนเลิร์นนิง (อังกฤษ: machine learning; ย่อว่า ML) เป็นสาขาย่อยของปัญญาประดิษฐ์ที่ศึกษาวิธีสร้างอัลกอริทึมและโมเดลคำนวณซึ่งปรับปรุงผลการทำงานจากข้อมูลหรือประสบการณ์ ระบบการเรียนรู้ของเครื่องจะประมาณแบบแผนหรือความสัมพันธ์จากข้อมูลที่ใช้ฝึก แล้วนำสิ่งที่เรียนรู้ไปจำแนก พยากรณ์ สร้างข้อมูล หรือตัดสินใจกับตัวอย่างใหม่ คุณสมบัติสำคัญคือการวางนัยทั่วไป (generalization) หรือความสามารถในการทำงานกับข้อมูลที่ไม่ได้ใช้ระหว่างการฝึก ไม่ใช่เพียงจดจำตัวอย่างในชุดข้อมูลฝึก[1][2]
กระบวนทัศน์ของสาขานี้รวมถึงการเรียนรู้แบบมีผู้สอน (supervised learning) ซึ่งเรียนรู้จากตัวอย่างที่มีคำตอบกำกับ การเรียนรู้แบบไม่มีผู้สอน (unsupervised learning) ซึ่งค้นหาโครงสร้างจากข้อมูลที่ไม่มีป้ายกำกับ การเรียนรู้แบบกำกับตนเอง (self-supervised learning) ซึ่งสร้างสัญญาณกำกับจากตัวข้อมูลเอง และการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ซึ่งเรียนรู้จากผลตอบแทนระหว่างการปฏิสัมพันธ์กับสภาพแวดล้อม[3][4] การฝึกโมเดลจำนวนมากทำโดยปรับค่าพารามิเตอร์เพื่อลดฟังก์ชันการสูญเสีย (loss function) และประเมินว่าสามารถวางนัยทั่วไปได้ดีเพียงใด วิธีวิทยาของการเรียนรู้ของเครื่องจึงเกี่ยวข้องอย่างใกล้ชิดกับสถิติศาสตร์ การหาค่าเหมาะที่สุด การรู้จำแบบ และการทำเหมืองข้อมูล
ตั้งแต่คริสต์ทศวรรษ 2010 การเรียนรู้เชิงลึก (deep learning) มีบทบาทมากขึ้น โดยใช้โครงข่ายประสาทหลายชั้นเพื่อเรียนรู้ค่าแทนลักษณะ (representation learning) ของข้อมูลหลายระดับ[5] การฝึกล่วงหน้า (pretraining) ด้วยข้อมูลขนาดใหญ่ การถ่ายโอนการเรียนรู้ (transfer learning) และสถาปัตยกรรมทรานส์ฟอร์เมอร์ (transformer) ทำให้โมเดลเดียวสามารถปรับใช้กับงานหลายประเภทได้[6] แนวทางดังกล่าวนำไปสู่โมเดลรากฐาน (foundation models) ซึ่งฝึกจากข้อมูลกว้างในขนาดใหญ่แล้วนำไปปรับสำหรับงานปลายทางต่าง ๆ โดยโมเดลภาษาขนาดใหญ่ (large language models; LLM) เป็นกรณีหนึ่งของโมเดลกลุ่มนี้ ไม่ใช่ตัวแทนของการเรียนรู้ของเครื่องทั้งหมด[7]
การเรียนรู้ของเครื่องประยุกต์ใช้ในการประมวลภาษาธรรมชาติ คอมพิวเตอร์วิทัศน์ การกรองอีเมล การรู้จำเสียง ระบบแนะนำ การค้นคืนสารสนเทศ วิทยาศาสตร์ การแพทย์ การเงิน และหุ่นยนต์ อย่างไรก็ตาม สมรรถนะของระบบขึ้นอยู่กับคุณภาพและความเป็นตัวแทนของข้อมูล วิธีประเมินผล สภาพแวดล้อมที่นำไปใช้ และข้อสมมติของโมเดล ระบบอาจเผชิญปัญหา เช่น การเปลี่ยนแปลงของการแจกแจงข้อมูล (distribution shift) อคติ ความคลาดเคลื่อน ความไม่โปร่งใส การละเมิดความเป็นส่วนตัว ช่องโหว่ด้านความปลอดภัย และต้นทุนการคำนวณ จึงต้องประเมินและติดตามความน่าเชื่อถือตลอดวงจรชีวิตของระบบ[8]
ประวัติ
[แก้]รากฐานทางทฤษฎีและเครื่องจักรเรียนรู้ยุคแรก
[แก้]
รากฐานของการเรียนรู้ของเครื่องเกิดจากงานหลายสาย ทั้งตรรกศาสตร์ คณิตศาสตร์ สถิติศาสตร์ ประสาทวิทยา และความพยายามสร้างเครื่องจักรที่ปรับพฤติกรรมจากประสบการณ์ ใน ค.ศ. 1943 วอร์เรน สเตอร์จิส แมคคัลลอค และวอลเตอร์ พิตส์ เสนอโมเดลทางคณิตศาสตร์ของหน่วยประสาทอย่างง่าย ซึ่งแสดงให้เห็นว่าเครือข่ายของหน่วยดังกล่าวสามารถแทนการคำนวณเชิงตรรกะได้ งานนี้ไม่ได้เสนอวิธีฝึกโครงข่ายแบบสมัยใหม่โดยตรง แต่เป็นรากฐานสำคัญของแนวคิดเซลล์ประสาทเทียมและการคำนวณแบบโครงข่าย[9] ต่อมาใน ค.ศ. 1949 ดอนัลด์ โอ. เฮบบ์ (Donald O. Hebb) เสนอหลักการว่าความเชื่อมโยงระหว่างเซลล์ประสาทอาจเปลี่ยนแปลงตามกิจกรรมร่วมกันของเซลล์ ซึ่งมีอิทธิพลต่อแนวคิดการเรียนรู้แบบปรับค่าน้ำหนักในโครงข่ายประสาท[10]
ในบทความ Computing Machinery and Intelligence ค.ศ. 1950 แอลัน ทัวริงเสนอให้แทนคำถามกำกวมว่า “เครื่องจักรคิดได้หรือไม่?” ด้วยเกมเลียนแบบ (imitation game) ซึ่งประเมินความสามารถของเครื่องจากการโต้ตอบที่สังเกตได้ ทัวริงยังอภิปรายแนวคิด “เครื่องจักรเด็ก” ซึ่งอาจได้รับการศึกษาและฝึกแทนการพยายามเขียนโปรแกรมความฉลาดของผู้ใหญ่ทั้งหมดไว้ล่วงหน้า แนวคิดดังกล่าวนั้นไม่ใช่ขั้นตอนวิธีการเรียนรู้ของเครื่องในความหมายปัจจุบันแต่แสดงทิศทางสำคัญว่าความสามารถของเครื่องอาจเกิดจากกระบวนการฝึกและประสบการณ์[11]
การก่อตัวของสาขาและการรู้จำแบบ
[แก้]
ในคริสต์ทศวรรษ 1950 นักวิจัยเริ่มสร้างระบบที่ปรับค่าจากตัวอย่างได้จริง แฟรงก์ โรเซนแบลตต์เสนอเพอร์เซปตรอน (perceptron) ใน ค.ศ. 1958 เป็นโมเดลการเรียนรู้สำหรับการจำแนกเชิงเส้น และต่อมาได้สร้าง Mark I Perceptron เป็นเครื่องทดลองที่รับข้อมูลภาพผ่านชุดโฟโตเซลล์แสง[12] เพอร์เซปตรอนแสดงให้เห็นว่าค่าน้ำหนักของตัวจำแนกสามารถปรับจากตัวอย่างการฝึกได้ แต่เพอร์เซปตรอนชั้นเดียวมีข้อจำกัดต่อปัญหาที่ไม่สามารถแบ่งด้วยขอบเขตเชิงเส้น ข้อจำกัดดังกล่าวเป็นส่วนหนึ่งของการถกเถียงเรื่องศักยภาพของโครงข่ายประสาทในเวลาต่อมา
ในช่วงเดียวกัน อาเธอร์ ซามูเอลพัฒนาโปรแกรมเล่นหมากฮอสที่ปรับปรุงการเล่นจากประสบการณ์และจากเกมที่โปรแกรมเล่นกับตนเอง บทความ ค.ศ. 1959 ของเขาใช้คำว่า machine learning ในชื่อเรื่องและอธิบายทั้งการเรียนรู้โดยจดจำตำแหน่งที่เคยพบ (rote learning) กับการเรียนรู้โดยปรับฟังก์ชันประเมินสถานะของเกม[13] งานนี้มักถือเป็นหนึ่งในตัวอย่างแรกที่ชัดเจนของโปรแกรมซึ่งปรับปรุงสมรรถนะจากประสบการณ์
ตั้งแต่คริสต์ทศวรรษ 1960 ถึง 1970 งานด้านการเรียนรู้ของเครื่องเชื่อมโยงอย่างใกล้ชิดกับการรู้จำแบบ (pattern recognition), การจำแนกเชิงสถิติ และปัญญาประดิษฐ์เชิงสัญลักษณ์ หนังสือ Learning Machines ของนิลส์ นิลส์สันในปี ค.ศ. 1965 และ Pattern Classification and Scene Analysis ของริชาร์ด ดูดา และปีเตอร์ ฮาร์ท ใน ค.ศ. 1973 สะท้อนการพัฒนาวิธีจำแนกข้อมูลจากตัวอย่างและการตัดสินใจภายใต้ความไม่แน่นอน[14][15] ในเวลาเดียวกัน งานจำนวนมากในปัญญาประดิษฐ์ให้ความสำคัญกับตรรกศาสตร์ การค้นหา และระบบฐานความรู้มากกว่าการเรียนรู้จากข้อมูล ทำให้ชุมชนวิจัยด้านการเรียนรู้เชิงสถิติและโครงข่ายประสาทพัฒนาอยู่ทั้งภายในและนอกสาขาปัญญาประดิษฐ์
การเรียนรู้เชิงสถิติและการฟื้นตัวของโครงข่ายประสาท
[แก้]ในคริสต์ทศวรรษ 1980 งานแบบคอนเน็กชันนิซึม (connectionism) ทำให้โครงข่ายประสาทกลับมาได้รับความสนใจ เดวิด รูเมลฮาร์ท เจฟฟรีย์ ฮินตัน และโรนัลด์ วิลเลียมส์ แสดงการใช้การแพร่กระจายย้อนกลับ (backpropagation) เพื่อปรับค่าน้ำหนักของโครงข่ายหลายชั้นให้ลดความคลาดเคลื่อนระหว่างผลลัพธ์กับคำตอบที่ต้องการในบทความ ค.ศ. 1986[16] วิธีดังกล่าวมีรากฐานจากงานก่อนหน้าเกี่ยวกับการหาอนุพันธ์และการฝึกโครงข่าย แต่บทความนี้มีบทบาทสำคัญในการเผยแพร่การฝึกโครงข่ายหลายชั้นและแนวคิดว่าชั้นซ่อนสามารถเรียนรู้ค่าแทน (representation) ที่มีประโยชน์ต่อภารกิจ (task) ได้
ตั้งแต่ปลายคริสต์ทศวรรษ 1980 ถึงคริสต์ทศวรรษ 1990 การเรียนรู้ของเครื่องพัฒนาเป็นสาขาที่มีเอกลักษณ์ชัดเจนขึ้น โดยได้รับอิทธิพลจากสถิติศาสตร์ ทฤษฎีความน่าจะเป็น และการหาค่าเหมาะที่สุด วิธีอย่างต้นไม้ตัดสินใจ โมเดลเชิงกราฟ วิธีรวมกลุ่มโมเดล และเครื่องเวกเตอร์ค้ำยัน (support-vector machine: SVM) มุ่งเน้นสมรรถนะการพยากรณ์และการวางนัยทั่วไปกับข้อมูลใหม่ กอรินนา กอร์เตส และวลาดิมีร์ วัปนิก เสนอ support-vector networks ใน ค.ศ. 1995 โดยใช้แนวคิดการเพิ่มระยะขอบสูงสุด (margin maximization) และวิธีเคอร์เนลสำหรับการจำแนกที่ไม่เป็นเชิงเส้น[17] ใน ค.ศ. 1997 ทอม มิตเชลล์เสนอนิยามเชิงปฏิบัติการที่แพร่หลายว่าโปรแกรมเรียนรู้จากประสบการณ์ E สำหรับงาน T และตัววัดสมรรถนะ P เมื่อสมรรถนะในงานนั้นดีขึ้นจากประสบการณ์[18]

การเรียนรู้เชิงลึกและข้อมูลขนาดใหญ่
[แก้]ในคริสต์ทศวรรษ 2000 ความพร้อมของชุดข้อมูลขนาดใหญ่ หน่วยประมวลผลกราฟิกส์ (GPU) และวิธีปรับค่าพารามิเตอร์ที่ดีขึ้นช่วยให้สามารถฝึกโครงข่ายประสาทที่มีหลายชั้นและพารามิเตอร์จำนวนมากขึ้น งานเหล่านี้รวมเรียกว่าการเรียนรู้เชิงลึก (deep learning) ซึ่งเน้นการเรียนรู้ค่าแทนหลายระดับจากข้อมูลดิบ แทนการกำหนดลักษณะเด่นทั้งหมดด้วยมนุษย์[5]
จุดเปลี่ยนที่ได้รับการกล่าวถึงอย่างกว้างขวางเกิดใน ค.ศ. 2012 เมื่ออเล็กซ์ ครีเฌฟสกี (Alex Krizhevsky), อิลยา ซุสท์สกีเวอร์ (Ilya Sutskever) และเจฟฟรีย์ ฮินตันใช้โครงข่ายประสาทคอนโวลูชัน (convolutional network; CNN) เชิงลึกกับการแข่งขัน ImageNet และลดความคลาดเคลื่อนในการจำแนกภาพลงอย่างมากเมื่อเทียบกับวิธีก่อนหน้า[19] ความสำเร็จนี้เร่งการใช้โครงข่ายเชิงลึกในคอมพิวเตอร์วิทัศน์ การรู้จำเสียง และการประมวลภาษาธรรมชาติ แต่ไม่ได้ทำให้วิธีดั้งเดิม เช่น โมเดลเชิงเส้น ต้นไม้ตัดสินใจ หรือวิธีเคอร์เนลหมดความสำคัญ วิธีที่เหมาะสมยังขึ้นอยู่กับชนิดและปริมาณข้อมูล ต้นทุนการคำนวณ และข้อกำหนดด้านความอธิบายได้[20]
ใน ค.ศ. 2024 รางวัลโนเบลสาขาฟิสิกส์มอบแก่จอห์น ฮอปฟีลด์และเจฟฟรีย์ ฮินตัน สำหรับการค้นพบและการประดิษฐ์พื้นฐานที่ช่วยให้เกิดการเรียนรู้ของเครื่องด้วยโครงข่ายประสาทเทียม การมอบรางวัลดังกล่าวสะท้อนการยอมรับอิทธิพลของแนวคิดจากฟิสิกส์สถิติและโครงข่ายประสาทต่อวิทยาศาสตร์และเทคโนโลยีในวงกว้าง[21]
ทรานส์ฟอร์เมอร์และโมเดลรากฐาน
[แก้]ใน ค.ศ. 2017 อาชิช วาสวานี วิศวกรจากกูเกิล และคณะเสนอแนวคิดทรานส์ฟอร์เมอร์ (transformer) ซึ่งใช้กลไกความใส่ใจ (attention mechanism) เป็นองค์ประกอบหลักในการประมวลผลข้อมูลลำดับ โดยไม่ใช้โครงข่ายเวียนกลับเป็นแกนของสถาปัตยกรรม[6][22][23] ความสามารถในการประมวลผลแบบขนานและการสร้างความสัมพันธ์ระหว่างตำแหน่งต่าง ๆ ในข้อมูลช่วยให้ทรานส์ฟอร์เมอร์กลายเป็นสถาปัตยกรรมสำคัญสำหรับภาษา และต่อมาขยายไปยังภาพ เสียง วิดีโอ ชีววิทยา และข้อมูลหลายสื่อ[24]
การฝึกโมเดลล่วงหน้า (pretraining) บนข้อมูลขนาดใหญ่ แล้วปรับโมเดลสำหรับงานปลายทางด้วยการปรับละเอียด (fine-tuning) หรือการเรียนรู้ในบริบท (in-context learning) เปลี่ยนการพัฒนาระบบจากการฝึกโมเดลใหม่สำหรับแต่ละงาน ไปสู่การใช้โมเดลฐานร่วมกัน ในรายงาน ค.ศ. 2021 ริชี บอมมาสานีและคณะเรียกโมเดลที่ฝึกจากข้อมูลกว้างในขนาดใหญ่และปรับใช้กับงานจำนวนมากว่าโมเดลรากฐาน (foundation model)[7] โมเดลภาษาขนาดใหญ่ (large language model: LLM) เป็นกรณีหนึ่งของแนวทางนี้ ขณะที่โมเดลรากฐานยังครอบคลุมโมเดลด้านภาพ เสียง วิทยาศาสตร์ และหลายสื่อ
การขยายขนาดข้อมูล โมเดล และการคำนวณทำให้โมเดลหนึ่งสามารถนำไปใช้กับภารกิจหลายประเภท แต่ยังทำให้เกิดข้อกังวลเกี่ยวกับความโปร่งใส อคติ ที่มาของข้อมูล ความเป็นส่วนตัว ความปลอดภัย และการที่ข้อบกพร่องของโมเดลฐานถูกถ่ายทอดไปยังระบบปลายทางหลายระบบ[7]
โมเดลกำเนิดและระบบตัวแทน
[แก้]การเรียนรู้ของเครื่องไม่ได้จำกัดอยู่ที่การจำแนกและการพยากรณ์ ตั้งแต่คริสต์ทศวรรษ 2010 โมเดลก่อกำเนิด (generative models) เช่น ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (variational autoencoder), โครงข่ายปฏิปักษ์เชิงกำเนิด (generative adversarial network) และโมเดลการแพร่ (diffusion model) พัฒนาให้สามารถเรียนรู้โครงสร้างของข้อมูลและสร้างตัวอย่างใหม่ได้ ใน ค.ศ. 2020 โจนาธาน โฮ, อาจาย ไจน์ และปีเตอร์ อับเบล แสดงผลของโมเดลความน่าจะเป็นแบบการแพร่กระจายเพื่อลดสัญญาณรบกวน (denoising diffusion probabilistic models) ในการสร้างภาพ AI คุณภาพสูง โดยเรียนรู้กระบวนการย้อนกลับจากข้อมูลที่ถูกเพิ่มสัญญาณรบกวนทีละขั้น[25][26] เมื่อรวมกับทรานส์ฟอร์เมอร์และการฝึกล่วงหน้า โมเดลเชิงกำเนิดจึงถูกนำไปใช้สร้างข้อความ ภาพ เสียง วิดีโอ รหัสโปรแกรม และข้อมูลวิทยาศาสตร์
ตั้งแต่ ค.ศ. 2023 เป็นต้นมา งานวิจัยและระบบใช้งานจำนวนมากเริ่มเชื่อมโมเดลภาษาหรือโมเดลหลายสื่อเข้ากับการค้นคืนข้อมูล หน่วยความจำ การวางแผน และเครื่องมือภายนอก ระบบลักษณะนี้มักเรียกว่าเอเจนต์ (AI agent) หรือระบบเอเจนต์ (agentic system) โดยมีเป้าหมายให้ระบบดำเนินงานหลายขั้นและปรับการกระทำจากผลลัพธ์ระหว่างทาง งานสำรวจ ค.ศ. 2025 จัดความสามารถของ agentic LLMs ไว้ในสามกลุ่มกว้าง ได้แก่ การให้เหตุผล การกระทำ และการปฏิสัมพันธ์[27] อย่างไรก็ตาม ระบบตัวแทนเป็นสถาปัตยกรรมของระบบที่ประกอบจากโมเดล เครื่องมือ และกลไกควบคุม ไม่ใช่กระบวนทัศน์การเรียนรู้ชนิดใหม่ในระดับเดียวกับการเรียนรู้แบบมีผู้สอนหรือการเรียนรู้แบบเสริมกำลัง
ณ เดือนกรกฎาคม ค.ศ. 2026 การเรียนรู้ของเครื่องจึงครอบคลุมทั้งวิธีเชิงสถิติและวิธีเชิงสัญลักษณ์ที่ผสานกับการเรียนรู้ โครงข่ายประสาทเชิงลึก โมเดลรากฐาน ระบบเชิงกำเนิด และระบบตัวแทน งานวิจัยร่วมสมัยให้ความสำคัญไม่เพียงกับการเพิ่มสมรรถนะ แต่รวมถึงการประเมินความน่าเชื่อถือ การเปลี่ยนแปลงของการแจกแจงข้อมูล ความอธิบายได้ ความเป็นธรรม ความเป็นส่วนตัว ความมั่นคงปลอดภัย และการกำกับดูแลตลอดวงจรชีวิตของระบบ เอกสาร AI Risk Management Framework: Generative Artificial Intelligence Profile ของ NIST ใน ค.ศ. 2024 เป็นตัวอย่างของความพยายามสร้างกรอบบริหารความเสี่ยงสำหรับระบบเชิงกำเนิดข้ามภาคส่วน[28]
ความสัมพันธ์กับสาขาอื่น
[แก้]การเรียนรู้ของเครื่อง (ML) มีขอบเขตคาบเกี่ยวกับปัญญาประดิษฐ์ สถิติศาสตร์ การหาค่าเหมาะที่สุด การทำเหมืองข้อมูล และวิทยาการข้อมูล สาขาเหล่านี้ใช้เครื่องมือร่วมกันมาก แต่ให้ความสำคัญกับคำถามต่างกัน เช่น การสร้างระบบอัจฉริยะ การอนุมานจากข้อมูล การพยากรณ์ การค้นหารูปแบบ การตัดสินใจ และการจัดการวงจรชีวิตของข้อมูล ขอบเขตระหว่างสาขาจึงไม่ใช่เส้นแบ่งตายตัว และอาจแตกต่างตามบริบททางวิชาการหรือการประยุกต์[2]
ปัญญาประดิษฐ์
[แก้]
ML จัดเป็นสาขาย่อยของปัญญาประดิษฐ์ (AI) โดยเน้นระบบที่ปรับพฤติกรรมหรือสมรรถนะจากข้อมูลและประสบการณ์ ปัญหาที่ AI ถามมีขอบเขตกว้างกว่า และยังครอบคลุมการค้นหา การวางแผน การแทนความรู้ การให้เหตุผล การตัดสินใจ หุ่นยนต์ และระบบหลายตัวแทน ซึ่งไม่จำเป็นต้องอาศัยการเรียนรู้จากข้อมูลในทุกกรณี[29][30] ระบบ AI หนึ่งระบบอาจรวมโมเดลMLเข้ากับกฎเชิงสัญลักษณ์ การค้นหา การวางแผน เครื่องมือภายนอก หรือกลไกควบคุม ตัวอย่างเช่น ระบบหุ่นยนต์อาจใช้โมเดลเรียนรู้สำหรับการรับรู้สภาพแวดล้อม แต่ใช้การวางแผนและการควบคุมสำหรับเลือกการเคลื่อนที่ ส่วนระบบตัวแทนที่ใช้โมเดลภาษาอาจเชื่อมโมเดลกับหน่วยความจำ การค้นคืนข้อมูล และเครื่องมือ “AI” กับ “ML” จึงไม่ใช่คำเดียวกัน[29][2]
สถิติศาสตร์
[แก้]ML กับสถิติศาสตร์มีส่วนคาบเกี่ยวกันอย่างมาก ทั้งสองสาขาศึกษาวิธีเรียนรู้จากข้อมูล ประมาณความสัมพันธ์ ประเมินความไม่แน่นอน และพยากรณ์ผลลัพธ์ สถิติศาสตร์มักให้ความสำคัญกับกระบวนการกำเนิดข้อมูล การออกแบบการศึกษา การอนุมาน และการวัดความไม่แน่นอน ขณะที่งาน ML ของเครื่องจำนวนมากให้ความสำคัญกับการวางนัยทั่วไป (generalization) สมรรถนะการพยากรณ์ อัลกอริทึมที่ขยายขนาดได้ และข้อมูลที่มีมิติสูง อย่างไรก็ตาม ความแตกต่างเหล่านี้เป็นแนวโน้มเท่านั้น[31][32]
ทั้งสถิติศาสตร์และMLใช้โมเดลที่มีโครงสร้างและข้อสมมติ การเลือกตระกูลโมเดล สถาปัตยกรรม ฟังก์ชันการสูญเสีย (loss function) และการทำให้เป็นปกติ (normalization) ล้วนกำหนดอคติแบบอุปนัย (inductive bias) ของระบบ ข้อมูลจึงไม่ได้สร้างโมเดลขึ้นเองโดยปราศจากข้อจำกัด และการเพิ่มตัวแปรจำนวนมากไม่ได้รับประกันว่าสมรรถนะจะดีขึ้น ตัวแปรที่ไม่เกี่ยวข้องหรือมีสัญญาณรบกวน (noise) อาจเพิ่มการเข้ารูปสนิทเกิน (overfitting) ความแปรปรวน (variance) และต้นทุนการคำนวณ จึงต้องใช้การคัดเลือกฟีเจอร์ normalization และการประเมินบนข้อมูลที่ไม่ได้ใช้ฝึก[33] การเรียนรู้ทางสถิติ (statistical learning) เป็นพื้นที่ร่วมสำคัญของสองสาขา ครอบคลุมวิธีอย่างการถดถอย การจำแนก การทำให้เป็นปกติ ต้นไม้ตัดสินใจ วิธีเคอร์เนล และการลดมิติ โดยเน้นทั้งหลักการทางสถิติและสมรรถนะในการพยากรณ์[33]
การหาค่าเหมาะที่สุด
[แก้]การหาค่าเหมาะที่สุด (optimization) เป็นเครื่องมือทางคณิตศาสตร์ที่ใช้ฝึกโมเดลMLจำนวนมาก การฝึกมักเขียนในรูปการลดฟังก์ชันวัตถุประสงค์ ซึ่งอาจประกอบด้วยฟังก์ชันการสูญเสีย (loss function) บนข้อมูลฝึก การ regularization และข้อจำกัดของโมเดล วิธีที่ใช้มีทั้งวิธีอิงเกรเดียนต์ วิธีเชิงสโตแคสติก วิธีพิกัด การหาค่าเหมาะที่สุดแบบมีข้อจำกัด และวิธีค้นหาสำหรับปัญหาที่ไม่ต่อเนื่อง[34] อย่างไรก็ตาม การหาค่าตัวปแกรที่ทำให้ความสูญเสียบนชุดฝึกต่ำไม่เท่ากับการเรียนรู้ที่ดีเสมอไป เป้าหมายของMLคือให้โมเดลทำงานได้ดีกับข้อมูลใหม่ จึงต้องพิจารณาการวางนัยทั่วไป ความซับซ้อนของโมเดล คุณภาพข้อมูล และวิธีประเมินร่วมกับผลการหาค่าเหมาะที่สุด โมเดลที่ทำให้วัตถุประสงค์บนชุดฝึกต่ำมากอาจเข้ารูปสนิทเกินและทำงานกับข้อมูลใหม่ได้แย่ลง[35][33] ไม่ใช่วิธีการเรียนรู้ทุกชนิดจะมีรูปเป็นการลดฟังก์ชันเรียบด้วยเกรเดียนต์เพียงอย่างเดียว โมเดลบางชนิดมีคำตอบแบบปิด ใช้การอนุมานเชิงความน่าจะเป็น การเขียนโปรแกรมเชิงพลวัต การค้นหาเชิงจัดหมู่ หรือขั้นตอนวิธีเฉพาะโครงสร้าง การหาค่าเหมาะที่สุดจึงเป็นพื้นฐานสำคัญของสาขา แต่ไม่ใช่คำจำกัดความของMLทั้งหมด
การทำเหมืองข้อมูลและวิทยาการข้อมูล
[แก้]การทำเหมืองข้อมูล (data mining) ศึกษาการค้นหารูปแบบที่มีประโยชน์จากชุดข้อมูล โดยมักเป็นองค์ประกอบหนึ่งของกระบวนการค้นพบความรู้จากฐานข้อมูล (knowledge discovery in databases: KDD) ซึ่งยังรวมการเลือกข้อมูล การทำความสะอาด การแปลงข้อมูล การประเมิน และการตีความผลลัพธ์ด้วย[36] การทำเหมืองข้อมูลกับMLใช้วิธีร่วมกัน เช่น การจำแนก การถดถอย การจัดกลุ่ม การตรวจจับความผิดปกติ การคัดเลือกลักษณะเด่น และการเรียนรู้กฎความเกี่ยวพัน ความแตกต่างอยู่ที่จุดเน้นมากกว่าวิธีที่ใช้ การทำเหมืองข้อมูลมักเน้นการค้นหาและตีความรูปแบบในฐานข้อมูลขนาดใหญ่ ส่วนMLมีขอบเขตกว้างไปถึงการเรียนรู้ค่าแทน การสร้างข้อมูล การตัดสินใจตามลำดับ และการควบคุมระบบ[36][35]
วิทยาการข้อมูล (data science) มีขอบเขตกว้างกว่าการสร้างโมเดล โดยรวมการรวบรวมและกำกับดูแลข้อมูล วิศวกรรมข้อมูล การวิเคราะห์เชิงสำรวจ การสร้างภาพ (visualization) การอนุมาน การทำโมเดล ML การสื่อสารผลลัพธ์ และการนำระบบข้อมูลไปใช้งาน MLจึงเป็นเครื่องมือสำคัญชนิดหนึ่งของวิทยาการข้อมูล แต่ไม่ใช่องค์ประกอบทั้งหมดของสาขาวิทยาการข้อมูล[37]
ทฤษฎี
[แก้]การเรียนรู้ของเครื่องมีเป้าหมายให้โมเดลเรียนรู้จากข้อมูลฝึก แล้ววางนัยทั่วไปไปยังข้อมูลใหม่ที่ไม่เคยเห็นได้ดี โมเดลที่ดีไม่ใช่โมเดลที่จำตัวอย่างฝึกได้มากที่สุด แต่เป็นโมเดลที่ยังทำนายข้อมูลใหม่ได้อย่างถูกต้อง[38][39]
การเรียนรู้จากข้อมูล
[แก้]ให้ แทนข้อมูลนำเข้า เช่น รูปภาพ ข้อความ หรือค่าจากเซนเซอร์ และให้ แทนคำตอบที่ต้องการ เช่น ชนิดของวัตถุหรือค่าที่จะพยากรณ์ ชุดข้อมูลฝึกเขียนได้ว่า
โมเดล รับ แล้วสร้างคำทำนาย สมมติว่าตัวอย่างฝึกและข้อมูลใหม่ถูกสุ่มจากการแจกแจงเดียวกันที่ไม่ทราบค่า เรียกว่า สมมติฐานนี้ทำให้สามารถวิเคราะห์ได้ว่าข้อมูลฝึกช่วยทำนายข้อมูลใหม่ได้เพียงใด[40]
คุณภาพของคำทำนายวัดด้วยฟังก์ชันการสูญเสีย (loss function) ตัวอย่างเช่น การถดถอยมักใช้กำลังสองของความคลาดเคลื่อน
ส่วนการจำแนกหลายชั้นที่โมเดลส่งค่าความน่าจะเป็น มักใช้ cross-entropy
โดย ระบุชั้นที่ถูกต้อง และ คือความน่าจะเป็นที่โมเดลให้แก่ชั้น [38]
ความผิดพลาดบนข้อมูลฝึกและข้อมูลใหม่
[แก้]ความสูญเสียเฉลี่ยที่แท้จริงบนข้อมูลใหม่เรียกว่าความเสี่ยงคาดหมาย (อังกฤษ: expected risk)
แต่เนื่องจากไม่ทราบการแจกแจง โดยตรง จึงคำนวณได้เพียงความสูญเสียเฉลี่ยบนชุดฝึก หรือความเสี่ยงเชิงประจักษ์ (อังกฤษ: empirical risk)
การฝึกโมเดลโดยทั่วไปจึงพยายามทำให้ ต่ำที่สุด อย่างไรก็ดี ค่าบนชุดฝึกที่ต่ำไม่ได้แปลว่าค่าบนข้อมูลใหม่จะต่ำเสมอไป ความแตกต่างระหว่างสองค่านี้เรียกว่า ช่องว่างการวางนัยทั่วไป (อังกฤษ: generalization gap)[39]
การเข้ารูปหลวมเกินและการเข้ารูปสนิทเกิน
[แก้]หากโมเดลง่ายเกินไป อาจจับรูปแบบสำคัญของข้อมูลไม่ได้ ทั้งบนชุดฝึกและข้อมูลใหม่ เรียกว่าการเข้ารูปหลวมเกิน (อังกฤษ: underfitting) แต่หากโมเดลซับซ้อนมากและเรียนรู้รายละเอียดเฉพาะหรือสัญญาณรบกวนของชุดฝึกมากเกินไป จะเกิดการเข้ารูปสนิทเกิน (อังกฤษ: overfitting): ผลบนชุดฝึกดี แต่ผลบนข้อมูลใหม่แย่ลง[38]
วิธีหนึ่งในการลดปัญหานี้คือเพิ่มข้อจำกัดให้โมเดล หรือการทำให้เป็นระเบียบ (อังกฤษ: regularization) โดยเลือกพารามิเตอร์ จากสมการ
พจน์แรกทำให้โมเดลเข้ากับข้อมูลฝึก ส่วน ลงโทษโมเดลที่ซับซ้อนเกินไป และ ควบคุมความสำคัญของข้อจำกัดนั้น ตัวอย่างเช่น L2 regularization ใช้ [38]
สำหรับการถดถอยที่ใช้ squared loss ความผิดพลาดในการทำนายสามารถอธิบายอย่างย่อได้ว่า:
อธิบายได้ว่า
- ความเอนเอียง (Bias) คือความผิดพลาดจากโมเดลที่เรียบง่ายเกินไป จนเรียนรู้รูปแบบสำคัญของข้อมูลได้ไม่ครบ มักทำให้เกิด underfitting
- ความแปรปรวน (Variance) คือความผิดพลาดจากโมเดลที่ไวต่อข้อมูลฝึกมากเกินไป จนจดจำรายละเอียดหรือความบังเอิญในชุดฝึก มักทำให้เกิด overfitting
- สัญญาณรบกวน (Noise) คือความผิดพลาดที่มีอยู่ในข้อมูลเอง เช่น การวัดคลาดเคลื่อนหรือปัจจัยที่ไม่สามารถสังเกตได้ ซึ่งโมเดลไม่อาจกำจัดได้ทั้งหมด
ความเอนเอียงสูงหมายถึงโมเดลเรียบง่ายจนพลาดรูปแบบจริง ส่วนความแปรปรวนสูงหมายถึงผลของโมเดลเปลี่ยนมากเมื่อเปลี่ยนชุดข้อมูลฝึก สูตรนี้ใช้โดยตรงกับการถดถอยภายใต้ squared loss จึงไม่ควรใช้เป็นกฎตายตัวกับการจำแนกทุกชนิด[38]
ทฤษฎีการเรียนรู้เชิงคำนวณ
[แก้]ทฤษฎีการเรียนรู้เชิงคำนวณศึกษาว่าต้องใช้ข้อมูลเท่าใด และต้องใช้เวลาคำนวณมากเพียงใดจึงเรียนรู้ได้ โมเดลการเรียนรู้ที่น่าจะถูกต้องโดยประมาณ (อังกฤษ: probably approximately correct learning; PAC) อธิบายการรับประกันในรูปแบบที่เข้าใจได้ดังนี้: ถ้าเลือกข้อมูลฝึกอย่างสุ่มเพียงพอ โมเดลควรมีความผิดพลาดไม่เกิน ด้วยความน่าจะเป็นอย่างน้อย [41]
ในกรณีทั่วไป ข้อมูลอาจมีสัญญาณรบกวน หรือไม่มีโมเดลใดที่ถูกต้องสมบูรณ์ ทฤษฎีจึงเปรียบเทียบกับโมเดลที่ดีที่สุดในกลุ่มที่เลือกไว้:
กล่าวคือ โมเดลที่ได้ควรมีผลใกล้เคียงกับโมเดลที่ดีที่สุดเท่าที่หาได้จากกลุ่ม ไม่จำเป็นต้องทำนายได้ถูกต้องทุกตัวอย่าง[40][39]
สำหรับงานจำแนกสองชั้น ความซับซ้อนของกลุ่มโมเดลวัดได้ด้วยมิติ VC (อังกฤษ: VC dimension) ซึ่งโดยสังเขปคือความสามารถของกลุ่มโมเดลในการกำหนดป้ายกำกับข้อมูลได้หลากหลายเพียงใด หากมิติ VC มีค่า จำนวนตัวอย่างที่ต้องการจะเพิ่มขึ้นตาม และลดลงเมื่อยอมให้มีความคลาดเคลื่อน มากขึ้น ตัวอย่างขอบเขตในกรณีที่ข้อมูลมีสัญญาณรบกวนมีลำดับว่า
สูตรนี้ไม่ได้ใช้คำนวณจำนวนข้อมูลจริงแบบตรง ๆ แต่แสดงหลักสำคัญว่า โมเดลที่มีความสามารถมากขึ้นต้องอาศัยข้อมูลมากขึ้นเพื่อวางนัยทั่วไปได้อย่างน่าเชื่อถือ[39][40]
เวลาในการคำนวณและข้อจำกัด
[แก้]การเรียนรู้ได้เชิงทฤษฎีไม่ได้แปลว่าเรียนรู้ได้รวดเร็วเสมอไป ทฤษฎีจึงแยกคำถามว่า “มีข้อมูลพอหรือไม่” ออกจากคำถามว่า “หาคำตอบได้ภายในเวลาที่เหมาะสมหรือไม่” โดยทั่วไป การเรียนรู้เรียกว่ามีประสิทธิภาพเมื่อจำนวนข้อมูลและเวลาคำนวณเพิ่มขึ้นไม่เกินพหุนามตามขนาดปัญหา และ [40]
ผลลบทางทฤษฎีจำนวนมากเป็นผลแบบมีเงื่อนไข เช่น การเรียนรู้ฟังก์ชันบางชนิดในเวลาพหุนาม (polynomial time) อาจนำไปสู่ผลที่ไม่น่าเป็นไปได้ในวิทยาการเข้ารหัสลับ จึงไม่ควรสรุปกว้าง ๆ ว่า “ฟังก์ชันนี้เรียนรู้ไม่ได้” โดยไม่ระบุโมเดล การแทนข้อมูล และสมมติฐานของผลลัพธ์นั้น[42]
ข้อจำกัดของการวางนัยทั่วไป
[แก้]การรับประกันส่วนใหญ่ข้างต้นสมมติว่าข้อมูลฝึกและข้อมูลที่ใช้จริงมาจากการแจกแจงเดียวกัน:
หากข้อมูลจากโลกจริงเปลี่ยนไป เช่น ผู้ใช้ กล้อง สภาพแสง ภาษา โรงพยาบาล หรือช่วงเวลาไม่เหมือนข้อมูลฝึก อาจเกิดการเลื่อนการแจกแจงข้อมูล (อังกฤษ: dataset shift) ทำให้โมเดลที่เคยทำคะแนนดีมีผลลดลง[43] ดังนั้น การวางนัยทั่วไปเป็นข้ออ้างที่ขึ้นกับข้อมูล สมมติฐาน และวิธีประเมิน ไม่ใช่คำรับรองว่าโมเดลจะมีความแม่นยำเท่าเดิมในทุกสถานการณ์
กระบวนทัศน์การเรียนรู้
[แก้]แนวทางในการเรียนรู้ของเครื่องสามารถอธิบายได้หลายแกน โดยกระบวนทัศน์การเรียนรู้ (learning paradigm) ระบุว่าระบบได้รับสัญญาณการเรียนรู้หรือประสบการณ์ในรูปแบบใด ส่วนงานการเรียนรู้ (learning task) ระบุผลลัพธ์หรือโครงสร้างที่ต้องการประมาณ โมเดล (model) กำหนดโครงสร้างที่ใช้แทนความสัมพันธ์หรือการแจกแจงของข้อมูล และวิธีฝึก (training method) กำหนดวิธีเลือกหรือปรับองค์ประกอบของโมเดลจากข้อมูล โมเดลตระกูลเดียวกันจึงอาจใช้แก้หลายงานและฝึกได้ภายใต้หลายกระบวนทัศน์ การแบ่งประเภทเหล่านี้ไม่ใช่การจัดหมวดที่แยกขาดจากกันทั้งหมด[44][45]
การเรียนรู้แบบมีผู้สอน
[แก้]
ในการเรียนรู้แบบมีผู้สอน (supervised learning) ตัวอย่างฝึกแต่ละตัวประกอบด้วยข้อมูลนำเข้าและผลลัพธ์เป้าหมายหรือป้ายกำกับ (label) โมเดลเรียนรู้ความสัมพันธ์ระหว่างสองส่วนนี้เพื่อพยากรณ์ผลลัพธ์สำหรับข้อมูลใหม่ งานทั่วไปได้แก่การจำแนกประเภท ซึ่งผลลัพธ์เป็นกลุ่มหรือชั้นข้อมูล และการถดถอย ซึ่งผลลัพธ์เป็นค่าต่อเนื่อง การฝึกมักกำหนดฟังก์ชันการสูญเสีย (loss function) เพื่อวัดความคลาดเคลื่อนระหว่างผลลัพธ์ของโมเดลกับเป้าหมาย แล้วปรับพารามิเตอร์เพื่อลดค่าดังกล่าว เป้าหมายไม่ใช่เพียงการจดจำข้อมูลฝึก แต่คือการวางนัยทั่วไป (generalization) ไปยังตัวอย่างที่ไม่เคยใช้ฝึก[44][45]
ข้อมูลฝึกอาจเป็นข้อมูลตาราง ภาพ ข้อความ เสียง กราฟ หรือข้อมูลลำดับ ส่วนผลลัพธ์เป้าหมายอาจเป็นชั้นข้อมูล ค่าตัวเลข ลำดับ หรือโครงสร้างที่ซับซ้อนกว่า การแบ่งข้อมูลเป็นชุดฝึก ชุดตรวจสอบ และชุดทดสอบ การเลือกตัวชี้วัด และการป้องกันการรั่วไหลของข้อมูลจึงมีผลโดยตรงต่อความน่าเชื่อถือของผลประเมิน ทั้งนี้ การจำแนกและการถดถอยเป็นงานที่แก้ด้วยการเรียนรู้แบบมีผู้สอน ไม่ใช่ตระกูลโมเดลโดยตัวมันเอง โมเดลเชิงเส้น ต้นไม้ตัดสินใจ เครื่องเวกเตอร์ค้ำยัน และโครงข่ายประสาทล้วนใช้กับงานเหล่านี้ได้[45]
การเรียนรู้แบบไม่มีผู้สอน
[แก้]
การเรียนรู้แบบไม่มีผู้สอน (unsupervised learning) ใช้ข้อมูลที่ไม่มีป้ายกำกับเป้าหมายสำหรับงานนั้น โดยมุ่งประมาณโครงสร้าง การแจกแจง หรือค่าแทนลักษณะที่มีอยู่ในข้อมูล งานสำคัญได้แก่การจัดกลุ่มข้อมูล การลดมิติ การประมาณความหนาแน่น และการตรวจหาความผิดปกติ ตัวอย่างเช่น การจัดกลุ่มแบ่งตัวอย่างออกเป็นกลุ่มตามเกณฑ์ความคล้าย ส่วนการลดมิติสร้างค่าแทนที่มีจำนวนมิติน้อยลงเพื่อใช้แสดงผล บีบอัดข้อมูล หรือเป็นข้อมูลนำเข้าสำหรับงานอื่น[44][45]
ผลลัพธ์ของวิธีแบบไม่มีผู้สอนขึ้นอยู่กับสมมติฐานเกี่ยวกับโครงสร้างข้อมูลและนิยามของความคล้าย จึงไม่มีการแบ่งกลุ่มหรือค่าแทนเพียงแบบเดียวที่ถูกต้องสำหรับทุกวัตถุประสงค์ ตัวอย่างเช่น วิธีเคมีนส์เหมาะกับกลุ่มที่สรุปได้ด้วยศูนย์กลางและระยะทางตามที่กำหนด ขณะที่การจัดกลุ่มแบบลำดับชั้น วิธีอิงความหนาแน่น เช่น DBSCAN และ OPTICS หรือวิธีอื่น เช่น BIRCH และ CURE ตั้งสมมติฐานต่างออกไป[45]
การเรียนรู้แบบกึ่งมีผู้สอน
[แก้]การเรียนรู้แบบกึ่งมีผู้สอน (semi-supervised learning) ใช้ข้อมูลที่มีป้ายกำกับร่วมกับข้อมูลที่ไม่มีป้ายกำกับ โดยทั่วไปข้อมูลไม่มีป้ายกำกับมีจำนวนมากกว่า แนวทางนี้ไม่ได้หมายถึงเพียงการปล่อยให้ค่าผลลัพธ์บางส่วนว่าง แต่เป็นการออกแบบวัตถุประสงค์หรือข้อสมมติให้โมเดลใช้โครงสร้างจากข้อมูลไม่มีป้ายกำกับเพื่อปรับปรุงการพยากรณ์ ตัวอย่างวิธี ได้แก่ การกำหนดป้ายกำกับเทียม (pseudo-labeling) การบังคับให้ผลพยากรณ์มีความสอดคล้องเมื่อข้อมูลถูกแปลง และวิธีเชิงกราฟ[46]
ข้อมูลไม่มีป้ายกำกับไม่ได้ช่วยทุกกรณี หากโครงสร้างของข้อมูลไม่สัมพันธ์กับผลลัพธ์เป้าหมาย หรือหากป้ายกำกับเทียมมีข้อผิดพลาด โมเดลอาจตอกย้ำความคลาดเคลื่อนเดิมได้ การประเมินจึงต้องแยกให้ชัดว่าการปรับปรุงเกิดจากข้อมูลไม่มีป้ายกำกับจริง ไม่ใช่จากความแตกต่างของสถาปัตยกรรม การเพิ่มข้อมูล หรือกระบวนการปรับพารามิเตอร์[46]
การเรียนรู้แบบสอนตนเอง
[แก้]การเรียนรู้แบบสอนตัวเอง (self-supervised learning; SSL) สร้างสัญญาณกำกับจากโครงสร้างภายในข้อมูลเอง แทนการใช้ป้ายกำกับที่มนุษย์กำหนดให้แต่ละตัวอย่าง โมเดลอาจเรียนรู้โดยทำนายส่วนที่ถูกปิดบัง ทำนายความสัมพันธ์ระหว่างส่วนต่าง ๆ ของข้อมูล หรือทำให้ค่าแทนของตัวอย่างที่เกี่ยวข้องกันอยู่ใกล้กัน วิธีเหล่านี้มักใช้สำหรับการฝึกล่วงหน้า (pretraining) ก่อนนำโมเดลไปปรับใช้กับงานปลายทางที่มีป้ายกำกับน้อยกว่า[47] บางตำรานับ SSL เป็นส่วนหนึ่งของการเรียนรู้แบบไม่มีผู้สอน เนื่องจากไม่ต้องใช้ป้ายกำกับภายนอก อย่างไรก็ตาม งานร่วมสมัยมักแยกเป็นหัวข้อต่างหาก เพราะสัญญาณกำกับที่สร้างขึ้นทำให้การฝึกมีรูปคล้ายงานแบบมีผู้สอน และมีบทบาทสำคัญต่อการเรียนรู้ค่าแทน การฝึกล่วงหน้าของทรานส์ฟอร์เมอร์ และโมเดลหลายสื่อ การเรียนรู้แบบกำกับตนเองต่างจากการเรียนรู้แบบกึ่งมีผู้สอนตรงที่อย่างหลังใช้ข้อมูลที่มีป้ายกำกับจริงร่วมกับข้อมูลไม่มีป้ายกำกับโดยตรง[47]
การเรียนรู้แบบเสริมกำลัง
[แก้]
ในการเรียนรู้แบบเสริมกำลัง (reinforcement learning) ตัวแทน (agent) มีปฏิสัมพันธ์กับสภาพแวดล้อม (environment) โดยได้รับสิ่งสังเกต (observation) เลือกการกระทำ (action) แล้วสภาพแวดล้อมเปลี่ยนไปสู่สถานะถัดไปพร้อมให้รางวัล (reward) เป้าหมายโดยทั่วไปคือการเรียนนโยบาย (policy) ที่ทำให้ผลตอบแทนสะสมในระยะยาวสูง ไม่ใช่เพียงเลือกรางวัลทันทีที่มากที่สุด ปัญหาจึงเกี่ยวข้องกับผลของการกระทำที่ล่าช้า ความไม่แน่นอน และการเลือกระหว่างการสำรวจทางเลือกใหม่กับการใช้ความรู้ที่มีอยู่[48]
รางวัลเป็นสัญญาณประเมินผล แต่โดยทั่วไปไม่ได้บอกคำตอบที่ถูกต้องสำหรับทุกสถานะเหมือนป้ายกำกับในการเรียนรู้แบบมีผู้สอน ตัวแทนอาจเรียนฟังก์ชันคุณค่า โมเดลของสภาพแวดล้อม หรือนโยบายโดยตรง และอาจใช้โครงข่ายประสาทหรือวิธีประมาณฟังก์ชันชนิดอื่นเป็นองค์ประกอบ การเรียนรู้แบบเสริมกำลังจึงเป็นกระบวนทัศน์ของปัญหาการตัดสินใจ ไม่ใช่ตระกูลโมเดลชนิดหนึ่ง ตัวอย่างวิธีพื้นฐาน ได้แก่ Q-learning SARSA และการเรียนรู้แบบความแตกต่างเชิงเวลา (temporal-difference learning)[48]
งานและเป้าหมายของการเรียนรู้
[แก้]งานการเรียนรู้ระบุผลลัพธ์หรือโครงสร้างที่ต้องการประมาณจากข้อมูล ส่วนเป้าหมายการเรียนรู้ระบุคุณสมบัติที่ต้องการจากโมเดล งานหนึ่งอาจแก้ด้วยโมเดลหลายตระกูล และโมเดลตระกูลเดียวกันอาจใช้กับหลายงาน การแบ่งตามงานจึงต่างจากการแบ่งตามกระบวนทัศน์หรือสถาปัตยกรรมโมเดล[44][45]
การพยากรณ์จากตัวอย่าง
[แก้]การจำแนกประเภท (classification) กำหนดให้โมเดลเลือกชั้นข้อมูลจากจำนวนที่จำกัด เช่น จำแนกข้อความตามหัวข้อหรือแยกภาพตามชนิดวัตถุ งานจำแนกอาจเป็นแบบทวิภาค แบบหลายประเภท แบบหลายป้ายกำกับ หรือแบบมีลำดับ ส่วนการถดถอย (regression) ประมาณค่าต่อเนื่อง เช่น อุณหภูมิ ราคา หรือระยะเวลา ความแตกต่างระหว่างการจำแนกกับการถดถอยขึ้นกับธรรมชาติของผลลัพธ์เป้าหมาย ไม่ได้ขึ้นกับตระกูลโมเดล เช่น การถดถอยโลจิสติกเป็นโมเดลที่ใช้กับงานจำแนกประเภทเป็นหลัก[44][45]
ในปัญหาบางชนิดผลลัพธ์มีหลายค่า หลายป้ายกำกับ หรือต้องรักษาความสัมพันธ์เชิงโครงสร้าง เช่น ลำดับคำ แผนที่ส่วนประกอบของภาพ หรือกราฟ ซึ่งเรียกรวมว่าการพยากรณ์แบบมีโครงสร้าง (structured prediction) การจัดอันดับ (ranking) มุ่งเรียงรายการตามความเกี่ยวข้องหรือความพึงประสงค์ และเป็นองค์ประกอบสำคัญของระบบค้นคืนสารสนเทศกับระบบแนะนำ ส่วนการเรียนรู้ความคล้าย (similarity learning) เรียนฟังก์ชันที่ทำให้คู่ตัวอย่างซึ่งเกี่ยวข้องกันอยู่ใกล้กันตามค่าแทนที่กำหนด[45]
การประเมินผลต้องสอดคล้องกับงานและผลเสียของความผิดพลาด ความแม่นยำโดยรวมอาจทำให้เข้าใจผิดเมื่อข้อมูลแต่ละชั้นไม่สมดุล จึงอาจใช้ความแม่นยำ (precision) ความไว (recall) ค่า F1-score การปรับเทียบความน่าจะเป็น หรือเส้นโค้ง ROC และ precision–recall ร่วมกับการประเมินบนข้อมูลที่ไม่ได้ใช้ฝึก[44]
การค้นหาโครงสร้างในข้อมูล
[แก้]การจัดกลุ่มข้อมูล (clustering) แบ่งตัวอย่างตามเกณฑ์ความคล้ายโดยไม่มีชั้นข้อมูลเป้าหมายกำกับไว้ การลดมิติ (dimensionality reduction) สร้างค่าแทนที่มีมิติน้อยลงเพื่อการแสดงผล การบีบอัด หรือใช้เป็นข้อมูลนำเข้าสำหรับงานอื่น ขณะที่การประมาณความหนาแน่น (density estimation) มุ่งประมาณการแจกแจงความน่าจะเป็นของข้อมูล วิธีเหล่านี้อาจใช้เดี่ยว ๆ หรือเป็นขั้นตอนหนึ่งของการสำรวจและเตรียมข้อมูล[44][45]
ตัวอย่างวิธีลดมิติ ได้แก่ การวิเคราะห์องค์ประกอบหลัก การวิเคราะห์ปัจจัย การวิเคราะห์องค์ประกอบอิสระ การแยกตัวประกอบเมทริกซ์ไม่เป็นลบ และ t-SNE วิธีแต่ละชนิดรักษาโครงสร้างของข้อมูลต่างกัน จึงควรเลือกตามวัตถุประสงค์ เช่น การแสดงผล การลดสัญญาณรบกวน หรือการเตรียมข้อมูลให้โมเดลอื่น[45]
การตรวจหาความผิดปกติ (anomaly detection) มุ่งระบุตัวอย่างหรือเหตุการณ์ที่แตกต่างจากรูปแบบส่วนใหญ่ อาจอาศัยตัวอย่างที่มีป้ายกำกับ ไม่มีป้ายกำกับ หรือมีป้ายกำกับเพียงบางส่วน ขึ้นอยู่กับข้อมูลที่มีและนิยามของความผิดปกติ[49]
การเรียนรู้กฎความเกี่ยวพัน (association-rule learning) ค้นหารูปแบบการเกิดร่วมกันของรายการหรือเหตุการณ์ในฐานข้อมูลขนาดใหญ่ เช่น กฎรูป ซึ่งประเมินด้วยตัวชี้วัดอย่าง support และ confidence กฎดังกล่าวแสดงความสัมพันธ์ทางสถิติ ไม่ได้พิสูจน์ความสัมพันธ์เชิงเหตุและผลด้วยตัวเอง[50]
การเรียนรู้ค่าแทนและการสร้างข้อมูล
[แก้]การเรียนรู้ค่าแทนลักษณะ (representation learning) มุ่งสร้างการแทนข้อมูลที่ทำให้โครงสร้างหรือปัจจัยสำคัญต่อการใช้งานปรากฏชัดขึ้น ค่าแทนอาจมีรูปเป็นองค์ประกอบหลัก เวกเตอร์ฝัง (embedding) ตัวแทนแฝง หรือลักษณะที่เรียนโดยโครงข่ายประสาท การเรียนรู้ค่าแทนจึงไม่จำกัดอยู่ที่การเรียนรู้แบบไม่มีผู้สอน แต่เกิดได้ภายใต้การเรียนรู้แบบมีผู้สอน แบบกำกับตนเอง และแบบเสริมกำลัง[51]
แบบจำลองก่อกำเนิด (generative model) มุ่งประมาณการแจกแจงหรือกระบวนการที่สามารถสร้างข้อมูลใหม่ได้ งานอาจเป็นการสร้างตัวอย่าง การเติมส่วนที่ขาด การแปลงข้อมูลระหว่างรูปแบบ หรือการประมาณความน่าจะเป็น การสร้างข้อความ ภาพ เสียง วิดีโอ และข้อมูลวิทยาศาสตร์เป็นการประยุกต์ของงานกลุ่มนี้ แต่คำว่า “แบบจำลองก่อกำเนิด” ไม่ได้หมายถึงสถาปัตยกรรมเดียวหรือผลิตภัณฑ์ปัญญาประดิษฐ์เชิงกำเนิดทุกชนิดโดยอัตโนมัติ[45]
การตัดสินใจตามลำดับ
[แก้]งานตัดสินใจตามลำดับ (sequential decision-making) กำหนดให้ระบบเลือกการกระทำหลายครั้ง โดยการกระทำหนึ่งอาจเปลี่ยนสถานะและโอกาสในอนาคต เป้าหมายจึงต้องพิจารณาผลตอบแทนสะสม ความเสี่ยง หรือข้อจำกัดในระยะยาว ไม่ใช่เพียงคุณภาพของการพยากรณ์ครั้งเดียว การเรียนรู้แบบเสริมกำลังเป็นกรอบสำคัญของงานกลุ่มนี้ ขณะที่การวางแผน การควบคุม และกระบวนการตัดสินใจแบบมาร์คอฟเป็นสาขาที่เกี่ยวข้องกันอย่างใกล้ชิด[48]
ตระกูลโมเดล
[แก้]โมเดลคือโครงสร้างที่ใช้แทนความสัมพันธ์ ฟังก์ชัน หรือการแจกแจงของข้อมูล ส่วนสถาปัตยกรรม (architecture) ระบุการจัดองค์ประกอบภายในโมเดล และขั้นตอนวิธีการเรียนรู้ (learning algorithm) คือวิธีเลือกสมมติฐานหรือประมาณพารามิเตอร์จากข้อมูล คำเหล่านี้จึงไม่ควรใช้แทนกัน ตัวอย่างเช่น โครงข่ายประสาทเป็นตระกูลโมเดล ทรานส์ฟอร์เมอร์เป็นสถาปัตยกรรมชนิดหนึ่ง และการแพร่กระจายย้อนกลับเป็นวิธีคำนวณอนุพันธ์ที่ใช้ระหว่างการฝึก[44][51]
โมเดลเชิงเส้น
[แก้]โมเดลเชิงเส้น (linear model) แทนผลลัพธ์ด้วยผลรวมถ่วงน้ำหนักของลักษณะเด่น การถดถอยเชิงเส้นใช้ประมาณค่าต่อเนื่อง ส่วนการถดถอยลอจิสติกใช้ประมาณความน่าจะเป็นของชั้นข้อมูล แม้โมเดลจะเป็นเชิงเส้นในพารามิเตอร์ แต่สามารถใช้การแปลงลักษณะเด่นเพื่อแทนความสัมพันธ์ไม่เป็นเชิงเส้นบางประเภทได้ โมเดลเชิงเส้นมักใช้เป็นโมเดลฐาน เพราะฝึกและอนุมานได้รวดเร็ว และค่าสัมประสิทธิ์อาจตีความได้ภายใต้ข้อสมมติที่เหมาะสม[44][45]
คำว่า “การถดถอย” จึงใช้ได้ทั้งในความหมายของงานพยากรณ์ค่าต่อเนื่อง และในชื่อของตระกูลโมเดลบางชนิด โมเดลอื่น เช่น ต้นไม้ตัดสินใจ กระบวนการเกาส์เซียน หรือโครงข่ายประสาท ก็ใช้แก้งานถดถอยได้เช่นกัน
วิธีเพื่อนบ้านและวิธีเคอร์เนล
[แก้]วิธีเพื่อนบ้านใกล้สุด (nearest-neighbor method) เก็บตัวอย่างฝึกไว้และพยากรณ์จากตัวอย่างที่อยู่ใกล้ข้อมูลใหม่ตามเมตริกที่กำหนด จัดเป็นวิธีอิงตัวอย่าง (instance-based) ซึ่งไม่ต้องประมาณพารามิเตอร์ของฟังก์ชันทั่วทั้งปริภูมิล่วงหน้าโดยตรง ประสิทธิผลขึ้นอยู่กับนิยามระยะทาง การปรับขนาดตัวแปร จำนวนมิติ และจำนวนเพื่อนบ้านที่ใช้[45]

วิธีเคอร์เนล (kernel method) ใช้ฟังก์ชันเคอร์เนลคำนวณความคล้ายเสมือนว่าข้อมูลถูกส่งไปยังปริภูมิลักษณะเด่นที่อาจมีมิติสูง โดยไม่ต้องสร้างพิกัดในปริภูมินั้นโดยตรง เครื่องเวกเตอร์ค้ำยัน (support-vector machine; SVM) ใช้หลักการเพิ่มระยะขอบระหว่างชั้นข้อมูล และสามารถใช้เคอร์เนลสร้างขอบเขตการตัดสินใจไม่เป็นเชิงเส้นได้ นอกจากการจำแนกแล้ว ยังมีรุ่นสำหรับการถดถอยและงานอื่น[52][44]
ต้นไม้ตัดสินใจและวิธีรวมกลุ่ม
[แก้]
ต้นไม้ตัดสินใจ (decision tree) แบ่งปริภูมิข้อมูลตามเงื่อนไขทีละขั้นจนได้ค่าพยากรณ์ที่ใบของต้นไม้ โมเดลชนิดนี้รองรับความสัมพันธ์ไม่เป็นเชิงเส้นและปฏิสัมพันธ์ระหว่างตัวแปรได้โดยไม่ต้องกำหนดรูปฟังก์ชันล่วงหน้า แต่ต้นไม้เดี่ยวอาจไวต่อการเปลี่ยนแปลงของข้อมูลฝึกและเกิดการเข้ารูปสนิทเกินได้ง่ายหากไม่ควบคุมความซับซ้อน[45]
วิธีรวมกลุ่มโมเดล (ensemble method) รวมผลจากโมเดลหลายตัวเพื่อปรับปรุงความแม่นยำหรือความเสถียร ป่าสุ่ม (random forest) สร้างต้นไม้หลายต้นจากตัวอย่างและลักษณะเด่นที่สุ่มต่างกัน แล้วรวมผลพยากรณ์เพื่อลดความแปรปรวน[53] ส่วนเกรเดียนต์บูสติง (gradient boosting) สร้างโมเดลตามลำดับเพื่อแก้ข้อผิดพลาดของกลุ่มก่อนหน้า ระบบอย่าง XGBoost เป็นการนำแนวทางนี้ไปใช้โดยเพิ่มการกำกับความซับซ้อนและวิธีคำนวณที่รองรับข้อมูลขนาดใหญ่[54]
โมเดลเชิงความน่าจะเป็นและเชิงกราฟ
[แก้]โมเดลเชิงความน่าจะเป็น (probabilistic model) แทนความไม่แน่นอนด้วยการแจกแจงความน่าจะเป็น อาจกำหนดการแจกแจงของผลลัพธ์เมื่อทราบข้อมูลนำเข้า หรือสร้างโมเดลร่วมของตัวแปรหลายชุด ตัวอย่างได้แก่ตัวจำแนกเบส์อย่างง่าย โมเดลส่วนผสม โมเดลตัวแปรแฝง กระบวนการเกาส์เซียน และโมเดลเชิงกราฟ[44][45]
โครงข่ายแบบเบส์ (Bayesian network) เป็นโมเดลเชิงกราฟที่ใช้กราฟอวัฏจักรระบุทิศทางแทนการพึ่งพาแบบมีเงื่อนไขระหว่างตัวแปร การเรียนรู้โครงข่ายอาจหมายถึงการประมาณพารามิเตอร์ การเลือกโครงสร้างกราฟ หรือทั้งสองอย่าง ส่วนการอนุมานใช้คำนวณการแจกแจงของตัวแปรที่สนใจเมื่อทราบหลักฐานบางส่วน คำว่า “โครงข่ายแบบเบส์” จึงไม่เท่ากับการอนุมานแบบเบส์ทั้งหมด[45]
สำหรับข้อมูลลำดับและการพยากรณ์แบบมีโครงสร้าง ตัวอย่างโมเดลเชิงกราฟ ได้แก่โมเดลมาร์คอฟซ่อนเร้น (hidden Markov model) และ Conditional random field ซึ่งกำหนดความสัมพันธ์ระหว่างสถานะหรือป้ายกำกับที่อยู่ติดกันต่างกัน คุณภาพของความน่าจะเป็นที่โมเดลให้ยังขึ้นอยู่กับข้อสมมติ การปรับเทียบ และความสอดคล้องระหว่างข้อมูลฝึกกับบริบทการใช้งาน[44][45]
โครงข่ายประสาทและการเรียนรู้เชิงลึก
[แก้]
โครงข่ายประสาทเทียม (artificial neural network) เป็นตระกูลโมเดลที่ประกอบด้วยหน่วยคำนวณเชื่อมต่อกันเป็นชั้น แต่ละหน่วยรวมข้อมูลจากหน่วยก่อนหน้าแล้วผ่านฟังก์ชันไม่เป็นเชิงเส้น ตัวแปรของเครือข่ายมักฝึกด้วยวิธีอิงเกรเดียนต์ การแพร่กระจายย้อนกลับ (backpropagation) ใช้กฎลูกโซ่คำนวณอนุพันธ์ของฟังก์ชันการสูญเสียเทียบกับพารามิเตอร์ จึงเป็นวิธีคำนวณที่ใช้ฝึก ไม่ใช่โมเดลอีกชนิดหนึ่ง[51]
การเรียนรู้เชิงลึก (deep learning) ใช้โครงข่ายที่มีหลายชั้นเพื่อเรียนรู้ค่าแทนหลายระดับจากข้อมูล โครงข่ายประสาทคอนโวลูชัน (CNN) ใช้โครงสร้างที่เหมาะกับข้อมูลเชิงพื้นที่ ส่วนโครงข่ายประสาทเวียนกลับ (RNN) ใช้สถานะภายในกับข้อมูลลำดับ และมีแบบขยาย เช่น LSTM และ GRU ซึ่งช่วยจัดการการพึ่งพาระยะยาวในข้อมูลลำดับ U-Netเป็นสถาปัตยกรรมคอนโวลูชันที่ใช้แพร่หลายในงานแบ่งส่วนภาพ ขณะที่โครงข่ายประสาทกราฟ (graph neural network; GNN) ส่งผ่านสารสนเทศตามโครงสร้างกราฟ สถาปัตยกรรมแต่ละชนิดกำหนดอคติแบบอุปนัยที่เหมาะกับโครงสร้างข้อมูลต่างกัน[55][56]
ทรานส์ฟอร์เมอร์ (transformer) เป็นสถาปัตยกรรมโครงข่ายที่ใช้กลไกความใส่ใจ (attention mechanism) เชื่อมโยงตำแหน่งต่าง ๆ ในข้อมูล งานต้นฉบับเสนอทรานส์ฟอร์เมอร์สำหรับการแปลงลำดับโดยไม่ใช้โครงข่ายเวียนกลับหรือคอนโวลูชันเป็นแกนหลัก ต่อมาสถาปัตยกรรมนี้ถูกปรับใช้กับภาษา ภาพ เสียง กราฟ และข้อมูลหลายสื่อ[57]
โครงข่ายประสาทให้ความยืดหยุ่นสูงและเรียนรู้ลักษณะเด่นร่วมกับงานปลายทางได้ แต่ไม่ได้เหนือกว่าวิธีอื่นในทุกปัญหา ประสิทธิผลขึ้นอยู่กับชนิดและปริมาณข้อมูล ทรัพยากรคำนวณ วิธีประเมิน ความต้องการด้านความอธิบายได้ และข้อจำกัดของระบบ[55][45]
โมเดลก่อกำเนิด
[แก้]โมเดลก่อกำเนิด (generative model) อธิบายการแจกแจงของข้อมูลหรือกระบวนการที่ใช้สร้างข้อมูล ตระกูลหนึ่งคือโมเดลถดถอยอัตโนมัติ (autoregressive model) ซึ่งแยกความน่าจะเป็นของข้อมูลออกเป็นลำดับการพยากรณ์ โมเดลภาษาหลายชนิดใช้หลักการนี้เพื่อพยากรณ์โทเคนถัดไป แต่โมเดลอัตถดถอยไม่ได้จำกัดอยู่ที่ภาษา[45]
ตัวเข้ารหัสอัตโนมัติแบบแปรผัน (variational autoencoder; VAE) ใช้ตัวแปรแฝงและการอนุมานแบบแปรผันเพื่อเรียนปริภูมิแฝงที่สามารถสุ่มสร้างข้อมูลได้[58] โครงข่ายปฏิปักษ์เชิงกำเนิด (GAN) ฝึกตัวสร้างข้อมูลร่วมกับตัวแยกแยะ (discriminator) ที่พยายามแยกข้อมูลสร้างขึ้นออกจากข้อมูลจริง[59] ส่วนโมเดลการแพร่ (diffusion model) เรียนกระบวนการย้อนกลับจากข้อมูลที่ถูกเพิ่มสัญญาณรบกวนทีละขั้น และถูกนำไปใช้สร้างข้อมูลหลายชนิด[60]
แนวทางเชิงสัญลักษณ์และวิธีค้นหาเชิงวิวัฒนาการ
[แก้]การเรียนรู้ของเครื่องยังมีแนวทางที่แทนความรู้ด้วยกฎ ตรรกะ หรือโปรแกรม การเรียนรู้กฎความเกี่ยวพันค้นหารูปแบบการเกิดร่วมในฐานข้อมูล ส่วนการเขียนโปรแกรมเชิงตรรกะแบบอุปนัย (inductive logic programming) มุ่งสร้างโปรแกรมตรรกะที่สอดคล้องกับตัวอย่างและความรู้พื้นฐาน วิธีเหล่านี้เหมาะกับงานที่ต้องการโครงสร้างเชิงสัญลักษณ์หรือข้อจำกัดที่แสดงเป็นตรรกะได้[61]
ขั้นตอนวิธีเชิงพันธุกรรม (genetic algorithm) และขั้นตอนวิธีเชิงวิวัฒนาการเป็นวิธีค้นหาและหาค่าเหมาะที่สุดที่สร้างประชากรของคำตอบ แล้วใช้การเลือก การกลายพันธุ์ และการผสมคำตอบ วิธีเหล่านี้อาจใช้เลือกลักษณะเด่น ปรับพารามิเตอร์ ค้นหาสถาปัตยกรรม หรือแก้ปัญหาที่หาอนุพันธ์ได้ยาก แต่ไม่ควรถูกจัดเป็นตระกูลโมเดลพยากรณ์โดยตัวมันเอง[62]
การฝึกและเทคนิคประกอบ
[แก้]วิธีฝึกและเทคนิคประกอบตัดข้ามกระบวนทัศน์ งาน และตระกูลโมเดล ตัวอย่างเช่น การกำกับความซับซ้อนใช้ได้กับโมเดลเชิงเส้นและโครงข่ายประสาท การเรียนรู้ค่าแทนลักษณะใช้ได้ทั้งแบบมีผู้สอนและกำกับตนเอง และการถ่ายโอนการเรียนรู้สามารถใช้กับสถาปัตยกรรมหลายชนิด
วัตถุประสงค์ การหาค่าเหมาะที่สุด และการกำกับความซับซ้อน
[แก้]การฝึกมักกำหนดฟังก์ชันวัตถุประสงค์ (objective function) ซึ่งรวมค่าความสูญเสียจากข้อมูลและอาจมีพจน์กำกับความซับซ้อนของโมเดล การลดความเสี่ยงเชิงประจักษ์ (empirical risk minimization) เลือกพารามิเตอร์ให้ลดค่าเฉลี่ยของความสูญเสียบนชุดฝึก แต่ค่าต่ำบนชุดฝึกไม่รับประกันสมรรถนะบนข้อมูลใหม่ จึงต้องใช้ชุดตรวจสอบ การตรวจสอบไขว้ และหลักการเลือกโมเดลร่วมด้วย[44][45]
วิธีอิงเกรเดียนต์ปรับพารามิเตอร์ตามอนุพันธ์ของวัตถุประสงค์ ส่วนปัญหาที่อนุพันธ์เข้าถึงได้ยากหรือไม่เรียบอาจใช้วิธีค้นหา วิธีพิกัด หรือขั้นตอนวิธีเชิงวิวัฒนาการ การกำกับความซับซ้อนของโมเดล (regularization) อาจทำด้วยพจน์ลงโทษ การหยุดก่อนกำหนด การสุ่มตัดหน่วย การเพิ่มข้อมูล หรือข้อจำกัดของสถาปัตยกรรม เป้าหมายคือปรับสมดุลระหว่างการเข้ากับข้อมูลฝึกและการวางนัยทั่วไป ไม่ใช่ทำให้โมเดลเรียบง่ายที่สุดโดยไม่คำนึงถึงงาน[51]
วิศวกรรมลักษณะเด่นและการเรียนรู้ค่าแทน
[แก้]วิศวกรรมลักษณะเด่น (feature engineering) ใช้ความรู้เกี่ยวกับข้อมูลสร้างตัวแปรที่เหมาะกับงาน เช่น การรวมค่าตามช่วงเวลา การคำนวณอัตราส่วน หรือการเข้ารหัสตัวแปรเชิงหมวดหมู่ ส่วนการคัดเลือกลักษณะเด่น (feature selection) ลดตัวแปรที่ซ้ำซ้อนหรือไม่เกี่ยวข้อง ทั้งสองกระบวนการอาจเพิ่มสมรรถนะ ลดต้นทุน และช่วยให้ตีความโมเดลได้ง่ายขึ้น แต่ต้องทำภายในข้อมูลฝึกในแต่ละรอบการประเมินเพื่อป้องกันการรั่วไหลไปยังชุดตรวจสอบหรือชุดทดสอบ[63]
การเรียนรู้ค่าแทนลักษณะให้โมเดลสร้างลักษณะเด่นจากข้อมูลโดยตรง ตัวอย่างได้แก่การวิเคราะห์องค์ประกอบหลัก เวกเตอร์ฝัง ตัวเข้ารหัสอัตโนมัติ และชั้นซ่อนของโครงข่ายเชิงลึก การเรียนรู้พจนานุกรมแบบเบาบาง (sparse dictionary learning) เป็นวิธีเฉพาะที่แทนตัวอย่างด้วยการรวมองค์ประกอบจำนวนน้อยจากพจนานุกรมที่เรียนจากข้อมูล จึงควรถือเป็นตัวอย่างหนึ่งของการเรียนรู้ค่าแทน ไม่จำเป็นต้องเป็นกระบวนทัศน์หรือหัวข้อหลักแยกต่างหาก[51]
การฝึกล่วงหน้า การถ่ายโอน และการปรับละเอียด
[แก้]การถ่ายโอนการเรียนรู้ (transfer learning) นำความรู้ที่เรียนจากงานหรือโดเมนต้นทางไปใช้กับงานหรือโดเมนปลายทาง ซึ่งอาจลดปริมาณข้อมูลติดป้ายกำกับและเวลาฝึกที่ต้องใช้ การฝึกล่วงหน้า (pretraining) สร้างโมเดลจากข้อมูลขนาดใหญ่หรือวัตถุประสงค์ทั่วไป จากนั้นจึงปรับละเอียด (fine-tuning) ทั้งโมเดลหรือพารามิเตอร์บางส่วนสำหรับงานปลายทาง ความสำเร็จขึ้นอยู่กับความสัมพันธ์ระหว่างข้อมูลและงานต้นทางกับปลายทาง เพราะการถ่ายโอนที่ไม่เหมาะสมอาจทำให้สมรรถนะลดลง[64]
การฝึกล่วงหน้าแบบกำกับตนเองและทรานส์ฟอร์เมอร์มีบทบาทต่อการสร้างโมเดลรากฐาน ซึ่งนำไปปรับใช้กับงานจำนวนมาก อย่างไรก็ตาม โมเดลรากฐานเป็นลักษณะของกระบวนการพัฒนาและขอบเขตการนำกลับมาใช้ ไม่ใช่ตระกูลสถาปัตยกรรมเดียวกัน และโมเดลที่ปรับมาจากฐานเดียวกันยังต้องประเมินใหม่ในแต่ละบริบท[65]
กลยุทธ์การใช้ข้อมูลและการปรับตัว
[แก้]การเรียนรู้เชิงรุก (active learning) ให้ระบบเลือกตัวอย่างที่ควรส่งให้ผู้เชี่ยวชาญหรือผู้ให้ป้ายกำกับ โดยมุ่งใช้ทรัพยากรการจัดป้ายกำกับกับตัวอย่างที่ให้สารสนเทศสูง วิธีนี้ต่างจากการเรียนรู้แบบกึ่งมีผู้สอนตรงที่จุดเน้นอยู่ที่การเลือกข้อมูลที่จะขอป้ายกำกับ แม้ระบบหนึ่งอาจใช้ทั้งสองแนวทางร่วมกันได้[66]
ทรานส์ดักชัน (transduction) มุ่งพยากรณ์ผลสำหรับชุดตัวอย่างเป้าหมายที่กำหนดไว้ โดยไม่จำเป็นต้องเรียนกฎที่ใช้กับตัวอย่างใหม่ทุกชุดในอนาคต วิธีเชิงทรานส์ดักชันอาจสร้างโครงสร้างหรือค่าพารามิเตอร์ภายในระหว่างการคำนวณได้ จึงไม่ควรสรุปว่า “ไม่มีโมเดล” ในทุกกรณี ความแตกต่างหลักอยู่ที่ขอบเขตของการวางนัยทั่วไปที่ต้องการ[67]
เมตาเลิร์นนิง (meta-learning) ใช้ประสบการณ์จากงานหลายงานเพื่อปรับกระบวนการเรียนรู้ให้สามารถปรับตัวกับงานใหม่ได้รวดเร็วขึ้น วิธีอาจเรียนการเริ่มต้นพารามิเตอร์ ตัวปรับค่า ค่าแทน หรือกฎการเลือกโมเดล จึงเป็นกลยุทธ์ระดับกระบวนการเรียนรู้ ไม่ใช่โมเดลชนิดเดียว[68]
การเรียนรู้ออนไลน์ (online learning) ปรับโมเดลเมื่อข้อมูลมาถึงตามลำดับ ส่วนการเรียนรู้ต่อเนื่อง (continual learning) มุ่งเรียนงานหรือการแจกแจงที่เปลี่ยนไปโดยลดการสูญเสียความรู้เดิม ปัญหาสำคัญคือการลืมอย่างรุนแรง (catastrophic forgetting) ซึ่งโมเดลใหม่ทำงานกับข้อมูลล่าสุดได้ดีขึ้น แต่สมรรถนะต่อความรู้เดิมลดลง[69]
การเรียนรู้แบบสหพันธ์ (federated learning) ฝึกโมเดลจากข้อมูลที่อยู่กระจายหลายอุปกรณ์หรือหลายหน่วยงาน โดยแลกเปลี่ยนการปรับปรุงโมเดลแทนการรวมข้อมูลดิบไว้ที่เดียว วิธีนี้อาจลดความจำเป็นในการเคลื่อนย้ายข้อมูล แต่ไม่ได้รับประกันความเป็นส่วนตัวโดยตัวมันเอง และยังมีปัญหาเรื่องข้อมูลต่างการแจกแจง ความน่าเชื่อถือของผู้เข้าร่วม การสื่อสาร และความปลอดภัย[70][71]
การประยุกต์
[แก้]การเรียนรู้ของเครื่องถูกนำไปใช้กับงานที่ต้องประมาณแบบแผนจากข้อมูล พยากรณ์ผลลัพธ์ จัดอันดับ สร้างข้อมูล หรือตัดสินใจตามลำดับ วิธีที่เหมาะสมขึ้นอยู่กับชนิดและปริมาณข้อมูล ตัวชี้วัดที่ใช้ประเมิน ความเสี่ยงของความผิดพลาด และข้อจำกัดของระบบ จึงไม่มีขั้นตอนวิธีหรือตระกูลโมเดลใดเหมาะกับการประยุกต์ทุกประเภท[2] ตัวอย่างต่อไปนี้จัดตามกลุ่มการใช้งานเพื่อแสดงบทบาทของการเรียนรู้ของเครื่อง โดยไม่ใช่รายชื่อที่ครอบคลุมทั้งหมด
ภาษา ภาพ เสียง และการค้นคืนสารสนเทศ
[แก้]การเรียนรู้ของเครื่องใช้ในการประมวลภาษาธรรมชาติ การแปลภาษาด้วยเครื่อง การจำแนกและสรุปข้อความ การตอบคำถาม การรู้จำเสียงพูด การสังเคราะห์เสียง และการวิเคราะห์อารมณ์จากภาษา ส่วนงานคอมพิวเตอร์วิทัศน์ครอบคลุมการจำแนกภาพ การตรวจจับวัตถุ การแบ่งส่วนภาพ การรู้จำลายมือ และการตีความวิดีโอ วิธีการเรียนรู้เชิงลึกมีบทบาทสำคัญในงานเหล่านี้ เพราะสามารถเรียนรู้ค่าแทนจากข้อความ สัญญาณเสียง และภาพโดยตรงได้หลายระดับ[5]
การจัดอันดับและระบบแนะนำ
[แก้]
ระบบแนะนำ (recommendation system) ใช้ข้อมูลการมีปฏิสัมพันธ์ระหว่างผู้ใช้กับรายการต่าง ๆ อาทิ ภาพยนตร์ หนังสือ หรือเกม ประกอบกันกับข้อมูลเนื้อหาและบริบท เพื่อประมาณว่าการแนะนำใดน่าจะเป็นประโยชน์ต่อผู้ใช้มากที่สุด งานประเภทนี้พบในสื่อดิจิทัล การค้าอิเล็กทรอนิกส์ ข่าว การค้นหา และการจัดลำดับเนื้อหา วิธีที่ใช้มีทั้งการกรองร่วมกัน วิธีอิงเนื้อหา การแยกตัวประกอบเมทริกซ์ โมเดลลำดับ และวิธีเชิงกราฟ[72]
การแพทย์และสาธารณสุข
[แก้]
การประยุกต์ทางการแพทย์รวมถึงการวิเคราะห์ภาพรังสีและพยาธิวิทยา การประมวลผลเวชระเบียนอิเล็กทรอนิกส์ การพยากรณ์ความเสี่ยง การช่วยวินิจฉัย การคัดกรอง การค้นหาผู้ป่วยที่อาจได้รับประโยชน์จากการรักษา และการวิเคราะห์ข้อมูลพันธุกรรม โมเดลอาจใช้ข้อมูลภาพ ข้อความ สัญญาณชีวภาพ ผลตรวจทางห้องปฏิบัติการ และข้อมูลตามเวลา ซึ่งมักต้องรวมข้อมูลหลายแหล่งเข้าด้วยกัน[73][74] ผลการทดลองที่ดีในชุดข้อมูลหนึ่งไม่เพียงพอสำหรับการใช้งานทางคลินิก ระบบต้องผ่านการตรวจสอบกับประชากรและสถานพยาบาลที่เกี่ยวข้อง ประเมินความคลาดเคลื่อนระหว่างกลุ่ม จัดการความเป็นส่วนตัว และกำหนดบทบาทของบุคลากรทางการแพทย์อย่างชัดเจน
วิทยาศาสตร์ เกษตร และวิศวกรรม
[แก้]
ในวิทยาศาสตร์กายภาพและชีวภาพ การเรียนรู้ของเครื่องใช้ประมาณสมบัติของโมเลกุลและวัสดุ ช่วยค้นหาสารหรือวัสดุที่มีคุณสมบัติตามต้องการ วิเคราะห์ข้อมูลจากการทดลอง และสร้างโมเดลแทนการคำนวณที่มีต้นทุนสูง[75] ตัวอย่างสำคัญคือการพยากรณ์โครงสร้างโปรตีนจากลำดับกรดอะมิโน ซึ่งแสดงให้เห็นว่าโมเดลสามารถช่วยแก้ปัญหาทางวิทยาศาสตร์ที่มีปริภูมิคำตอบซับซ้อนได้[76]
งานด้านระบบโลกและภูมิอากาศใช้การเรียนรู้ของเครื่องกับข้อมูลดาวเทียม โมเดลเชิงกายภาพ และอนุกรมเวลา เพื่อพยากรณ์หรือศึกษากระบวนการที่มีความสัมพันธ์ไม่เป็นเชิงเส้น[77] ในการเกษตร โมเดลใช้กับการตรวจโรคพืช การจำแนกพืช การประมาณผลผลิต การจัดการน้ำและดิน และระบบเกษตรแม่นยำ โดยความสามารถในการนำผลไปใช้ขึ้นอยู่กับความครอบคลุมของข้อมูล พื้นที่ ภูมิอากาศ และวิธีเก็บข้อมูลภาคสนาม[78]
ธุรกิจ การเงิน และความมั่นคง
[แก้]ในภาคธุรกิจ โมเดลใช้พยากรณ์อุปสงค์ ประมาณความเสี่ยง วิเคราะห์การยกเลิกบริการ แบ่งกลุ่มลูกค้า ตรวจสอบคุณภาพ และสนับสนุนการจัดสรรทรัพยากร ในการเงินและการประกันภัย มีการใช้กับการให้คะแนนความเสี่ยง การตรวจจับธุรกรรมผิดปกติ และการตรวจสอบการฉ้อโกง ระบบตรวจจับการฉ้อโกงอาจรวมกฎที่ผู้เชี่ยวชาญกำหนดกับโมเดลมีผู้สอน การตรวจจับความผิดปกติ และการวิเคราะห์เครือข่ายของบัญชีหรือธุรกรรม[79]
หุ่นยนต์ ระบบอัตโนมัติ และวิศวกรรมซอฟต์แวร์
[แก้]ในวิทยาการหุ่นยนต์ การเรียนรู้ของเครื่องใช้กับการรับรู้สภาพแวดล้อม การประมาณตำแหน่ง การวางแผน การควบคุม การหยิบจับ และการเคลื่อนที่ การเรียนรู้แบบเสริมกำลังให้กรอบสำหรับเรียนพฤติกรรมจากปฏิสัมพันธ์ แต่การใช้งานกับหุ่นยนต์จริงต้องรับมือกับต้นทุนและความเสี่ยงของการทดลอง ความแตกต่างระหว่างการจำลองกับโลกจริง และข้อกำหนดด้านความปลอดภัย[80]
ในวิศวกรรมซอฟต์แวร์ โมเดลใช้กับการค้นหารหัส การทำนายข้อบกพร่อง การจัดหมวดรายงานปัญหา การสรุปหรือสร้างเอกสาร การเติมรหัส การแปลรหัส และการสร้างกรณีทดสอบ เนื่องจากรหัสโปรแกรมมีทั้งรูปแบบทางสถิติและโครงสร้างทางไวยากรณ์ โมเดลจึงอาจประมวลผลรหัสเป็นลำดับ ต้นไม้ หรือกราฟ อย่างไรก็ตาม ผลลัพธ์ที่สร้างขึ้นต้องได้รับการตรวจสอบด้วยการคอมไพล์ การทดสอบ การวิเคราะห์แบบสถิต และการทบทวนโดยมนุษย์ตามความสำคัญของระบบ[81]
ระบบเชิงกำเนิดและโมเดลรากฐาน
[แก้]โมเดลก่อกำเนิด (generative model) ใช้สร้างหรือแปลงข้อความ ภาพ เสียง วิดีโอ รหัสโปรแกรม และข้อมูลหลายสื่อ ส่วนโมเดลรากฐาน (foundation model) ได้รับการฝึกจากข้อมูลขนาดใหญ่แล้วนำไปปรับใช้กับงานปลายทางหลายชนิด โมเดลภาษาขนาดใหญ่เป็นกรณีหนึ่งของแนวทางนี้ และอาจใช้ในการค้นคืนข้อมูล การสรุป การสนทนา การเขียนโปรแกรม หรือเป็นองค์ประกอบของระบบที่เรียกใช้เครื่องมือภายนอก[7] ผลลัพธ์ของระบบเชิงกำเนิดอาจมีข้อความหรือรายละเอียดที่ไม่สอดคล้องกับข้อเท็จจริง มีอคติ เปิดเผยข้อมูลอ่อนไหว หรือถูกใช้ในบริบทที่ต่างจากข้อมูลฝึก การนำไปใช้จึงต้องกำหนดวิธีตรวจสอบแหล่งที่มา ประเมินความถูกต้อง ควบคุมสิทธิ์ และจัดการความเสี่ยงตามความร้ายแรงของงาน[82]
วงจรชีวิตของระบบการเรียนรู้ของเครื่อง
[แก้]
การพัฒนาระบบการเรียนรู้ของเครื่อง (machine-learning system) เป็นกระบวนการแบบวนซ้ำ ไม่ได้สิ้นสุดเมื่อฝึกโมเดลเสร็จ รูปแบบการแบ่งขั้นอาจแตกต่างกันตามลักษณะงานและองค์กร แต่โดยทั่วไปครอบคลุมการกำหนดปัญหา การจัดการข้อมูล การพัฒนาและประเมินโมเดล การนำขึ้นใช้งาน และการติดตามภายหลัง เมื่อข้อมูล สภาพแวดล้อม หรือเป้าหมายเปลี่ยนไป ผู้พัฒนาอาจต้องย้อนกลับไปแก้โจทย์ ปรับกระบวนการข้อมูล หรือฝึกโมเดลใหม่[8][83][84]
การกำหนดปัญหา
[แก้]ขั้นแรกคือการกำหนดปัญหา (problem definition) ว่าระบบต้องสนับสนุนการจำแนก การทำนาย การจัดอันดับ การตรวจจับความผิดปกติ การสร้างข้อมูล หรือการตัดสินใจในรูปแบบใด การกำหนดปัญหาควรระบุตัวแปรเป้าหมาย หน่วยที่ต้องการพยากรณ์ ขอบเขตประชากร ผู้ใช้และผู้มีส่วนได้เสีย ต้นทุนของความผิดพลาด ข้อจำกัดทางกฎหมายและจริยธรรม และตัวชี้วัดความสำเร็จ ตัวชี้วัดทางเทคนิคอาจไม่ตรงกับเป้าหมายของระบบเสมอไป จึงต้องพิจารณาผลกระทบในบริบทการใช้งานร่วมด้วย[8][85]
การรวบรวมและกำกับดูแลข้อมูล
[แก้]ขั้นต่อมาคือการกำหนดว่าต้องใช้ข้อมูลชนิดใดและจะรวบรวมจากแหล่งใด รวมถึงการจัดป้ายกำกับ การสุ่มตัวอย่าง และการบันทึกที่มาของข้อมูล การกำกับดูแลข้อมูล (data governance) ครอบคลุมสิทธิในการใช้ข้อมูล ความเป็นส่วนตัว ระยะเวลาการเก็บรักษา การควบคุมการเข้าถึง คุณภาพของป้ายกำกับ และความสามารถในการตรวจสอบย้อนกลับ ข้อมูลฝึกควรเป็นตัวแทนของกลุ่มและสภาพแวดล้อมที่ระบบจะถูกนำไปใช้ เพราะความเอนเอียงของการสุ่มตัวอย่างหรือการวัดอาจถ่ายทอดไปยังโมเดลและผลการตัดสินใจของระบบ[8]
การทำความสะอาดและเตรียมข้อมูล
[แก้]ข้อมูลที่รวบรวมได้มักต้องผ่านการทำความสะอาดข้อมูล (data cleaning) และการเตรียมข้อมูลขั้นต้น (data preprocessing) เช่น การลบระเบียนซ้ำ การแก้รูปแบบหรือหน่วยที่ไม่สอดคล้องกัน การจัดการค่าที่หายไป การเข้ารหัสข้อมูลเชิงหมวดหมู่ การปรับขนาดตัวแปร และการแปลงข้อมูลให้เหมาะกับโมเดล ก่อนเริ่มปรับโมเดลควรแยกข้อมูลเป็นชุดฝึก ชุดตรวจสอบ และชุดทดสอบตามหลักที่เหมาะกับโครงสร้างของข้อมูล เช่น แบ่งตามเวลา ผู้ป่วย ผู้ใช้ หรือหน่วยทดลอง ขั้นตอนทั้งหมดต้องป้องกันการรั่วไหลของข้อมูล (data leakage) ซึ่งเกิดเมื่อข้อมูลที่ไม่ควรมีในขณะฝึกหรือพยากรณ์เข้าไปมีอิทธิพลต่อโมเดล ทำให้ผลประเมินสูงเกินจริง[86][85]
การวิเคราะห์ข้อมูลเชิงสำรวจ
[แก้]การวิเคราะห์ข้อมูลเชิงสำรวจ (exploratory data analysis: EDA) ใช้สถิติเชิงพรรณนาและการแสดงข้อมูลด้วยภาพ (data visualization) เพื่อทำความเข้าใจการแจกแจงของตัวแปร ความสัมพันธ์ระหว่างตัวแปร ค่าผิดปกติ (outliers) ค่าที่หายไป ความไม่สมดุลของชั้นข้อมูล และความแตกต่างระหว่างกลุ่ม การสำรวจข้อมูลอาจทำให้ต้องย้อนกลับไปแก้การรวบรวม การจัดป้ายกำกับ (labeling) หรือการเตรียมข้อมูล (data preparation) และไม่ควรใช้ข้อมูลชุดทดสอบเพื่อเลือกสมมติฐาน ตัวแปร หรือวิธีปรับโมเดลซ้ำ ๆ เพราะจะทำให้ชุดทดสอบสูญเสียความเป็นข้อมูลอิสระสำหรับการประเมินขั้นสุดท้าย[87]
การสร้างและคัดเลือกฟีเจอร์
[แก้]การสร้างฟีเจอร์ (feature engineering) คือการแปลงข้อมูลดิบให้เป็นตัวแปรที่โมเดลใช้เรียนรู้ได้ เช่น การรวมค่าในช่วงเวลา การสร้างอัตราส่วน การแทนข้อมูลเชิงหมวดหมู่ หรือการสกัดข้อมูลจากข้อความและสัญญาณ ส่วนการคัดเลือกฟีเจอร์ (feature selection) ใช้ลดตัวแปรที่ซ้ำซ้อน ไม่เกี่ยวข้อง หรือเพิ่มความแปรปรวนโดยไม่ช่วยการพยากรณ์ ในการเรียนรู้เชิงลึก โมเดลอาจเรียนรู้ฟีเจอร์จากข้อมูลดิบโดยตรง แต่การกำหนดหน่วยข้อมูล การปรับรูปแบบ และการเลือกข้อมูลนำเข้ายังคงเป็นส่วนสำคัญของการออกแบบระบบ[88]
การเลือกโมเดล
[แก้]การเลือกโมเดล (model selection) ในระยะแรกหมายถึงการกำหนดโมเดลเบสไลน์ (baseline) และเลือกตระกูลโมเดลหรือสถาปัตยกรรมที่สมเหตุสมผลกับข้อมูล เช่น โมเดลเชิงเส้น ต้นไม้ตัดสินใจ วิธีเคอร์เนล โครงข่ายประสาท หรือการนำโมเดลที่ฝึกล่วงหน้ามาปรับใช้ การเลือกไม่ควรพิจารณาเฉพาะค่าความแม่นยำ แต่รวมถึงปริมาณข้อมูล เวลาและทรัพยากรที่ใช้ฝึก ความเร็วในการอนุมาน ความสามารถในการอธิบายผล ความทนทาน และข้อจำกัดของระบบปลายทาง โมเดลที่ซับซ้อนกว่าไม่จำเป็นต้องเหมาะกว่าโมเดลฐานในทุกงาน[3][8]
การฝึกโมเดล
[แก้]การฝึกโมเดล (model training) เป็นการประมาณพารามิเตอร์จากชุดข้อมูลฝึกตามฟังก์ชันการสูญเสียและวิธีการหาค่าเหมาะที่สุดที่กำหนดไว้ กระบวนการอาจรวมการถ่วงน้ำหนักตัวอย่าง การทำให้เป็นปกติ การเพิ่มข้อมูล การฝึกล่วงหน้า การถ่ายโอนการเรียนรู้ หรือการปรับละเอียด ทั้งนี้ควรบันทึกข้อมูลที่ใช้ รหัสโปรแกรม การตั้งค่า พารามิเตอร์เหนือ สภาพแวดล้อมซอฟต์แวร์ และเมล็ดสุ่ม เพื่อช่วยให้ทำซ้ำและตรวจสอบผลการทดลองได้[3][89]
การประเมินและปรับแต่งโมเดล
[แก้]โมเดลที่ฝึกแล้วต้องได้รับการประเมินด้วยข้อมูลที่ไม่ได้ใช้ปรับพารามิเตอร์โดยตรง การตรวจสอบ (validation) ใช้เปรียบเทียบโมเดลและปรับพารามิเตอร์เหนือ ส่วนชุดทดสอบควรสงวนไว้สำหรับการประเมินโมเดลที่เลือกแล้ว ตัวชี้วัดต้องสัมพันธ์กับงานและต้นทุนของความผิดพลาด เช่น ความแม่นยำ ความแม่นตรง ความไว พื้นที่ใต้เส้นโค้ง ค่าความคลาดเคลื่อน หรือคุณภาพการจัดอันดับ นอกจากค่าเฉลี่ยรวมแล้ว อาจต้องประเมินการปรับเทียบความน่าจะเป็น ความทนทาน ความไม่แน่นอน อคติระหว่างกลุ่ม การใช้ทรัพยากร และการทำงานเมื่อข้อมูลแตกต่างจากข้อมูลฝึก[90][8]
การนำขึ้นใช้งาน
[แก้]เมื่อผ่านเกณฑ์ประเมินแล้ว โมเดลอาจถูกนำขึ้นใช้งาน (deployment) เป็นบริการแบบเวลาจริง งานประมวลผลแบบแบตช์ แอปพลิเคชันบนอุปกรณ์ปลายทาง หรือส่วนประกอบของระบบอื่น การนำขึ้นใช้งานครอบคลุมมากกว่าไฟล์โมเดล โดยรวมถึงกระบวนการเตรียมข้อมูลก่อนพยากรณ์ ส่วนต่อประสานซอฟต์แวร์ ทรัพยากรคำนวณ การควบคุมสิทธิ์ การบันทึกเหตุการณ์ การทดสอบการทำงานร่วมกับส่วนประกอบอื่น และแผนย้อนกลับไปใช้รุ่นก่อนเมื่อเกิดปัญหา ระบบทดลองและระบบใช้งานจริงต้องประมวลผลข้อมูลด้วยกฎที่สอดคล้องกัน มิฉะนั้นอาจเกิดความคลาดเคลื่อนระหว่างการฝึกกับการให้บริการ[91][84]
การติดตาม บำรุงรักษา และฝึกซ้ำ
[แก้]หลังนำขึ้นใช้งาน ต้องติดตามทั้งตัวระบบและโมเดล เช่น ความพร้อมใช้งาน ความหน่วงเวลา อัตราความผิดพลาด คุณภาพข้อมูลนำเข้า การเปลี่ยนแปลงของการแจกแจงข้อมูล (distribution shift) การเปลี่ยนความสัมพันธ์ระหว่างข้อมูลกับผลลัพธ์เป้าหมาย (concept drift) สมรรถนะเมื่อได้รับคำตอบจริง และผลกระทบต่อกลุ่มผู้ใช้ที่สำคัญ การติดตามควรมีกฎสำหรับแจ้งเตือน หยุดใช้ ย้อนกลับรุ่น หรือส่งต่อให้มนุษย์ตรวจสอบ[92][8]
เมื่อสมรรถนะลดลงหรือข้อมูลเปลี่ยนไป อาจฝึกโมเดลซ้ำ (retraining) ตามกำหนดเวลา ตามเหตุการณ์ หรือเมื่อผ่านเกณฑ์ที่กำหนด การฝึกซ้ำไม่ควรเลื่อนโมเดลรุ่นใหม่ขึ้นใช้งานโดยอัตโนมัติโดยไม่มีการตรวจสอบ เพราะข้อมูลใหม่อาจมีข้อผิดพลาด อคติ หรือทำให้สมรรถนะบางกลุ่มลดลง ระบบจึงควรจัดการรุ่น (versioning) ของชุดข้อมูล กระบวนการสร้างลักษณะเด่น รหัสโปรแกรม การตั้งค่า สภาพแวดล้อม โมเดล และผลประเมิน เพื่อให้ตรวจสอบย้อนกลับ เปรียบเทียบรุ่น และคืนกลับไปใช้รุ่นก่อนหน้าได้[89][90][83]
ระยะในวงจรเหล่านี้สามารถคาบเกี่ยวและย้อนกลับได้ การค้นพบระหว่างการวิเคราะห์ข้อมูลอาจทำให้ต้องแก้การเก็บข้อมูล ผลประเมินอาจทำให้ต้องเปลี่ยนลักษณะเด่นหรือตระกูลโมเดล และข้อมูลจากระบบที่ใช้งานแล้วอาจนำกลับมาใช้ปรับการกำหนดปัญหาในรอบต่อไป การกำกับดูแล ความปลอดภัย เอกสารประกอบ และการจัดการรุ่นจึงเป็นกิจกรรมที่ดำเนินตลอดทั้งวงจร ไม่ใช่เพียงขั้นตอนท้ายสุด[8][84]
ระบบนิเวศซอฟต์แวร์
[แก้]การพัฒนาระบบการเรียนรู้ของเครื่องมักใช้ซอฟต์แวร์หลายประเภทตลอดวงจรงาน ตั้งแต่การสำรวจและจัดเตรียมข้อมูล การสร้างและฝึกโมเดล การประเมินผล ไปจนถึงการติดตามการทดลองและนำโมเดลขึ้นใช้งาน ซอฟต์แวร์แต่ละรายการจึงอาจทำหน้าที่ต่างกัน และบางโครงการรองรับมากกว่าหนึ่งขั้นตอน รายการต่อไปนี้เป็นเพียงตัวอย่างของเครื่องมือที่มีบทบาทสำคัญ ไม่ใช่รายชื่อทั้งหมด
การจัดเตรียมข้อมูล (Data preprocessing)
[แก้]- Jupyter เป็นสภาพแวดล้อมสมุดบันทึกเชิงคำนวณ (computational notebook) ที่รวมรหัสโปรแกรม ข้อความ สมการ และผลการแสดงข้อมูลไว้ในเอกสารเดียว[93]
- NumPy จัดเตรียมโครงสร้างอาร์เรย์หลายมิติและการคำนวณเชิงตัวเลขสำหรับภาษาไพทอน[94]
- pandas จัดเตรียมโครงสร้างข้อมูลและเครื่องมือสำหรับการจัดการและวิเคราะห์ข้อมูลแบบตาราง[95]
- R เป็นภาษาและสภาพแวดล้อมสำหรับสถิติศาสตร์ การวิเคราะห์ข้อมูล และกราฟิก[96]
การพัฒนาโมเดล (Model development)
[แก้]- scikit-learn รองรับวิธีการเรียนรู้ของเครื่องแบบดั้งเดิม เช่น การจำแนก การถดถอย การจัดกลุ่ม การลดมิติ และการประเมินโมเดล[97]
- XGBoost เป็นระบบเกรเดียนต์บูสติงบนต้นไม้ที่ออกแบบให้รองรับข้อมูลขนาดใหญ่และข้อมูลเบาบาง โดยมีการประมวลผลแบบขนานและวิธีประมาณจุดแบ่งของต้นไม้[98]
- LightGBM เป็นการนำวิธีเกรเดียนต์บูสติงบนต้นไม้ไปใช้โดยเพิ่มเทคนิคการสุ่มตัวอย่างตามขนาดเกรเดียนต์และการรวมลักษณะที่แทบไม่เกิดพร้อมกัน เพื่อลดต้นทุนการฝึกบนข้อมูลขนาดใหญ่[99]
- CatBoost เป็นวิธีเกรเดียนต์บูสติงบนต้นไม้ที่มีเทคนิคสำหรับจัดการลักษณะเชิงหมวดหมู่และลดปัญหาการรั่วของข้อมูลเป้าหมายระหว่างการฝึก[100]
- TensorFlow เป็นระบบสำหรับแสดงและดำเนินการกราฟคำนวณบนอุปกรณ์และเครื่องหลายชนิด โดยรองรับการฝึกและการอนุมานของโมเดลการเรียนรู้ของเครื่องขนาดใหญ่[101]
- PyTorch เป็นไลบรารีการเรียนรู้เชิงลึกที่ใช้รูปแบบการเขียนโปรแกรมเชิงคำสั่งในภาษาไพทอน พร้อมรองรับการหาอนุพันธ์อัตโนมัติและตัวเร่งการคำนวณ[102]
- Keras รุ่นที่ 3 เป็นกรอบงานระดับสูงแบบหลายแบ็กเอนด์ (multi-backend) ซึ่งใช้กับ JAX, TensorFlow และ PyTorch ได้ และใช้ OpenVINO สำหรับการอนุมานได้[103]
- JAX เป็นไลบรารีภาษาไพทอนสำหรับการคำนวณอาร์เรย์บนตัวเร่ง โดยรองรับการคอมไพล์ การหาอนุพันธ์อัตโนมัติ การทำงานแบบเวกเตอร์ และการประมวลผลแบบขนานผ่านการแปลงฟังก์ชัน[104]
- Transformers ของ Hugging Face จัดเตรียมสถาปัตยกรรมทรานส์ฟอร์เมอร์และโมเดลที่ฝึกล่วงหน้าภายใต้ส่วนต่อประสานร่วม โดยเริ่มจากงานประมวลภาษาธรรมชาติและต่อมาขยายไปยังข้อมูลชนิดอื่น[105]
การติดตามและนำโมเดลขึ้นใช้งาน
[แก้]- MLflow เป็นแพลตฟอร์มสำหรับจัดการวงจรชีวิตของการเรียนรู้ของเครื่อง โดยมุ่งแก้ปัญหาการติดตามการทดลอง การทำซ้ำผลลัพธ์ และการนำโมเดลขึ้นใช้งาน[106]
- ONNX เป็นรูปแบบเปิดสำหรับแทนโมเดลการเรียนรู้ของเครื่อง โดยกำหนดชุดตัวดำเนินการและรูปแบบไฟล์ร่วมเพื่อแลกเปลี่ยนโมเดลระหว่างกรอบงาน รันไทม์ และเครื่องมือ[107]
กรอบงานรุ่นก่อน เช่น Caffe และ CNTK มีบทบาทต่อการพัฒนาเครื่องมือการเรียนรู้เชิงลึกในคริสต์ทศวรรษ 2010 Caffe ออกแบบเป็นกรอบงานสำหรับโครงข่ายคอนโวลูชันและการฝังลักษณะอย่างรวดเร็ว[108] ส่วน CNTK รุ่น 2.7 เป็นรุ่นหลักสุดท้ายและโครงการไม่มีแผนพัฒนาคุณลักษณะใหม่หลังจากรุ่นดังกล่าว โดยคลังซอร์สถูกเก็บถาวรเป็นแบบอ่านอย่างเดียวเมื่อวันที่ 17 กุมภาพันธ์ ค.ศ. 2026[109]
ดูเพิ่ม
[แก้]อ้างอิง
[แก้]- ↑ Mitchell, Tom M. (1997). Machine Learning. McGraw-Hill. น. 2–3. ISBN 978-0-07-042807-2.
- 1 2 3 4 Jordan, Michael I.; Mitchell, Tom M. (17 กรกฎาคม 2015). "Machine learning: Trends, perspectives, and prospects". Science. 349 (6245): 255–260. doi:10.1126/science.aaa8415. PMID 26185243.
{{cite journal}}: CS1 maint: date auto-translated (ลิงก์) - 1 2 3 Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
- ↑ Gui, Jie; Chen, Tuo; Zhang, Jing; Cao, Qiong; Sun, Zhenan; Luo, Hao; Tao, Dacheng (2024). "A Survey on Self-Supervised Learning: Algorithms, Applications, and Future Trends". IEEE Transactions on Pattern Analysis and Machine Intelligence. 46 (12): 9052–9071. doi:10.1109/TPAMI.2024.3415112.
- 1 2 3 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep learning". Nature. 521: 436–444. doi:10.1038/nature14539. PMID 26017442. อ้างอิงผิดพลาด: ป้ายระบุ
<ref>ไม่สมเหตุสมผล มีนิยามชื่อ "LeCun-2015" หลายครั้งด้วยเนื้อหาต่างกัน - 1 2 Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Łukasz; Polosukhin, Illia (2017). "Attention Is All You Need". Advances in Neural Information Processing Systems 30. น. 5998–6008.
- 1 2 3 4 Bommasani, Rishi; และคณะ (2021). "On the Opportunities and Risks of Foundation Models". arXiv. arXiv:2108.07258. อ้างอิงผิดพลาด: ป้ายระบุ
<ref>ไม่สมเหตุสมผล มีนิยามชื่อ "Bommasani-2021" หลายครั้งด้วยเนื้อหาต่างกัน - 1 2 3 4 5 6 7 8 National Institute of Standards and Technology (มกราคม 2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0) (รายงาน). doi:10.6028/NIST.AI.100-1.
{{cite report}}: CS1 maint: date auto-translated (ลิงก์) อ้างอิงผิดพลาด: ป้ายระบุ<ref>ไม่สมเหตุสมผล มีนิยามชื่อ "NIST-AI-RMF" หลายครั้งด้วยเนื้อหาต่างกัน - ↑ McCulloch, Warren S.; Pitts, Walter (1943). "A Logical Calculus of the Ideas Immanent in Nervous Activity". The Bulletin of Mathematical Biophysics. 5: 115–133. doi:10.1007/BF02478259.
- ↑ Hebb, Donald O. (1949). The Organization of Behavior: A Neuropsychological Theory. Wiley.
- ↑ Turing, A. M. (ตุลาคม 1950). "Computing Machinery and Intelligence". Mind. 59 (236): 433–460. doi:10.1093/mind/LIX.236.433. JSTOR 2251299.
{{cite journal}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Rosenblatt, Frank (1958). "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain". Psychological Review. 65 (6): 386–408. doi:10.1037/h0042519.
- ↑ Samuel, Arthur L. (กรกฎาคม 1959). "Some Studies in Machine Learning Using the Game of Checkers". IBM Journal of Research and Development. 3 (3): 210–229. doi:10.1147/rd.33.0210.
{{cite journal}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Nilsson, Nils J. (1965). Learning Machines: Foundations of Trainable Pattern-Classifying Systems. McGraw-Hill.
- ↑ Duda, Richard O.; Hart, Peter E. (1973). Pattern Classification and Scene Analysis. Wiley. ISBN 978-0-471-22361-0.
- ↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (1986). "Learning Representations by Back-Propagating Errors". Nature. 323: 533–536. doi:10.1038/323533a0.
- ↑ Cortes, Corinna; Vapnik, Vladimir (1995). "Support-Vector Networks". Machine Learning. 20: 273–297. doi:10.1007/BF00994018.
- ↑ Mitchell, Tom M. (1997). Machine Learning. McGraw-Hill. น. 2. ISBN 978-0-07-042807-2.
- ↑ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2012). "ImageNet Classification with Deep Convolutional Neural Networks". Advances in Neural Information Processing Systems 25. น. 1097–1105.
- ↑ "Deep Convolutional Neural Network (DCNN) Explained". Built In (ภาษาอังกฤษ). สืบค้นเมื่อ 2026-07-22.
- ↑ "The Nobel Prize in Physics 2024". NobelPrize.org. Nobel Prize Outreach. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - ↑ "Transformer Explainer: LLM Transformer Model Visually Explained". poloclub.github.io (ภาษาอังกฤษ). สืบค้นเมื่อ 2026-07-22.
- ↑ "How Transformers Work: A Detailed Exploration of Transformer Architecture". www.datacamp.com (ภาษาอังกฤษ). สืบค้นเมื่อ 2026-07-22.
- ↑ "In Transformer We Trust? A Perspective on Transformer Architecture Failure Modes". arxiv.org (ภาษาอังกฤษ). สืบค้นเมื่อ 2026-07-22.
- ↑ Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (2020). "Denoising Diffusion Probabilistic Models". Advances in Neural Information Processing Systems 33. น. 6840–6851. arXiv:2006.11239.
- ↑ Tamjidi, Mehran (2026-04-04), shining0611armor/Implementation-of-a-Denoising-Diffusion-Probabilistic-Model-DDPM-, สืบค้นเมื่อ 2026-07-22
- ↑ Plaat, Aske; van Duijn, Max; van Stein, Niki; Preuss, Mike; van der Putten, Peter; Batenburg, Kees Joost (2025). "Agentic Large Language Models, a Survey". arXiv:2503.23037 [cs.AI].
- ↑ National Institute of Standards and Technology (กรกฎาคม 2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (รายงาน). doi:10.6028/NIST.AI.600-1.
{{cite report}}: CS1 maint: date auto-translated (ลิงก์) - 1 2 Russell, Stuart J.; Norvig, Peter (2021). Artificial Intelligence: A Modern Approach (พิมพ์ครั้งที่ 4th). Pearson. ISBN 978-0-13-461099-3.
- ↑ Sindhu V, Nivedha S, Prakash M (กุมภาพันธ์ 2020). "An Empirical Science Research on Bioinformatics in Machine Learning". Journal of Mechanics of Continua and Mathematical Sciences (7). doi:10.26782/jmcms.spl.7/2020.02.00006.
- ↑ Bzdok, Danilo; Altman, Naomi; Krzywinski, Martin (2018). "Statistics versus Machine Learning". Nature Methods. 15 (4): 233–234. doi:10.1038/nmeth.4642. PMC 6082636. PMID 30100822.
- ↑ Breiman, Leo (2001). "Statistical Modeling: The Two Cultures". Statistical Science. 16 (3): 199–231. doi:10.1214/ss/1009213726.
- 1 2 3 James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert (2021). An Introduction to Statistical Learning: with Applications in R (พิมพ์ครั้งที่ 2nd). Springer. doi:10.1007/978-1-0716-1418-1. ISBN 978-1-0716-1417-4.
- ↑ Bottou, Léon; Curtis, Frank E.; Nocedal, Jorge (2018). "Optimization Methods for Large-Scale Machine Learning". SIAM Review. 60 (2): 223–311. doi:10.1137/16M1080173.
- 1 2 อ้างอิงผิดพลาด: ป้ายระบุ
<ref>ไม่ถูกต้อง ไม่มีการกำหนดข้อความสำหรับอ้างอิงชื่อ "Murphy-2022" - 1 2 Fayyad, Usama; Piatetsky-Shapiro, Gregory; Smyth, Padhraic (1996). "From Data Mining to Knowledge Discovery in Databases". AI Magazine. 17 (3): 37–54. doi:10.1609/aimag.v17i3.1230.
- ↑ Donoho, David (2017). "50 Years of Data Science". Journal of Computational and Graphical Statistics. 26 (4): 745–766. doi:10.1080/10618600.2017.1384734.
- 1 2 3 4 5 Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
- 1 2 3 4 Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar, Ameet (2018). Foundations of Machine Learning (พิมพ์ครั้งที่ 2). MIT Press. ISBN 978-0-262-03940-6.
- 1 2 3 4 Shalev-Shwartz, Shai; Ben-David, Shai (2014). Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press. ISBN 978-1-107-05713-5.
- ↑ Valiant, Leslie G. (1984). "A Theory of the Learnable". Communications of the ACM. 27 (11): 1134–1142. doi:10.1145/1968.1972.
- ↑ Kearns, Michael; Valiant, Leslie (1994). "Cryptographic Limitations on Learning Boolean Formulae and Finite Automata". Journal of the ACM. 41 (1): 67–95. doi:10.1145/174644.174647.
- ↑ Quiñonero-Candela, Joaquin; Sugiyama, Masashi; Schwaighofer, Anton; Lawrence, Neil D., บ.ก. (2009). Dataset Shift in Machine Learning. MIT Press.
- 1 2 3 4 5 6 7 8 9 10 11 12 13 Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 978-0-387-31073-2.
- 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Murphy, Kevin P. (2022). Probabilistic Machine Learning: An Introduction. MIT Press. ISBN 978-0-262-04682-4.
- 1 2 van Engelen, Jesper E.; Hoos, Holger H. (2020). "A Survey on Semi-Supervised Learning". Machine Learning. 109 (2): 373–440. doi:10.1007/s10994-019-05855-6.
- 1 2 Gui, Jie; Chen, Tuo; Zhang, Jing; Cao, Qiong; Sun, Zhenan; Luo, Hao; Tao, Dacheng (2024). "A Survey on Self-Supervised Learning: Algorithms, Applications, and Future Trends". IEEE Transactions on Pattern Analysis and Machine Intelligence. 46 (12): 9052–9071. doi:10.1109/TPAMI.2024.3415112.
- 1 2 3 Sutton, Richard S.; Barto, Andrew G. (2018). Reinforcement Learning: An Introduction (พิมพ์ครั้งที่ 2). MIT Press. ISBN 978-0-262-03924-6.
- ↑ Chandola, Varun; Banerjee, Arindam; Kumar, Vipin (2009). "Anomaly Detection: A Survey". ACM Computing Surveys. 41 (3): 1–58. doi:10.1145/1541880.1541882.
{{cite journal}}:|article=ถูกข้าม (วิธีใช้) - ↑ Agrawal, Rakesh; Imieliński, Tomasz; Swami, Arun (1993). "Mining Association Rules between Sets of Items in Large Databases". Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data. Association for Computing Machinery. น. 207–216. doi:10.1145/170035.170072.
- 1 2 3 4 5 Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron (2016). Deep Learning. MIT Press. ISBN 978-0-262-03561-3.
- ↑ Cortes, Corinna; Vapnik, Vladimir (1995). "Support-Vector Networks". Machine Learning. 20: 273–297. doi:10.1007/BF00994018.
- ↑ Breiman, Leo (2001). "Random Forests". Machine Learning. 45 (1): 5–32. doi:10.1023/A:1010933404324.
- ↑ Chen, Tianqi; Guestrin, Carlos (2016). "XGBoost: A Scalable Tree Boosting System". Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery. น. 785–794. doi:10.1145/2939672.2939785.
- 1 2 LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). "Deep Learning". Nature. 521: 436–444. doi:10.1038/nature14539. PMID 26017442.
- ↑ Hamilton, William L. (2020). Graph Representation Learning. Morgan & Claypool Publishers. doi:10.2200/S01045ED1V01Y202009AIM046.
- ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N..; Kaiser, Łukasz; Polosukhin, Illia (2017). "Attention Is All You Need". Advances in Neural Information Processing Systems 30. น. 5998–6008.
- ↑ Kingma, Diederik P.; Welling, Max (2014). "Auto-Encoding Variational Bayes". 2nd International Conference on Learning Representations. arXiv:1312.6114.
{{cite conference}}: ข้ามพารามิเตอร์|class=ซึ่งไม่รู้จัก (วิธีใช้) - ↑ Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Nets". Advances in Neural Information Processing Systems 27. น. 2672–2680.
- ↑ Ho, Jonathan; Jain, Ajay; Abbeel, Pieter (2020). "Denoising Diffusion Probabilistic Models". Advances in Neural Information Processing Systems 33. น. 6840–6851. arXiv:2006.11239.
{{cite conference}}: ข้ามพารามิเตอร์|class=ซึ่งไม่รู้จัก (วิธีใช้) - ↑ Muggleton, Stephen; De Raedt, Luc (1994). "Inductive Logic Programming: Theory and Methods". The Journal of Logic Programming. 19–20: 629–679. doi:10.1016/0743-1066(94)90035-3.
- ↑ Eiben, A. E.; Smith, J. E. (2015). Introduction to Evolutionary Computing (พิมพ์ครั้งที่ 2). Springer. doi:10.1007/978-3-662-44874-8. ISBN 978-3-662-44873-1.
- ↑ Guyon, Isabelle; Elisseeff, André (2003). "An Introduction to Variable and Feature Selection". Journal of Machine Learning Research. 3: 1157–1182.
- ↑ Pan, Sinno Jialin; Yang, Qiang (2010). "A Survey on Transfer Learning". IEEE Transactions on Knowledge and Data Engineering. 22 (10): 1345–1359. doi:10.1109/TKDE.2009.191.
- ↑ Bommasani, Rishi; และคณะ (2021). "On the Opportunities and Risks of Foundation Models". arXiv:2108.07258 [cs.LG].
- ↑ Settles, Burr (2009). Active Learning Literature Survey (รายงาน). University of Wisconsin–Madison.
- ↑ Vapnik, Vladimir N. (2000). The Nature of Statistical Learning Theory (พิมพ์ครั้งที่ 2). Springer. ISBN 978-0-387-98780-4.
- ↑ Hospedales, Timothy M.; Antoniou, Antreas; Micaelli, Paul; Storkey, Amos J. (2022). "Meta-Learning in Neural Networks: A Survey". IEEE Transactions on Pattern Analysis and Machine Intelligence. 44 (9): 5149–5169. doi:10.1109/TPAMI.2021.3079209.
- ↑ Wang, Liyuan; Zhang, Xingxing; Su, Hang; Zhu, Jun (2024). "A Comprehensive Survey of Continual Learning: Theory, Method and Application". IEEE Transactions on Pattern Analysis and Machine Intelligence. 46 (8): 5362–5383. doi:10.1109/TPAMI.2024.3367329.
- ↑ McMahan, H. Brendan; Moore, Eider; Ramage, Daniel; Hampson, Seth; Agüera y Arcas, Blaise (2017). "Communication-Efficient Learning of Deep Networks from Decentralized Data". Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. เล่มที่ 54. PMLR. น. 1273–1282.
- ↑ Kairouz, Peter; และคณะ (2021). "Advances and Open Problems in Federated Learning". Foundations and Trends in Machine Learning. 14 (1–2): 1–210. doi:10.1561/2200000083.
- ↑ Koren, Yehuda; Bell, Robert; Volinsky, Chris (2009). "Matrix Factorization Techniques for Recommender Systems". Computer. 42 (8): 30–37. doi:10.1109/MC.2009.263.
- ↑ Rajkomar, Alvin; Dean, Jeffrey; Kohane, Isaac (4 เมษายน 2019). "Machine Learning in Medicine". The New England Journal of Medicine. 380 (14): 1347–1358. doi:10.1056/NEJMra1814259. PMID 30943338.
{{cite journal}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Esteva, Andre; Robicquet, Alexandre; Ramsundar, Bharath; และคณะ (2019). "A Guide to Deep Learning in Healthcare". Nature Medicine. 25 (1): 24–29. doi:10.1038/s41591-018-0316-z. PMID 30617335.
- ↑ Butler, Keith T.; Davies, Daniel W.; Cartwright, Hugh; Isayev, Olexandr; Walsh, Aron (2018). "Machine Learning for Molecular and Materials Science". Nature. 559 (7715): 547–555. doi:10.1038/s41586-018-0337-2. PMID 30046072.
- ↑ Jumper, John; Evans, Richard; Pritzel, Alexander; และคณะ (2021). "Highly Accurate Protein Structure Prediction with AlphaFold". Nature. 596 (7873): 583–589. doi:10.1038/s41586-021-03819-2. PMID 34265844.
- ↑ Reichstein, Markus; Camps-Valls, Gustau; Stevens, Bjorn; และคณะ (2019). "Deep Learning and Process Understanding for Data-Driven Earth System Science". Nature. 566 (7743): 195–204. doi:10.1038/s41586-019-0912-1. PMID 30760912.
- ↑ Liakos, Konstantinos G.; Busato, Patrizia; Moshou, Dimitrios; Pearson, Simon; Bochtis, Dionysis (2018). "Machine Learning in Agriculture: A Review". Sensors. 18 (8): 2674. doi:10.3390/s18082674. PMC 6111204. PMID 30110960.
- ↑ Abdallah, Aisha; Maarof, Mohd Aizaini; Zainal, Anazida (2016). "Fraud Detection System: A Survey". Journal of Network and Computer Applications. 68: 90–113. doi:10.1016/j.jnca.2016.04.007.
- ↑ Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013). "Reinforcement Learning in Robotics: A Survey". The International Journal of Robotics Research. 32 (11): 1238–1274. doi:10.1177/0278364913495721.
- ↑ Allamanis, Miltiadis; Barr, Earl T.; Devanbu, Premkumar; Sutton, Charles (2018). "A Survey of Machine Learning for Big Code and Naturalness". ACM Computing Surveys. 51 (4). doi:10.1145/3212695.
- ↑ National Institute of Standards and Technology (กรกฎาคม 2024). "Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile" (PDF). U.S. Department of Commerce. doi:10.6028/NIST.AI.600-1. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - 1 2 "ISO/IEC 5338:2023 — Information technology — Artificial intelligence — AI system life cycle processes". International Organization for Standardization. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - 1 2 3 Kreuzberger, Dominik; Kühl, Niklas; Hirschl, Sebastian (2023). "Machine Learning Operations (MLOps): Overview, Definition, and Architecture". IEEE Access. 11: 31866–31879. doi:10.1109/ACCESS.2023.3262138.
- 1 2 Amershi, Saleema; Begg, Martin; Bird, Christian; DeLine, Robert; Gall, Harald; Kamar, Ece; Nagappan, Nachiappan; Nushi, Besmira; Zimmermann, Thomas (2019). "Software Engineering for Machine Learning: A Case Study". 2019 IEEE/ACM 41st International Conference on Software Engineering: Software Engineering in Practice. น. 291–300. doi:10.1109/ICSE-SEIP.2019.00042.
- ↑ Kaufman, Shachar; Rosset, Saharon; Perlich, Claudia; Stitelman, Ori (2012). "Leakage in Data Mining: Formulation, Detection, and Avoidance". ACM Transactions on Knowledge Discovery from Data. 6 (4): 15:1–15:21. doi:10.1145/2382577.2382579.
- ↑ Tukey, John W. (1977). Exploratory Data Analysis. Addison-Wesley. ISBN 978-0-201-07616-5.
- ↑ Guyon, Isabelle; Elisseeff, André (2003). "An Introduction to Variable and Feature Selection". Journal of Machine Learning Research. 3: 1157–1182.
- 1 2 Schlegel, Marius; Sattler, Kai-Uwe (2022). "Management of Machine Learning Lifecycle Artifacts: A Survey". ACM SIGMOD Record. 51 (4): 18–35. doi:10.1145/3582302.3582306.
- 1 2 Breck, Eric; Cai, Shanqing; Nielsen, Eric; Salib, Michael; Sculley, D. (2017). "The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction". 2017 IEEE International Conference on Big Data. น. 1123–1132. doi:10.1109/BigData.2017.8258038.
- ↑ Sculley, D.; Holt, Gary; Golovin, Daniel; Davydov, Eugene; Phillips, Todd; Ebner, Dieter; Chaudhary, Vinay; Young, Michael; Crespo, Jean-Francois; Dennison, Dan (2015). "Hidden Technical Debt in Machine Learning Systems". Advances in Neural Information Processing Systems 28. น. 2503–2511.
- ↑ Gama, João; Žliobaitė, Indrė; Bifet, Albert; Pechenizkiy, Mykola; Bouchachia, Abdelhamid (2014). "A Survey on Concept Drift Adaptation". ACM Computing Surveys. 46 (4): 44:1–44:37. doi:10.1145/2523813.
- ↑ Kluyver, Thomas; Ragan-Kelley, Benjamin; Pérez, Fernando; และคณะ (2016). "Jupyter Notebooks—a publishing format for reproducible computational workflows". ใน Loizides, Fernando; Schmidt, Birgit (บ.ก.). Positioning and Power in Academic Publishing: Players, Agents and Agendas. IOS Press. น. 87–90. doi:10.3233/978-1-61499-649-1-87.
- ↑ Harris, Charles R.; Millman, K. Jarrod; van der Walt, Stéfan J.; และคณะ (16 กันยายน 2020). "Array programming with NumPy". Nature. 585 (7825): 357–362. doi:10.1038/s41586-020-2649-2. PMID 32939066.
{{cite journal}}: CS1 maint: date auto-translated (ลิงก์) - ↑ McKinney, Wes (2010). "Data Structures for Statistical Computing in Python". Proceedings of the 9th Python in Science Conference. น. 56–61. doi:10.25080/Majora-92bf1922-00a.
- ↑ "What is R?". The R Project for Statistical Computing. R Foundation for Statistical Computing. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Pedregosa, Fabian; Varoquaux, Gaël; Gramfort, Alexandre; และคณะ (2011). "Scikit-learn: Machine Learning in Python". Journal of Machine Learning Research. 12: 2825–2830.
- ↑ Chen, Tianqi; Guestrin, Carlos (2016). "XGBoost: A Scalable Tree Boosting System". Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Association for Computing Machinery. น. 785–794. doi:10.1145/2939672.2939785.
- ↑ Ke, Guolin; Meng, Qi; Finley, Thomas; Wang, Taifeng; Chen, Wei; Ma, Weidong; Ye, Qiwei; Liu, Tie-Yan (2017). "LightGBM: A Highly Efficient Gradient Boosting Decision Tree". Advances in Neural Information Processing Systems 30.
- ↑ Prokhorenkova, Liudmila; Gusev, Gleb; Vorobev, Aleksandr; Dorogush, Anna Veronika; Gulin, Andrey (2018). "CatBoost: Unbiased Boosting with Categorical Features". Advances in Neural Information Processing Systems 31.
- ↑ Abadi, Martín; Barham, Paul; Chen, Jianmin; และคณะ (2016). "TensorFlow: A System for Large-Scale Machine Learning". 12th USENIX Symposium on Operating Systems Design and Implementation. USENIX Association. น. 265–283.
- ↑ Paszke, Adam; Gross, Sam; Massa, Francisco; และคณะ (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library". Advances in Neural Information Processing Systems 32. น. 8024–8035.
- ↑ "Introducing Keras 3.0". Keras. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - ↑ "JAX: High performance array computing". JAX documentation. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Wolf, Thomas; Debut, Lysandre; Sanh, Victor; และคณะ (ตุลาคม 2020). "Transformers: State-of-the-Art Natural Language Processing". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. Association for Computational Linguistics. น. 38–45. doi:10.18653/v1/2020.emnlp-demos.6.
{{cite conference}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Zaharia, Matei; Chen, Andrew; Davidson, Aaron; และคณะ (2018). "Accelerating the Machine Learning Lifecycle with MLflow". IEEE Data Engineering Bulletin. 41 (4).
- ↑ "Open Neural Network Exchange". ONNX. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์) - ↑ Jia, Yangqing; Shelhamer, Evan; Donahue, Jeff; และคณะ (2014). "Caffe: Convolutional Architecture for Fast Feature Embedding". Proceedings of the 22nd ACM International Conference on Multimedia. Association for Computing Machinery. น. 675–678. doi:10.1145/2647868.2654889.
- ↑ "Microsoft Cognitive Toolkit (CNTK)". GitHub. Microsoft. สืบค้นเมื่อ 21 กรกฎาคม 2026.
{{cite web}}: CS1 maint: date auto-translated (ลิงก์)
อ่านเพิ่มเติม
[แก้]- Ananthaswamy, Anil (2024). Why machines learn: the elegant math behind modern AI / Anil Anathaswamy (ภาษาอังกฤษ). New York: Dutton. ISBN 978-0593185759.
- Huyen, Chip (2022). Designing Machine Learning System [การออกแบบระบบแม็ชชีนเลิร์นนิง]. แปลโดย อัศวรังสี, วิโรจน์. O'Relly Media, Inc. ISBN 978-6168282304.
- Ameisen, Emmanuel (2022). การพัฒนาแอพพลิเคชัน Machine Learning. แปลโดย จริงจิตร, จิระ. O'Relly Media, Inc. ISBN 978-6168282182.
- Moroney, Laurence (2021). AI and Machine Learning for Coders [AI และแม็ชชีนเลิร์นนิงสำหรับนักเขียนโค้ด]. แปลโดย อัศวรังสี, วิโรจน์. O'Relly Media, Inc. ISBN 978-6168282281.
- Huyen, Chip (2025). AI Engineering [วิศวกรรมเอไอ]. แปลโดย จิระ, จริงจิตร. O'Relly Media, Inc. ISBN 978-6168282496.