หลักการของออคแคม
จากวิกิพีเดีย สารานุกรมเสรี
หลักการของออคแคม (Ockham's Razor หรือ Occam's Razor) ถูกเสนอโดย วิลเลียมแห่งออคแคม เป็นหลักการหนึ่งในปรัชญาวิทยาศาสตร์ ในการเลือกทฤษฎีที่เหมาะสม และตรงกับข้อมูล ที่ได้จากการสังเกต หรือการทดลอง
หลักการของออคแคมนี้ ถูกนำไปตีความในหลายรูปแบบ โดยนักปรัชญา และนักวิทยาศาสตร์หลายท่าน อย่างไรก็ตาม เราอาจกล่าวถึงหลักการของออคแคม ในรูปแบบที่ง่ายที่สุด ได้ดังนี้: "เราไม่ควรสร้างข้อสมมุติฐานเพิ่มเติมโดยไม่จำเป็น" หรือ "ทฤษฎีไม่ควรซับซ้อนเกินความจำเป็น"
นั่นคือในกรณีที่ทฤษฎี หรือคำอธิบายปรากฏการณ์ต่างๆ มากกว่าหนึ่งรูปแบบ สามารถอธิบาย และทำนาย สิ่งที่ได้จากการสังเกตทดลอง ได้เท่าเทียมกัน หรือไม่ต่างกันมาก เราควรจะเลือกทฤษฎีที่ง่ายที่สุด หรือซับซ้อนน้อยที่สุดนั่นเอง
หลักการนี้ ได้รับการสนับสนุนอย่างหนักแน่น จากนักวิทยาศาสตร์ชื่อดังหลายท่าน ไม่ว่าจะเป็น อัลเบิร์ต ไอน์สไตน์ หรือ กาลิเลโอ กาลิเลอี ที่มองธรรมชาติเป็นสิ่งที่สวยงามดั่งศิลปะ (ดูเรื่องความสวยงาม ในมุมมองของนักคณิตศาสตร์ ได้ในหัวข้อ นักคณิตศาสตร์)
เนื้อหา |
[แก้] ตัวอย่างการนำไปใช้
ตัวอย่างที่ดีที่สุด ในการใช้หลักการของออคแคมคือ การที่นักวิทยาศาสตร์ชั้นนำ ในยุคฟื้นฟูศิลปะวิทยาการ เชื่อถือว่า ทฤษฎีของโคเปอร์นิคัส นั้น น่าเชื่อถือมากกว่า ทฤษฎีโลกเป็นศูนย์กลาง ของ อริสโตเติล และ ทอเลมี
ในงานวิจัยด้านการเรียนรู้ของเครื่องในปัจจุบัน ได้นำหลักการของออคแคมมาใช้อย่างกว้างขวาง (ดู (Duda et al., 2001), (Mitchel, 1997) และ (Mackay, 2003)) แต่มักจะเข้าใจผิดว่า ทฤษฎีที่มีคำอธิบายสั้น คือทฤษฎีที่เรียบง่ายกว่า (ดูหัวข้อความเข้าใจผิดที่พบบ่อย)
อนึ่ง หลักการของออคแคมนี้ สามารถคำนวณออกมาในเชิงตัวเลข (หรือในเชิงปริมาณ ซึ่งสามารถสื่อสารกันได้อย่างเที่ยงตรงมากกว่าเชิงคุณภาพ) ได้ด้วยการใช้ทฤษฎีความน่าจะเป็นแบบเบย์ ในการอนุมาน (ดู (Mackay, 2003) และ (Jaynes, 2003)) โดยมีหลักการว่าโมเดลที่ซับซ้อนมาก จะมีตัวแปร (ในศัพท์ของทฤษฎีความน่าจะเป็นและสถิติมักเรียก "ตัวแปร" ที่ปรับได้นี้ ว่า "พารามีเตอร์") จำนวนมาก เพื่อให้ปรับค่าได้ยืดหยุ่นมาก ดังนั้นความน่าจะเป็นที่ตัวแปรจำนวนมากนั้น จะปรากฏเป็นค่าที่เข้ากับข้อมูลของเราได้อย่างลงตัวนั้นจึง "น้อย" กว่าโมเดลที่มีตัวแปรน้อย
[แก้] ความเข้าใจผิดที่พบบ่อย
- "โมเดลที่ง่าย จะให้ความถูกต้องเหมาะสมกับข้อมูล มากกว่าโมเดลที่ซับซ้อน" ประโยคนี้ไม่เป็นจริง โดยทั่วไปโมเดลที่ซับซ้อน (มีพารามีเตอร์มากกว่า) จะให้ความถูกต้องกับข้อมูลไม่ด้อยกว่าโมเดลที่เรียบง่าย หลักการของออคแคม แนะนำให้เลือกโมเดลที่ง่าย ในกรณีที่โมเดลที่ซับซ้อน ให้ความถูกต้องได้ไม่ดีกว่าอย่างเห็นได้ชัดเท่านั้น
- "โมเดลที่มีคำอธิบายสั้นกว่า คือโมเดลที่ซับซ้อนน้อยกว่า" ประโยคนี้ไม่เป็นจริงเสมอไป เนื่องจากความสั้นยาวของคำอธิบายของโมเดล ขึ้นอยู่กับการเข้ารหัส หรือภาษาที่ใช้อธิบายโดยตรง ดังเช่นในทางคณิตศาสตร์ ถ้าเราจำกัดให้ภาษาของสมการของเรา มีเพียงสมการพหุนามแล้ว เราจำเป็นต้องใช้พจน์ของพหุนามเป็นจำนวนอนันต์ เพื่ออธิบายฟังก์ชันเอกโปเน็นเชียล ในขณะที่ ถ้าภาษาของเรามีค่าคงที่ e เราก็จะสามารถอธิบายฟังก์ชันเอกโปเน็นเชียลได้ ด้วยตัวอักษรไม่กี่ตัว อย่างไรก็ตาม แม้ความยาวของทั้งสองสมการจะไม่เท่ากัน แต่สมการทั้งสองก็อธิบายโมเดลเดียวกัน ความยาวของคำอธิบาย จึงไม่สามารถบอกค่าความซับซ้อนของโมเดลได้โดยตรง
อนึ่งในการวัดความเรียบง่ายของ "โมเดล" จาก "คำอธิบายโมเดล" โดยตรง เราจำเป็นต้องใช้การเข้ารหัสแบบครอบจักรวาล (universal encoding) เพื่ออธิบายโมเดลนั้น งานวิจัยในด้านการวัดความซับซ้อนของโมเดลแบบสัมบูรณ์นี้ คืองานวิจัยเรื่องความซับซ้อนแบบโคโมลโกรอฟ ซึ่งถูกเสนอโดยนักคณิตศาสตร์ชื่อดังชาวรัสเซีย แอนเดร โคลโมโกรอฟ ในราวปี ค.ศ. 1960
[แก้] ดูเพิ่ม
- ปรัชญาวิทยาศาสตร์
- การเรียนรู้ของเครื่อง
- ทฤษฎีสารสนเทศ (information theory)
- ความซับซ้อนแบบโคโมลโกรอฟ
[แก้] อ้างอิง
- Morris Kilne. Mathematics for the Non-mathematician. Dover Publication, 1985. อ้างอิงเกี่ยวกับการปฏิวัติของโคเปอร์นิคัส
- E. T. Jaynes, Chapter 24 in Probability Theory - The logic of science , 1994. เหมาะสำหรับผู้เชี่ยวชาญ
- David J.C. MacKay (2003) Information theory, inference and learning algorithms, CUP, ISBN 0521642981, (also available online) เหมาะสมสำหรับผู้เริ่มต้น
- Domingos, P., "The role of Occam's razor in knowledge discovery," Data Mining and Knowledge Discovery, 3(4): 409-425, 1999. อิงข้อผิดพลาดที่มักพบบ่อยแบบที่ 1
- Richard O. Duda, Peter E. Hart, David G. Stork (2000) Pattern classification (2nd edition), Section 9.6.5, p. 487-489, Wiley, ISBN 0471056693 ถอดเนื้อหามาจากงานของ Mackay
- Tom Mitchell. Machine Learning, 1997. หนังสือการเรียนรู้ของเครื่องฉบับมาตรฐานเล่มนี้นำหลักการของออคแคมมาพูดถึงได้เข้าใจง่าย แต่มีข้อเสียคือไม่พูดถึงประเภทของการเข้ารหัส ซึ่งอาจจะทำให้เข้าใจหลักการของออคแคมผิดได้ (ว่าโมเดลที่มีคำอธิบายสั้นคือโมเดลที่เรียบง่าย)
[แก้] แหล่งข้อมูลอื่น
- มีดโกนของออคคัม โดย สมเกียรติ ตั้งกิจวานิชย์
- โปรแกรมจำลองการเคลื่อนไหวของโลกเทียบกับดาวเคราะห์ดวงอื่นๆ ในโมเดลแบบดวงอาทิตย์เป็นศูนย์กลางและโลกเป็นศูนย์กลาง
- http://www.hyle.org/journal/issues/3/hoffman.htm
- What is Occam's Razor?
- Skeptic's Dictionary: Occam's Razor
- Ockham's Razor, an essay at The Galilean Library on the historical and philosophical implications by Paul Newall.
- NIPS 2001 Workshop "Foundations of Occam's Razor and parsimony in learning"
- "We Must Choose The Simplest Physical Theory: Levin-Li-Vitányi Theorem And Its Potential Physical Applications"
- "Sharpening Ockham's razor on a Bayesian strop" (pdf), by William H. Jefferys and James O. Berger; gives an objective quantification of Occam's razor within Bayesian statistics (with scientific applications)
- Information Theory, Inference, and Learning Algorithms, by David J.C. MacKay, includes an introductory chapter on the automatic Occam's razor that is embodied by Bayesian model comparison.
- "Message Length as an Effective Ockham's Razor in Decision Tree Induction", by S. Needham and D. Dowe, Proc. 8th International Workshop on AI and Statistics (2001), pp253-260. (Shows how Ockham's razor works fine when interpreted as MML.)
- Lloyd's MML pages describe how Minimum Message Length induction extends Ockham's razor for differing hypotheses. (MML is a scale-invariant Bayesian model selection method.)
- (An extensive bibliography of publications related to Occam's Razor)
- Occam's sword at wikinfo
- Simplicity at Stanford Encyclopedia of Philosophy
