การถดถอยโลจิสติก

การถดถอยโลจิสติก (logistic regression) เป็นรูปแบบหนึ่งของแบบจำลองการวิเคราะห์การถดถอยสำหรับตัวแปรที่เป็นไปตามการแจกแจงแบร์นุลลี นอกจากนี้ยังเป็นตัวแบบเชิงเส้นนัยทั่วไป ประเภทหนึ่งที่ใช้ลอจิตเป็นฟังก์ชันถ่ายโอน ตีพิมพ์โดยเดวิด ค็อกซ์ ในปี 1958 เป็นวิธีการวิเคราะห์การถดถอยแบบหนึ่งที่มักใช้การจำแนกประเภทข้อมูลในทางสถิติศาสตร์

แบบจำลองนี้เทียบเท่ากับเพอร์เซปตรอนแบบง่ายซึ่งได้ตีพิมพ์ในปี 1958 ด้วย อย่างไรก็ตาม ในไลบรารีการเรียนรู้ของเครื่อง เช่น scikit-learn ฯลฯ แบบจำลองที่ใช้การเคลื่อนลงตามความชันแบบเฟ้นสุ่มในการกำหนดพารามิเตอร์ในปัญหาการหาค่าเหมาะที่สุดจะถูกเรียกว่า "เพอร์เซปตรอน" ในขณะที่แบบจำลองที่ใช้ การสืบสายพิกัด หรือ วิธีการนิวตันเสมือน จึงจะถูกเรียกว่า "การถดถอยโลจิสติก"

ภาพรวม

ให้ x เป็นข้อมุลป้อนเข้า p เป็นความน่าจะเป็น (ค่าขาออก) และ α และ β เป็นพารามิเตอร์ แบบจำลองการถดถอยโลจิสติกจะแสดงได้ดังต่อไปนี้

$\operatorname {logit} (p_{i})=\ln \left({\frac {p_{i}}{1-p_{i}}}\right)=\alpha +\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i},$
$i=1,\dots ,n,\,\!$

ในที่นี้มี n หน่วยและความแปรปรวนร่วม X และความสัมพันธ์เป็นดังนี้

$p_{i}=E(Y|X_{i})=\Pr(Y_{i}=1).\,\!$

ลอการิทึมของอัตราส่วนออดส์ของผลลัพธ์ จำลองเป็นฟังก์ชันเชิงเส้นของตัวแปรอธิบาย X _i สามารถแสดงได้ดังนี้

$p_{i}=\Pr(Y_{i}=1|X)={\frac {1}{1+e^{-(\alpha +\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})}}}$เมื่อใช้สัญลักษณ์เพอร์เซพตรอนอย่างง่าย สมการข้างต้นสามารถแสดงได้ดังต่อไปนี้

$p_{i}=\varsigma _{1}(\alpha +\beta _{1}x_{1,i}+\cdots +\beta _{k}x_{k,i})$

โดยในที่นี้ $\varsigma _{1}$ เป็นฟังก์ชันซิกมอยด์มาตรฐาน

การประมาณค่าพารามิเตอร์ส่งผลอย่างมากต่ออัตราส่วนออดส์ สำหรับตัวแปรอธิบายที่เป็นได้ 2 ค่า เช่น เพศ แล้ว $e^{\beta }$ เช่น การประมาณอัตราส่วนออดส์ของผลลัพธ์สำหรับชายและหญิง ในการประมาณค่ามักใช้วิธีภาวะน่าจะเป็นสูงสุด