ไทย: "วัดศรีชุม" มาจากคำเรียกพื้นเมืองเดิม ซึ่งหมายถึง ต้นโพธิ์ ดังนั้นชื่อ ศรีชุม จึงหมายถึงดงของต้นโพธิ์ แต่ในหนังสือพระราชพงศาวดารกรุงศรีอยุธยาที่เขียนในสมัยอยุธยาตอนปลาย ไม่เข้าใจความหมายนี้แล้ว จึงเรียกสถานที่นั้นว่า "ฤๅษีชุม"

วัดศรีชุมนั้น สันนิษฐานว่าสร้างในสมัยพ่อขุนรามคำแหง โดยปรากฏอยู่ในศิลาจารึกสุโขทัยหลักที่ 1 ว่า "เบื้องตีนนอนเมืองสุโขทัยนี้...............มีพระอจนะ มีปราสาท" พระประธานในมณฑปจึงมีชื่อว่า "พระอจนะ"

พระมณฑปกว้างด้านละ 32 เมตร สูง 15 เมตร ผนังหนา 3 เมตร ผนังด้านซ้ายเจาะเป็นทางทำบันได ในผนังขึ้นไปถึงหลังคา ตามฝาผนังอุโมงค์มีภาพเขียนเก่าแก่แต่เลอะเลือนเกือบหมด ภาพเขียนนี้มีอายุเกือบ 700 ปี เพดานผนังมีแผ่นหินชนวนสลักภาพลายเส้นเป็นเรื่องในชาดกต่างๆ มีจำนวน 50 ภาพ เรียงประดับต่อเนื่องกัน ทั้งหมดนี้ถือได้ว่าเป็นงานจิตรกรรมไทยที่เก่าแก่ที่สุด

ในสมัยอยุธยา เมื่อครั้งสมเด็จสมเด็จพระนเรศวรมหาราช ประกาศอิสรภาพในปี พ.ศ. 2127 ที่เมืองแครง ทำให้หัวเมืองต่าง ๆ ยกเลิกการส่งส่วยให้กับพม่า แต่ยังมีเมืองเชลียง ( สวรรคโลก) ที่ไม่ยอมทำตามพระราชโองการของพระองค์ พระองค์จึงนำทัพเสด็จมาปราบเมืองเชลียง และได้มีการมาชุมนุมทัพที่วัดศรีชุมแห่งนี้ก่อนที่จะไปตีเมืองเชลียง และด้วยการรบในครั้งนั้นเป็นการรบระหว่างคนไทยกับคนไทยด้วยกัน ทำให้เหล่าทหารไม่มีกำลังใจในการรบไม่อยากรบ สมเด็จพระนเรศวรจึงได้วางแผนสร้างกำลังใจให้กับทหาร โดยการให้ทหารคนหนึ่งปีนบันไดขึ้นไปทางด้านหลังองค์พระ และพูดให้กำลังใจแก่เหล่าทหาร ทำให้ทหารเกิดกำลังใจที่จะต่อสู้ ด้วยเหตุนี้จึงทำให้เกิดตำนานพระพูดได้ที่วัดศรีชุมแห่งนี้ และพระนเรศวรยังได้มีการทำพิธีถือน้ำพิพัฒน์สัตยาขึ้นที่วัดแห่งนี้ด้วย

ตามหลักฐานระบุว่าวัดแห่งนี้ได้มีการบูรณะครั้งใหญ่ในสมัยพระเจ้าลิไท และมีการดูแลบูรณะเรื่อยมา สันนิษฐานว่าวัดนี้ได้ถูกทิ้งร้างในสมัยอยุธยาตอนปลาย จนกระทั่งในสมัย รัชกาลที่ 9 ได้มีโครงการบูรณปฏิสังขรณ์ ในปี พ.ศ. 2495 โดยเริ่มมีการบูรณะพระพุทธรูปพระอจนะ โดยศาสตราจารย์ศิลป์ พีระศรี และอาจารย์เขียน ยิ้มสิริ วัดจึงอยู่ในสภาพที่เห็นในปัจจุบัน