การนับถือผี เป็นความเชื่อของคนไทยมาแต่โบราณกาล และเชื่อกันทุกชาติทุกภาษาในภาคพื้นตะวันออก ถือกันว่ามีผีอยู่ทุกหนทุกแห่ง ไม่ว่าในป่า เขา ต้นไม้ บ้านเรือน หรือแต่บ้านเมืองก็มีผีปกป้องคุ้มครอง
ผีที่อยู่ตามป่าตามเขานั้นเรียกว่า “เจ้าป่า” “เจ้าเขา” ที่อยู่ตามต้นไม้เรียกว่า “รุกขเทวา” ซึ่งคล้ายจะเป็นเทวดาไปไม่ใช่ผี ที่อยู่ตามบ้านเรือนเรียกว่า “ผีบ้านผีเรือน” ในเรือก็มี “แม่ย่านางเรือ” ซึ่งก็คือผีผู้หญิงที่ปกป้องคุมครองเรือ แม้แต่ในทารกที่เกิดใหม่ๆ ก็มีผีผู้หญิงปกป้องคุ้มครองเหมือนกัน เรียกว่า “แม่ซื้อ” ส่วนเจ้าพ่อเจ้าแม่ที่สิงสถิตอยู่ตามศาลนั้นก็คือผีเหมือนกัน ซึ่งเชื่อกันว่าเป็นผีที่ให้ความคุ้มครองคนที่กราบไหว้บูชาหรือมาบนบานศาลกล่าว
ในหลักศิลาจารึกกรุงสุโขทัยหลักที่ ๑ ซึ่งองค์การยูเนสโกแห่งสหประชาชาติประกาศให้เป็นมรดกโลกทางความทรงจำ มีข้อความตอนหนึ่งจารึกว่า
“เบื้องหัวนอนเมืองสุโขทัยนี้ มีกุฎีพิหารปู่ครูอยู่ มีสรีดภงส มีป่าพร้าว ป่าลาง มีป่าม่วง ป่าขาม มีน้ำโคก มีพระขพุงผี เทวดาในเขาอันนั้น เป็นใหญ่กว่าทุกผีในเมืองนี้ ขุนผู้ใดถือเมืองสุโขทัยนี้แล้ ไหว้ดีพลีถูก เมืองนี้เที่ยง เมืองนี้ดี ผิไหว้บ่ถูก ผีในเขาอันบ่คุ้ม บ่เกรง เมืองนี้หาย”
แสดงว่าพระขพุงผีไม่ใช่ผีธรรมดา เข้าขั้นเป็นเทวดาที่สิงสถิตอยู่ในเขาทิศหัวนอนเมืองสุโขทัย เป็นใหญ่กว่าทุกผีในเมือง และปกปักคุ้มครองเมืองสุโขทัย คงเช่นเดียวกับพระสยามเทวาธิราชของกรุงรัตนโกสินทร์
ในสมัยกรุงรัตนโกสินทร์ ได้มีการค้นหาสิ่งต่างๆที่ปรากฏอยู่ในคำจารึกนี้ อันดับแรกมีการตีความกันว่า คนเมืองสุโขทัยนอนหันหัวไปทางทิศไหน ซึ่งน่าจะเป็นทางทิศเหนือตามคติพราหมณ์ที่ถือกันอยู่ในปัจจุบัน แต่ก็ไม่ปรากฏว่ามีภูเขาอยู่ทางด้านเหนือของเมืองสุโขทัยเลย ต่อมาจึงได้ความว่าชาวเมืองสุโขทัยในยุคนั้นนอนหันหัวไปทางทิศใต้ อันเป็นคติของคนไทยโบราณ
สำหรับป่าพร้าว ป่าลาง รวมทั้งป่าม่วง ป่าขามนั้น คงไม่มีร่องรอยเหลือให้เห็นแล้ว เพราะกาลเวลาผ่านมาเกือบพันปี แต่ได้พบ สรีดภงส ซึ่งก็คือเขื่อนดินที่กั้นภูเขากิ่วอ้ายมากับภูเขาพระบาทใหญ่ เป็นเขื่อนกักเก็บน้ำเช่นเดียวกับเขื่อนที่นิยมอยู่ทั่วโลกในปัจจุบัน แต่พระขพุงผีนั้นมีตัวตนหรือไม่ นักโบราณคดีคิดว่าอาจเป็นแค่ความเชื่อ จึงไม่ได้ค้นหากันอย่างจริงจัง
จนในเดือนกุมภาพันธ์ พ.ศ.๒๔๕๕ จอมพลสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้าจักรพงษ์ภูวนารถ ได้เสด็จไปสำรวจเมืองสุโขทัย และทรงนิพนธ์ไว้ในหนังสือ “กำเนิดเมืองสวรรคโลก สุโขทัย” ว่า
“มีพยานชัดที่กล่าวว่า เบื้องหัวนอนมีพระขพุงผี เทพยดาในเขาอันนั้น ทางเหนือเมืองสุโขทัยไม่มีภูเขาจนลูกเดียว ส่วนทางใต้มี ซ้ำไปหาเทวรูปได้ที่ในเพิงหินด้วย ดูจะเป็นพระขพุงผีแน่ ไม่มีปัญหาเลย”
ในการไปสำรวจครั้งนั้นทรงบุกป่าไปที่เขาเล็กๆลูกหนึ่งซึ่งอยู่ทางทิศใต้ของกรุงสุโขทัย ห่างตัวเมืองออกไปประมาณ ๑๕ กม. เขานั้นสูงประมาณ ๓๐ เมตร และมีบันไดหินขึ้นไปด้วย เมื่อเสด็จขึ้นไปสุดขั้นบันไดก็ทรงพบเพิงหินกว้างใหญ่ จุคนได้ประมาณ ๑๐๐ คน เพดานสูงประมาณ ๒ เมตรครึ่ง
สุดเพิงด้านเหนือมีหินก้อนใหญ่ๆก่อเป็นผนังกั้นเป็นห้องไว้ ๑ ห้อง กว้างประมาณ ๑ เมตร ดูคล้ายจะเป็นที่ประดิษฐานรูปเคารพอย่างใดอย่างหนึ่ง แต่ก็ไม่มีแท่นหรือสิ่งใดๆอยู่ในห้องนี้เลย กลับพบเทวรูปองค์หนึ่งทำด้วยหินสีเขียว สูงประมาณ ๑.๓๐ เมตร ตั้งอยู่ที่ผนังนอกห้อง เป็นรูปผู้หญิงไม่สวมเสื้อ ใบหน้าดูเป็นคนแก่ ลักษณะเป็นรูปไข่คล้ายพระพักตร์พระพุทธรูปสมัยสุโขทัย บนศีรษะมีกรวยซ้อนขึ้นไป ๔ ชั้น มีเครื่องประดับห้อยอยู่ที่ใบหูทั้ง ๒ ข้างและรัดอยู่ที่ข้อมือกับต้นแขนที่ห้อยลงมาแนบกายทั้ง ๒ ข้าง นุ่งผ้ากรอมเท้า ห้อยชายซ้อนลงมา ๓ ชั้น
ทรงเชื่อว่าเทวรูปนี้เป็น “เทวดาในเขาอันนั้น เป็นใหญ่กว่าทุกผีในเมืองนี้” ซึ่งเรียกว่า “พระขพุงผี” แต่ที่ออกมาอยู่นอกห้องเช่นนี้ แสดงว่ามีคนพยายามเคลื่อนย้าย แต่ยังเอาไปไม่ได้
ทรงดำริว่าปล่อยทิ้งไว้คงสูญหายแน่ จึงโปรดให้ให้นำไปเก็บรักษาไว้ที่ศาลากลางจังหวัดสุโขทัย ซึ่งนับเป็นพระมหากรุณาธิคุณอย่างสูง เพราะไม่เช่นนั้นพระขพุงผีคงสาบสูญไปเป็นสมบัติส่วนตัวของใคร หรืออาจไปอยู่ต่างประเทศแล้ว
ต่อมาใน พ.ศ.๒๔๙๖ เมื่อมีการบูรณะตกแต่งจังหวัดสุโขทัยครั้งใหญ่ นายเชื่อม ศิริสนธ์ ผู้ว่าราชการจังหวัด จึงได้สร้างศาลขึ้นที่ถนนนิกรเกษม ริมแม่น้ำยม และอัญเชิญเทวรูปที่สมเด็จฯเจ้าฟ้าจักรพงษ์ภูวนารถนำมาจากภูเขาด้านทิศหัวนอนเมืองสุโขทัย ประดิษฐานไว้ในศาล เมื่อชาวเมืองสุโขทัยมาเคารพกราบไหว้ได้เห็นใบหน้าของเทวรูป ก็พากันเรียกว่า “แม่ย่า” ด้วยเชื่อว่าเป็นพระราชชนนีของพ่อขุนรามคำแหงมหาราช คือ “พระนางเสือง” และภูเขาที่พบเทวรูปก็เรียกกันว่า “เขาแม่ย่า” ไปด้วยในปัจจุบัน
ทุกวันนี้นอกจากทางจังหวัดสุโขทัยจะเปิดให้ประชาชนเข้ากราบไหว้บูชาพระแม่ย่าแล้ว ยังสร้างพระแม่ย่าจำลองไว้ที่ศาลเพื่อให้ปิดทอง ซึ่งในแต่ละปีจะมีคนไปกราบไหว้และปิดทองพระแม่ย่าจำนวนนับแสนคน