เรื่องนี้เป็นตำนานเล่าขานกันมานาน กล่าวกันว่าเกิดมาตั้งแต่ครั้งกรุงศรีอยุธยายังเป็นราชธานี เว็บไซต์ของกรมส่งเสริมวัฒนธรรมเล่าไว้ว่า มีสาวน้อยคนหนึ่งชื่อว่า “มุก” หรือ “มุข” เป็นคนบางปลาสร้อย ซึ่งก็คือตัวเมืองชลบุรีในปัจจุบัน พ่อแม่ตายตั้งแต่ยังเล็ก ยายที่อยู่บ้านอ่างหิน ตำบลอ่างศิลา จึงนำหลานมาเลี้ยงดูจนโตเป็นสาว มุกชอบไปนั่งเล่นที่หน้าผาติดทะเลของอ่างศิลาเป็นประจำ วันหนึ่งมีว่าวตัวหนึ่งขาดลอยมาตกตรงหน้าเธอ ชายหนุ่มเจ้าของว่าวมีชื่อว่า “แสน” ลูกชายกำนัน วิ่งตามว่าวมา และพบสาวที่ถูกใจกว่าว่าว จึงมอบว่าวให้เธอเป็นที่ระลึก จากนั้นก็นัดพบกันอีกหลายครั้ง จนเกิดความรักถึงขั้นสาบานที่หน้าผานั้นว่า จะรักกันชั่วนิรันดร์ หากผิดคำสาบานจะกระโดดหน้าผานี้ตายด้วยกัน
ต่อมากำนันพ่อของแสนทราบเรื่องจึงไม่พอใจอย่างมาก เพราะได้ตกลงให้ลูกชายแต่งงานกับลูกสาวคนทำโป๊ะที่ได้สู่ขอไว้แล้ว เมื่อมุกทราบเรื่องนี้ก็เสียใจมาก วิ่งไปที่หน้าผาที่สาบานไว้ แสนรู้จึงได้วิ่งตามไป ในที่สุดทั้งคู่ก็กระโดดหน้าผาไปด้วยกันตามคำสาบาน กำนันเสียใจมากและสำนึกผิด จึงนำถ้วยชามที่เตรียมจัดงานแต่งไปไว้ที่ถ้ำเชิงเขา เพื่อเป็นที่ระลึกถึงความรักของคนทั้งสอง เมื่อชาวบ้านมีงานบุญก็มาหยิบยืมถ้วยชามนี้ไปใช้
แต่นั้นมาชาวบ้านได้เรียกภูเขาของหน้าผาที่หนุ่มสาวโดดว่า “เขาสาวมุก” นานไปก็เพี้ยนเป็น “เขาสามมุข” ส่วนชายหาดที่พบศพหนุ่มสาวทั้งสอง ชาวบ้านเรียกกันว่า “บางแสน” เป็นที่ระลึกถึงหนุ่มแสน ต่อมาจึงมีการสร้าง “ศาลเจ้าแม่เขาสามมุข” ขึ้นที่เขาซึ่งหนุ่มสาวกระโดดหน้าผา และสร้าง “ศาลเจ้าพ่อแสน” ที่ริมหาดบางแสนที่พบศพ
ปัจจุบันเขาสามมุขมีศาลอยู่ ๒ ศาล ศาลแรกคือ “ศาลเจ้าแม่เขาสามมุขไทย” เป็นตำนานความรักของสาวมุกกับหนุ่มแสน ตั้งอยู่เชิงเขาสามมุขด้านทิศเหนือ ส่วนอีกศาลก็เป็นศาลของชุมชนจีนเกี่ยวกับเรื่อง “เจ้าแม่ทับทิม” เนื่องจากชาวจีนที่มาตั้งรกรากที่อ่างศิลาได้อัญเชิญกระถางธูปไฮตังม่า ติดเรือมาจากเมืองจีน มาตั้งข้างศาลเจ้าแม่สามมุขเดิมทางด้านตะวันออก เรียกกันว่า “ศาลเจ้าแม่สามมุขจีน”
ตำนานเจ้าแม่เขาสามมุข ได้รับการขึ้นทะเบียนมรดกภูมิปัญญาทางวัฒนธรรมของชาติ เมื่อ พ.ศ. ๒๕๕๖ โดยกรมส่งเสริมวัฒนธรรม ในสาขาวรรณกรรมพื้นบ้านและภาษา
ทางจังหวัดชลบุรีถือว่าเขาสามมุขเป็นสิ่งสำคัญอย่างหนึ่งของจังหวัด ในตราจังหวัดชลบุรีที่มีรูปภูเขาอยู่ริมทะเล แสดงถึงสัญลักษณ์สำคัญ ๒ ประการของจังหวัด คือ ทะเล หมายถึงเป็นเมืองชายทะเลที่อุดมสมบูรณ์ และรูปภูเขา หมายถึงเขาสามมุข อันเป็นที่ตั้งศาลเจ้าแม่สามมุขอันศักดิ์สิทธิ์ ที่เคารพของชาวชลบุรีและประชาชนทั่วไป
