ในปี ๒๔๖๐ พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ทรงประชวรด้วยโรครูมาติซั่ม มีอาการปวดตามพระวรกาย แพทย์หลวงได้กราบบังคมทูลว่า ควรจะเสด็จไปรักษาพระองค์ในที่มีอากาศแห้งและอบอุ่น ซึ่งควรเป็นสถานที่ตากอากาศชายทะเล ในเวลานั้นหัวหินกำลังดัง เพราะมีรถไฟสายใต้ไปถึงแล้ว แต่รับสั่งว่าที่นั่นกำลังเป็นที่นิยมของประชาชน ไม่อยากจะไปรบกวนความสุขของเขา
ต่อมากระทรวงทหารเรือได้พบว่า ที่ตำบลทะลุซึ่งอยู่เหนือหัวหินขึ้นมามีหาดทรายสะอาดพอสมควร แต่ต้องตัดถนนมาจากจังหวัดเพชรบุรี ๑๕ กิโลเมตร ครั้นนำความขึ้นกราบทูลให้ทรงทราบ ก็เป็นที่พอพระราชหฤทัย จึงได้มีการสร้างที่ประทับขึ้นในปีนั้น
การสร้างพระตำหนักไว้เป็นที่ประทับชายทะเลแห่งนี้ ไม่ได้สร้างให้โก้หรูหราแบบพระราชวังตากอากาศ แต่ทรงให้สร้างอย่างประหยัด นอกจากพระตำหนักที่ประทับแล้วที่ขาดไม่ได้ก็คือห้องทรงพระอักษรริมหาด ซึ่งมีสะพานยาวยื่นออกไปจากพระตำหนัก ทุกอย่างสร้างด้วยไม้ ซึ่งส่วนใหญ่เป็นไม้ยาง ไม่ได้เป็นไม้แก่นแต่อย่างใด ส่วนหลังคามุงด้วยจาก บริเวณโดยรอบก็ไม่ได้แต่งเป็นอุทยาน คงรักษาต้นไม้เดิมตามธรรมชาติไว้ อย่างเช่น ต้นกุม ต้นแจง ต้นมะนาวผี ส่วนสนามก็ไม่ได้ปลูกหญ้า แต่ปล่อยให้เป็นทรายตามธรรมชาติ
พระบาทสมเด็จพระมงกุฎเกล้าฯได้เสด็จไปประทับแรมครั้งแรกเมื่อวันที่ ๒ พฤษภาคม จนถึงวันที่๑๔ กรกฎาคม ๒๔๖๐ เป็นที่พอพระราชหฤทัย มีลมทะเลพัดโชยอยู่ตลอดเวลา จึงพระราชทานนามใหม่จากบางทะลุ เป็น “หาดเจ้าสำราญ”
จมื่นอมรดรุณารักษ์ (แจ่ม สุนทรเวช) ข้าราชบริพารที่ใกล้ชิด เล่าไว้ในหนังสือ “พระราชกรณียกิจสำคัญ ในพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวเล่ม ๖” ว่า ในการเสด็จลงไปสรงน้ำทะเลที่หาดนี้ เป็นประเพณีที่บรรดามหาดเล็กและราชองครักษ์จะต้องรู้หน้าที่ ตามเสด็จลงไปถวายความอารักขาด้วย มีจำนวนไม่ต่ำกว่า ๓๐-๔๐ คน พากันกระจายออกไปรอบๆ โดยหันหน้าเข้าหาพระองค์ เผื่อมีปลาฉลามหรือแมงกะพรุนไฟเข้ามาก็จะถึงคนเหล่านั้นก่อน วิธีถวายความปลอดภัยนี้เคยใช้ตาข่ายขึงแทนคน แต่เมื่อคลื่นซัดแมงกะพรุนเข้าไปติดตาข่าย เมือกกระจายไปในน้ำ ทำให้คันไปทั่ว
การที่ทรงไปประทับอยู่หาดเจ้าสำราญยาวนานถึงราว ๒ เดือนครึ่ง ทำให้อาการของโรครูมาติซั่มหายไป ไม่ทรงปวดพระวรกายอีกเลย จึงเสด็จไปประทับที่หาดเจ้าสำราญอีกหลายครั้ง จนครั้งสุดท้ายในปี ๒๔๖๔ จึงเกิดเหตุไม่สะดวกต่างๆนานา จนไม่เสด็จไปประทับที่พระตำหนักหาดเจ้าสำราญอีกเลย
ประการแรกเกี่ยวกับน้ำจืด มีบ่อที่ขุดอยู่ทางด้านทิศใต้ของพระตำหนักเพียงบ่อเดียว ภายหลังนอกจากมีคนตามเสด็จไปเป็นจำนวนมากแล้ว ยังมีคนไปเปิดร้านอาหารขึ้นมาหลายร้าน ทำให้น้ำซึมออกมาไม่ทันใช้ ต้องลำเลียงน้ำมาจากเมืองเพชรบุรี แต่ก็เอามาได้เที่ยวละไม่มาก จนต้องตักน้ำทะเลมาล้างจาน แล้วล้างด้วยน้ำจืดอีกครั้ง
ด้านการคมนาคม ถนนที่ตัดขึ้นใหม่ ต้องผ่านไปบนที่ลุ่มซึ่งเป็นตะกาดน้ำทะเลขึ้นถึง ต้องใช้ไม้ไผ่สานแล้วถมดินลงไปเพื่อไม่ให้รถติดหล่ม ถ้าฝนตกลงมาอย่าว่าแต่รถยนต์เลย รถจักรยานยังไปลำบาก ด้วยเหตุนี้จึงรับสั่งให้เจ้าพระยาวรพงศ์พิพัฒน์ ซึ่งเป็นเจ้าของรถไฟสายบางบัวทอง-วัดลิงขบ ตรงข้ามท่าเรือเทเวศร์ มาวางทางรถไฟเล็กจากสถานีรถไฟห้วยทรายเหนือ ไปหาดเจ้าสำราญในระยะทาง ๑๕ กิโลเมตร ของที่เอามาใช้ก็เป็นของเก่า ส่วนรางก็วางไปบนพื้นธรรมดา ไม่ได้พูนดินวางไม้หมอน การเดินรถจึงมีลักษณะคล้ายคนเมา หัวรถจักรส่ายไปส่ายมา ตู้โดยสาร ๖ ตู้ที่ลากก็ส่ายไปด้วย บางทีตู้โดยสารถูกเหวี่ยงหลุดไป ๒ ตู้ ๓ ตู้บ้าง ทำให้ผู้โดยสารต้องตะโกนเรียกคนขับหัวจักรกันให้วุ่น ทั้งบางทีหัวรถจักรก็วิ่งไม่ไหว เพราะเร่งสตีมไม่ทัน ต้องจอดพักเหนื่อย ระยะทาง ๑๕ กม.ต้องใช้เวลาวิ่งถึง ๕ ชั่วโมง
ที่หนักหนาสาหัสก็คือเรื่องแมลงวัน และเป็นแมลงวันหัวเขียวเสียด้วย อาจจะเป็นเพราะอยู่ใกล้หมู่บ้านประมง หรือเพราะเศษอาหารจากร้านค้า จากบ้านพักข้าราชบริพาร แมลงวันจึงมีมากขึ้นเรื่อยๆ ผุดขึ้นมาจากพื้นทรายที่ไข่หมกไว้ทั่วไปหมด บินว่อนตอมคนจนเป็นที่น่ารำคาญ โดยเฉพาะบนโต๊ะเสวย พวกมหาดเล็กต้องถือไม้ตีแมลงวันอยู่รอบโต๊ะ บางครั้งตีหนักไปจนไส้พุงแมลงวันทะลักกระเด็นไปตกอยู่บนโต๊ะที่กำลังเสวย
นอกจากแมลงวันที่น่ารำคาญแล้ว หลายครั้งยังพบเสือโคร่งเข้ามาป้วนเปี้ยนด้วย ขนาดกลางวันแสกๆตอนคนเงียบๆ ยังเคยพบเสือเข้ามาเดินอยู่บนถนนในเขตพระตำหนัก ทำข้าราชบริพารเอาสยองขวัญไปตามๆกัน
คนที่ตามเสด็จไปหาดเจ้าสำราญ ด้วยความฝันว่าจะได้ดื่มด่ำบรรยากาศชายทะเล ต่างก็ต้องทนทุกข์ทรมานไปตามกัน จมื่นอมรดรุณารักษ์เล่าว่า มหาดเล็กคนหนึ่งไม่ทราบว่าเป็นใครแน่ที่ปากอยู่ไม่สุข ไปซุบซิบต่อสร้อยชื่อหาดให้ว่า “หาดเจ้าสำราญ แต่ข้าราชบริพารเบื่อ” เป็นที่ถูกใจพวกข้าราชบริพารไปตามกัน ซุบซิบไปทั่วจนลืมเกรงพระราชอาญาที่ถึงขั้นหมิ่นพระบรมเดชานุภาพ แต่แล้วล้นเกล้าฯรัชกาลที่ ๖ ก็ทรงทราบจนได้ แทนที่จะทรงพิโรธหาคนปากเสียไปเฆี่ยนหลัง พระองค์ไม่ได้ดำรัสอะไรออกมา แต่เสด็จกลับก่อนกำหนด และไม่ได้เสด็จไปหาดเจ้าสำราญอีกเลย
ต่อมาทางจังหวัดเพชรบุรีได้กราบบังคมทูลว่า ได้พบที่แห่งใหม่ในตำบลห้วยทรายเหนือมีทำเลดี อยู่ระหว่างหาดเจ้าสำราญกับหัวหิน และมีความเหมาะสมกว่าหาดเจ้าสำราญหลายอย่าง คือ น้ำจืดหาง่าย เพราะมีลำห้วยอยู่ตามธรรมชาติ มีแอ่งน้ำซับที่จะขุดบ่อได้ทั่วไป ที่สำคัญอยู่ใกล้สถานีรถไฟห้วยทรายเหนือ ไม่ต้องกังวลกับการเดินทาง ทั้งเป็นชายทะเลที่สะอาด ส่วนเรื่องแมลงวันก็คิดว่าคงไม่ชุม เพราะอยู่ห่างจากหมู่บ้านประมง
จึงทรงมีพระราชกระแสให้สร้างพระราชนิเวศน์แห่งนี้ขึ้นแทนพระตำหนักหาดเจ้าสำราญ และทรงวางแผนผังด้วยพระองค์เอง ประกอบกับตอนนี้ทรงมีฝ่ายในตามเสด็จด้วย จึงทรงมีพระราชปรารภให้มีความสวยงามประกอบด้วยความมั่นคงถาวร ไม่ได้มุงหลังคาจากอย่างหาดเจ้าสำราญ พระราชทานนามพระราชนิเวศแห่งนี้ให้สอดคล้องกับชื่อตำบลที่ใช้อยู่ คือ “ห้วยทราย” ซึ่งมีเนื้อทรายอาศัยอยู่มาก โดยใช้คำว่า “มฤค” และเพื่อให้เป็นสิริมงคลแก่สถานที่ จึงทรงนำชื่อในพุทธประวัติมาตั้ง คือ “มฤคทายวัน” เป็น “พระราชนิเวศน์มฤคทายวัน” และทรงแผ่พระราชกุศล โดยประกาศเมื่อวันที่ ๑๒ พฤษภาคม ๒๔๖๗ ห้ามมิให้ผู้หนึ่งผู้ในล่วงล้ำเข้ามายิงสัตว์ภายในปริมณฑลรอบพระราชฐานในวงรัศมี ๑๐๐ เส้น
ส่วนที่หาดเจ้าสำราญ พระตำหนักตากอากาศชายทะเลแห่งแรกในรัชกาลที่ ๖ ซึ่งสร้างด้วยไม้ยาง มุงหลังคาจาก ปัจจุบันจึงไม่เหลือร่องรอยให้เห็น แม้แต่ขอบเขตพระราชฐานก็เป็นบ้านเรือน เป็นโรงแรม เป็นรีสอร์ท ของราษฎรไปหมด รวมทั้งสถานพักฟื้นและพักผ่อนของกองทัพบก ลบรอยอดีตซึ่งเคยเป็นที่ประทับจนหมดสิ้น
