วันก่อนเล่าตำนานเจ้าแม่สามมุขไปแล้ว ย่านนั้นยังมีเรื่องน่าเล่าอีกมาก อย่าง ตึกมหาราช กับ ตึกราชินี ซึ่งเป็นสถานตากอากาศชายทะเลแห่งแรกของไทย แต่ตั้งขึ้นในนาม “อาไศรยสถาน” ซึ่งหมายถึงที่พักฟื้นสำหรับผู้ป่วย ทั้งยังมีบ้านพักนายกรัฐมนตรี ที่สร้างพร้อมกับบังกะโลที่พักริมหาดบางแสน จนเป็นย่านท่องเที่ยวยอดนิยมของคนไทยในปัจจุบัน และเป็นที่ก่อกำเนิดสมาคมอาเซียน ด้วย “จิตรวิญญาณบางแสน” ขึ้นที่นั่น
ในสมัยรัชกาลที่ ๔ ซึ่งเปิดประเทศต้อนรับชาวตะวันตกและการแพทย์แผนตะวันตก เมื่อมีผู้ป่วยเจ็บไข้อยู่เป็นประจำ หมอจะแนะนำให้เปลี่ยนสถานที่ซึ่งอยู่จำเจไปหาสถานที่อากาศดีเหมาะแก่สุขภาพ เรียกกันว่า “ตากอากาศ” คำนี้จึงปรากฏในพระราชพงศาวดารรัชกาลที่ ๔ เป็นครั้งแรก ตอนนั้นชลบุรีเป็นเมืองที่ฝรั่งรู้จักกันดีเพราะมีท่าเรืออยู่ที่เกาะสีชัง จึงนิยมส่งผู้ป่วยไปพักฟื้นตากอากาศที่อ่างศิลาซึ่งอยู่ห่างจากตัวเมืองชลไป ๘ กม.และไม่ไกลจากกรุงเทพฯ
ในรัชกาลที่ ๔ นั้น สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ได้สร้างตึกขึ้นหลังหนึ่งที่อ่างศิลา และเจ้าพระยาทิพากรวงศ์ เสนาบดีกรมท่า ได้สร้างขึ้นอีกหลังหนึ่งในบริเวณเดียวกัน อุทิศให้เป็นที่พักฟื้นตากอากาศของผู้ป่วย ให้ชื่อว่า “อาไศรยสถาน” ต่อมาสมเด็จพระศรีพัชรินทราบรมราชินีนาถขณะดำรงตำแหน่งผู้สำเร็จราชการแทนพระองค์รัชกาลที่ ๕ โปรดเกล้าฯให้ปฏิสังขรณ์ตึกทั้ง ๒ หลังนี้ขึ้นใหม่เป็นตึกสีขาวกับตึกสีแดง เมื่อพระบาทสมเด็จพระจุลจอมเกล้าฯเสด็จกลับมาจากยุโรป ได้พระราชทานนามตึกสีขาวว่า ตึกมหาราช และตึกสีแดงว่า ตึกราชินี
ในสมัยรัชกาลที่ ๔ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวได้เสด็จไปประทับแรมที่อ่างศิลาหลายครั้ง แต่มิได้สร้างวัง ณ ที่นั้น คงประทับแรมในเรือพระที่นั่ง ในสมัยรัชกาลที่ ๕ เจ้าพระยาทิพากรณ์วงศ์ ได้สร้างค่ายหลวงใหญ่ไว้รับเสด็จ ซึ่งพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวได้เสด็จไปประทับแรมหลายครั้ง และใน พ.ศ.๒๔๔๙ พระราชชายา เจ้าดารารัศมี ได้เสด็จมาประทับรักษาพระวรกายที่ค่ายหลวงอ่างศิลานี้ และโปรดที่จะประพาสแหลมหินซึ่งมีแท่นศิลาตั้งอยู่โดดเด่น เรียกกันว่า “แหลมแท่น”
ในบริเวณตึกมหาราชและตึกราชินีนี้ มีลานหินใหญ่มีลักษณะลาดสูง มีบ่ออยู่ ๒ แห่งรองรับน้ำฝนไว้ เรียกกันว่า “บ่อหินสูง” มีการเสริมปากบ่อให้สูงขึ้น เพื่อกันน้ำไม่สะอาดไหลลงไปในบ่อ ชาวบ้านได้อาศัยดื่มกินน้ำในบ่อนี้ และเป็นที่มาของชื่อตำบลว่า “อ่างศิลา”
กรมศิลปากรได้ขึ้นทะเบียนตึกมหาราชและตึกราชินีเป็นโบราณสถานเมื่อวันที่ ๑๘ ธันวาคม ๒๕๓๙ ปัจจุบันเปิดเป็นพิพิธภัณฑ์เฉลิมพระเกียรติ ๗๒ พรรษามหาราช จัดแสดงวัตถุโบราณ อาทิ ครกหินอ่างศิลา เครื่องทอผ้า และถ้วยชามเครื่องสังคโลก
จากความนิยมเป็นสถานตากอากาศมาตั้งแต่สมัยรัชกาลที่ ๔ ในปี พ.ศ.๒๔๘๖ พื้นที่ย่านนั้นยังเป็นหมู่บ้านชาวประมงเล็กๆ จอมพล ป.พิบูลสงคราม นายกรัฐมนตรี ได้สร้างบ้านพักตากอากาศขึ้นที่เชิงเขาสามมุข เพื่อรับรองบุคคลสำคัญและแขกบ้านแขกเมือง และยังใช้เป็นที่ประชุมคณะรัฐมนตรีในบางโอกาส นอกจากบ้านเดี่ยวในรูปประกอบเรื่องนี้แล้ว ยังมีบ้านรวมทั้งหมด ๑๓ หลัง รวมทั้งบ้านของหลวงวิจิตรวาทการ ที่ปรึกษาคนสำคัญ ขณะนี้เหลือเพียงบ้านพักจอมพล ป.และบ้านพักของหลวงวิจิตรวาทการอีก ๒ หลังเท่านั้น พร้อมกันนั้นก็ได้สร้างบังกะโลที่พักอีกหลายหลังที่ริมหาดบางแสน ซึ่งก็คือบ้านพักของ ททท.ในปัจจุบัน
ต่อมาในรัฐบาลจอมพลถนอม กิตติขจร บ้านหลังนี้ถูกจารึกไว้ในประวัติศาสตร์ในฐานะเป็นส่วนหนึ่งของการกำเนิดสมาคมอาเซียน โดย ดร.ถนัด คอร์มันตร์ รมต.ต่างประเทศของไทย ได้เชิญผู้แทนอีก ๔ ชาติ คือ อินโดนีเซีย มาเลเซีย ฟิลิปปินส์ สิงคโปร์ มาร่วมประชุม และเชิญไปพักที่บ้านหลังนี้ในวันที่ ๔ สิงหาคม พ.ศ.๒๕๑๐ โดยแบ่งเป็นการประชุมอย่างไม่เป็นทางการ ๒ วันที่บางแสน ใช้ “บ้านพักแหลมท่าน” ที่อยู่ไม่ไกลกันนักเป็นที่ประชุม และอย่างเป็นทางการอีก ๒ วันที่กรุงเทพฯ
จากการประชุมที่บางแสน ภายใต้บรรยากาศ “Spirit of Bangsan” หรือ “จิตวิญญาณบางแสน” ได้สาระสำคัญนำไปสู่การจัดทำเอกสารและลงนาม “ปริญญากรุงเทพฯ” ณ ห้องโถงใหญ่ของพระราชวังสราญรมย์ในวันที่ ๘ สิงหาคม พ.ศ. ๒๕๑๐
ปัจจุบันสมาคมอาเซียนเป็นองค์กรระดับภูมิภาคที่ประสบความสำเร็จ เป็นที่รู้จักกว้างขวางไปทั่วโลก มีสมาชิก ๑๐ ชาติ มีประชากรรวมกัน ๕๖๐ ล้านคน มูลค่าการค้ากว่า ๑ ล้านล้านดอลลาร์สหรัฐ
ปัจจุบันบ้านพักของจอมพล ป.หลังนี้อยู่ในการดูแลของกองบัญชาการกองทัพไทย ได้ปรับปรุงเป็น “ศูนย์ศึกษายุทธศาสตร์ของกองทัพ” ใช้เป็นที่ประชุม อบรม และสัมมนาของผู้บริหารข้าราชการทหาร ตำรวจ บรรยากาศเหมือนโรงแรมอยู่บนหน้าผาริมทะเล เปิดรับประชาชนทั่วไปเข้าพักได้ ที่ดินเป็นของราชพัสดุ
ส่วน “บ้านพักแหลมท่าน” จอมพลสฤษดิ์ ธนะรัชต์สร้างเป็นบ้านพักส่วนตัวในปี พ.ศ. ๒๕๐๓ โดยใช้สถาปนิกและวิศวกรต่างประเทศ เป็นอาคารที่สวยงาม ได้รับรางวัลดีเด่นของสมาคมสถาปนิกสยามใน พ.ศ. ๒๕๕๗ และใช้พักรักษาตัวก่อนอสัญกรรม พระบาทสมเด็จพระบรมชนกาธิเบศร ภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง ได้เสด็จพระราชดำเนินไปทรงเยี่ยมจอมพลสฤษดิ์ที่บ้านหลังนี้ ก่อนจะมาอสัญกรรมที่โรงพยาบาลพระมงกุฎเกล้าในวันที่ ๘ ธันวาคม พ.ศ. ๒๕๐๖ ต่อมาในรัฐบาลจอมพลถนอม บ้านหลังนี้อยู่ในบัญชีที่จอมพลสฤษดิ์ถูกยึดทรัพย์เป็นของแผ่นดิน ปัจจุบันสำนักเลขาธิการนายกรัฐมนตรีเป็นเจ้าของ แต่ที่ดินเป็นของสำนักงานเทศบาลเมืองแสนสุข กำลังรอการบูรณะ
นี่ก็คืออาคารประวัติศาสตร์ ที่ปลุกให้ชายทะเลแห่งนี้จากที่เป็นหมู่บ้านชาวประมงเล็กๆพื้นที่ยังเป็นป่าและมีสัตว์ป่าอยู่มากโดยเฉพาะลิง ให้เป็นย่านท่องเที่ยวที่สำคัญในปัจจุบัน
