เกาะสีชัง เป็นสถานตากอากาศที่พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงพอพระราชหฤทัยเป็นอย่างยิ่งในความงามของธรรมชาติและอากาศบริสุทธิ์ ทรงสร้างพระราชวังฤดูร้อนขึ้นที่นั่น ทั้งยังทรงมีพระราชประสงค์ให้สมเด็จพระศรีสวรินทรา บรมราชินีนาถ มีพระสูติกาลพระราชโอรสที่นั่นด้วย แต่หลังการประสูติแล้ว พระราชวังตากอากาศแห่งนั้นก็ตกอยู่ในอันตราย เมื่อูถูกฝรั่งเศสส่งทหารขึ้นยึดเพื่อปิดอ่าวไทยในวิกฤติการณ์ ร.ศ.๑๑๒ นับเป็นประวัติศาสตร์ซ้ำรอยกับที่สมเด็จพระนารายณ์มหาราชต้องย้ายพระราชวังหนีเรือปืนฮอลันดาไปสร้างพระราชวังใหม่ที่เมืองลพบุรี
ทั้งนี้ในรัชสมัยสมเด็จพระนารายณ์มหาราชเป็นยุคทองของกรุงศรีอยุธยาในด้านการค้า มีการค้าขายกับต่างประเทศยิ่งกว่าสมัยใด กรุงศรีอยุธยาเป็นศูนย์การค้าที่คึกคักที่สุดของภาคตะวันออก พ่อค้าฝรั่งเศสคนหนึ่งบันทึกไว้ว่า
“ในชมพูทวีป ไม่มีเมืองใดที่จะมีการแลกเปลี่ยนสินค้ามากกว่าสยาม สินค้าขายได้ดีมาก การซื้อขายใช้เงินสด”
นอกจากทรงส่งสำเภาหลวงไปค้าขายถึงญี่ปุ่นแล้ว ขุนนางหลายคนก็มีสำเภาค้าด้วย แต่ตอนนั้นบริษัทอินเดียตะวันออกของฮอลันดาได้เข้ามาผูกขาดการค้าในย่านนี้หลังจากที่กำจัดอิทธิพลของโปรตุเกสออกไป และเข้ายึดเกาะชวาหรืออินโดเนเซียได้ อีกทั้งยังผูกขาดการซื้อหนังกวางของสยามทั้งหมดไปขายญี่ปุ่น การค้าของกรุงศรีอยุธยาจึงทำให้ผลประโยชน์ของฮอลันดาถูกกระทบกระเทือนอย่างมาก อีกทั้งสำเภาของขุนนางยังนำหนังกวางไปขายที่ญี่ปุ่นเองด้วย บริษัทการค้าของฮอลันดาจึงมีคำสั่งให้ยึดเรือสินค้าไทยที่ไปค้ากับญี่ปุ่นและจีน มีสำเภาหลวงลำหนึ่งถูกยึดด้วย และส่งเรือรบมาปิดอ่าวไทย ขู่จะยิงเรือสินค้าไทยที่ค้าขายแข่ง โดยส่งเรือรบลำหนึ่งตระเวนเฝ้าบริเวณแหลมกุยบุรี อีกลำหนึ่งตระเวนแถบสัตหีบและเกาะสีชัง
สมเด็จพระนารายณ์ทรงวิตกว่ากรุงศรีอยุธยาจะไม่ปลอดภัย เพราะเรือปืนสามารถเข้ามาทางแม่น้ำเจ้าพระยาถึงกรุงศรีอยุธยาได้สะดวก จึงทรงย้ายพระราชวังไปประทับและว่าราชการที่เมืองลพบุรีซึ่งเป็นที่ดอน เรือรบไม่สามารถขึ้นไปถึงได้เพราะแม่น้ำลพบุรีตื้นเขิน
วันเวลาผ่านมากว่า ๒๐๐ปี ประวัติศาสตร์เรื่องนี้ก็ซ้ำรอยอีก เมื่อพระบาทสมเด็จพระจุลจอมเกล้าฯเสด็จประพาสหัวเมืองตะวันออกทางทะเล และทรงแวะที่เกาะสีชัง มีพระราชดำริว่ามีภูมิประเทศที่สวยงาม อีกทั้งอากาศก็ดีมาก น่าจะเป็นสถานที่สร้างพระราชวังตากอากาศ ในระยะแรกก็ทรงสร้างเพียง “เรือนเขียว” เรือนไม้ริมทะเลเป็นที่ประทับ ตอนนั้นเกาะสีชังยังมีประชากรไม่กี่ครัวเรือน ทรงพระกรุณาโปรดเกล้าฯแต่งตั้งหญิงชราคนหนึ่งชื่อว่า “ยายเสม” เป็น “ท้าวคีรีรักษา” ให้เป็นผู้ดูแลลูกบ้าน ในปี พ.ศ.๒๔๓๔ จึงทรงสร้างพระราชวังขึ้นเป็นที่ประทับอย่างถาวร มีพระบรมวงศานุวงศ์หลายพระองค์แปรพระราชฐานไปพักผ่อนรักษาพระองค์ตามคำแนะนำของแพทย์ รวมทั้งพระเจ้าลูกยาเธอ เจ้าฟ้ามหาวชิราวุธ และพระเจ้าลูกยาเธอ เจ้าฟ้าอัษฎางค์เดชาวุธ ซึ่งประชวรอยู่เสมอ เมื่อเจ้าฟ้าอัษฎางค์เดชาวุธคลายอาการประชวรก็ทรงปลื้มปีติ พระราชทานนามสิ่งก่อสร้างในพระราชฐานบนเกาะสีชังเป็น “อัษฎางค์” ทั้งสิ้น เช่น สะพานอัษฎางค์ที่ยื่นออกไปในทะเล บ่อน้ำอัษฎางค์ ประภาคารอัษฎางค์ สวนอัษฎางค์ และวัดอัษฎางค์คนิมิต
ขณะนั้นสมเด็จพระศรีพัชรินทรา บรมราชินีนาถ ยังดำรงพระอิสริยยศเป็นพระนางเจ้าเสาวภาผ่องศรี พระวรราชเทวี กำลังทรงครรภ์ใกล้มีพระสูติกาล จึงทรงมีพระราชดำริที่จะให้พระราชโอรสประสูติที่เกาะสีชังด้วย ดังปรากฏข้อความในราชกิจจานุเบกษา ลงวันที่ ๔ กันยายน ร.ศ.๑๑๑ มีความว่า
“...ในเวลาที่เสด็จพระราชดำเนินออกมาประทับอยู่ครั้งนี้ เปนสมัยที่พระนางเจ้าวรราชเทวี ทรงพระครรภ์ใกล้ถึงกำหนดประสูตร จึงทรงพระราชดำริว่าที่เกาะสีชังนี้ เปนที่อากาศดีมีภูมิสถานเปนที่สบาย ควรตั้งพระราชฐานให้มั่นคงเปนที่ประทับในฤดูร้อน แต่ต่อไปภายน่าการค้าขายเจริญยิ่งขึ้น ที่เกาะนี้จะต้องเปนที่สำคัญแห่งหนึ่งในกรุงสยาม เพราะเปนท่าเรือใหญ่ได้อาไศรยออกรับสินค้า พระราชฐานที่เกาะย่อมเปนพระราชฐานที่สำคัญแห่งหนึ่ง เหมือนดังว่าเปนพระนครที่สมเด็จพระเจ้าแผ่นดินเสด็จพระราชดำเนินมาประทับ เจริญพระราชอิริยาบถในฤดูร้อน ไม่ควรเปนที่รังเกียจอันใดในการที่จะประสูตรในเกาะนี้เลย ก็จะพระราชทานนามพระราชฐานให้ต้องกับพระนามแห่งสมเด็จพระเจ้าลูกเธอนั้น ให้ปรากฏสืบไปภายน่าด้วย”
ครั้นประสูติเจ้าฟ้าจุฑาธุชธราดิลก กรมขุนเพ็ชรบูรณ์อินทราไชยในวันที่ ๕ กรกฎาคม พ.ศ.๒๔๓๖ ที่ตำหนักมรกตสุทธ์ ก็ได้พระราชทานนามพระราชฐานบนเกาะสีชังแห่งนี้ว่า “พระจุฑาธุชราชฐาน” และเริ่มก่อสร้าง “พระที่นั่งมันธาตุรัตนโรจน์” อันเป็นพระที่นั่งหลักในเดือนสิงหาคม พ.ศ.๒๔๓๖ ซึ่งเป็นเดือนที่มีการสมโภชเดือนพระราชกุมาร แต่แล้วในวันที่ ๑๓ กรกฎาคม พ.ศ.๒๔๓๖ ก็เกิดวิกฤติการณ์ ร.ศ.๑๑๒ เมื่อฝรั่งเศสส่งเรือรบ ๒ ลำฝ่าป้อมพระจุลฯ ที่ปากน้ำเจ้าพระยาเข้ามาถึงกรุงเทพฯ และส่งกองเรือจากฐานทัพไซ่ง่อนมาปิดอ่าวไทย ส่งทหารขึ้นยึดเกาะสีชัง
พระที่นั่งจุฑาธุชราชฐานจึงเป็นสถานที่ไม่ปลอดภัย ถูกทิ้งร้างไประยะหนึ่ง ในปี ๒๔๔๓ เมื่อพระบาทสมเด็จพระจุลจอมเกล้าฯเสด็จประพาสหัวเมืองตะวันออกทางทะเลอีกครั้ง ทอดพระเนตรพระจุฑาธุชราชฐานที่ยังสร้างค้างไว้ไม่เสร็จ จึงโปรดเกล้าฯให้รื้อมาสร้างที่พระราชวังสวนดุสิต พระราชทานนามใหม่ว่า “พระที่นั่งวิมานเมฆ”
ปัจจุบัน พระจุฑาธุชราชฐานอยู่ในการดูแลของจุฬาลงกรณ์มหาวิทยาลัย โดยได้รับมอบสิทธิการใช้พื้นที่จากกรมธนารักษ์มาตั้งแต่ พ.ศ.๒๕๒๑ จัดตั้งเป็นสถานีวิจัยวิทยาศาสตร์ทางทะเลและศูนย์ฝึกนิสิต ทั้งยังได้ปรับปรุงพระราชฐานแห่งนี้ให้เป็นที่ท่องเที่ยวเชิงประวัติศาสตร์ จัดตั้งพิพิธภัณฑ์ขึ้น พร้อมทั้งดูแลต้นไม้เดิมที่ปลูกมาแต่ครั้งสร้างพระราชฐานและปลูกขึ้นใหม่ เป็นที่สวยงามและร่มรื่น ปลุกให้พระจุฑาธุชราชฐานกลับมีชีวิตชีวาขึ้นมาอีกครั้ง