ในราวเดือน ๕ ปีเถาะ พ.ศ. ๒๔๑๐ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวรัชกาลที่ ๔ ได้เสด็จไปประทับที่วังหน้าชั่วคราว และนำละครจากวังหลวงไปแสดงให้ชาววังหน้าได้ชม คืนนั้นจึงเป็นความบันเทิงของทั้งชาววังหลวงและวังหน้าที่ไม่ค่อยจะมีโอกาสได้เห็นแสงสี นอกจากจะมีงาน
ในงานนี้พระเจ้าลูกยาเธอ เจ้าฟ้าจุฬาลงกรณ์ ในวัย ๑๔ พรรษาได้เสด็จไปดูละครด้วย แต่การแสดงบนเวทีไม่ทำให้พระองค์สนพระทัยมากไปกว่าสาวหน้าตาคมขำในวัยไล่เลี่ยกัน ซึ่งนั่งอยู่ใกล้กับคนบอกบทหน้าพลับพลาที่ประทับ
ละครลาโรงไปแล้ว แต่เจ้าฟ้าชายยังคงเฝ้าครุ่นคิดคำนึงถึงสาวน้อยผู้นั้น ซึ่งรู้แต่ว่ามากับพระองค์เจ้าหญิงโสมาวดี พระพี่นางต่างพระมารดา รอจนรุ่งเช้าจึงตรัสถามพระองค์โสมก็ทรงทราบว่า กุลสตรีผู้นั้นเป็นธิดาของพระยาสุรวงศ์ไวยวัฒน์ (วร บุนนาค) หลานปู่ของเจ้าพระยาศรีสุริยวงศ์ (ช่วง บุนนาค) เกิดที่เรือนแพริมคลองสะพานหัน จึงได้ชื่อว่า “แพ” บิดาส่งเข้ามาฝึกกิริยามารยาทในวัง และพักอยู่กับพระองค์โสม เจ้าฟ้าชายจึงขอให้พระพี่นางช่วยหาทางให้ได้ทอดพระเนตรอีกสักครั้ง ซึ่งพระองค์โสมก็รับจะนัดหมายให้
ฝ่ายคุณแพขณะนั้นอยู่ในวัย ๑๓ แม้เธอจะเห็นเจ้าฟ้าจุฬาลงกรณ์ทอดพระเนตรมาทางเธอบ่อยครั้ง แต่ก็ไม่คิดว่าเป้าหมายอยู่ที่ตัว เมื่อกลับไปพักบ้านในคืนนั้นก็เกิดนิมิตประหลาด ฝันว่ามีงูตัวใหญ่หัวเหมือนพระยานาค เกล็ดเหลืองทั้งตัว ตรงมาคาบที่กลางตัวเธอและพาไปทิ้งไว้ตรงหน้าเรือนเก่าที่เคยอยู่ รุ่งเช้าเมื่อไปเรือนพี่สาวคนโตที่เพิ่งแต่งงานจึงเล่าฝันให้ฟังตามซื่อ หลายคนที่ฟังต่างพากันหัวเราะครื้นเครง คุณแพก็ไม่เข้าใจ ฝันของเธอไม่เห็นมีเรื่องขำ แต่ทำไมเขาจึงพากันหัวเราะ
การที่คุณแพเข้าไปอยู่ในวังนั้น สมเด็จฯกรมพระยาดำรงราชานุภาพได้ทรงนิพนธ์ไว้ในหนังสืองานศพเจ้าคุณพระประยูรวงศ์ หรือเด็กหญิงแพคนนั้นไว้ว่า เจ้าคุณพระประยูรวงศ์ได้เล่าไว้เองที่เจ้าคุณปู่ได้ปรารภกับบิดาของท่านว่า ผู้ใหญ่ในตระกูลเคยถวายลูกหญิงทำราชการฝ่ายในมาทุกชั้นตั้งแต่เจ้าคุณพระอัยยิกานวลในรัชกาลที่ ๑ มาถึงท่านมีลูกสาวคนเดียวก็แต่งงานไปตั้งแต่สมัยรัชกาลที่ ๓ แล้ว ไม่มีลูกจะถวายตามประเพณีตระกูล จึงขอตัวท่านถวายทำราชการฝ่ายในแทนลูกสักคนหนึ่ง บิดาของท่านไม่ขัดข้อง แต่เรียนเจ้าคุณปู่ว่า ตัวท่านนั้นตั้งแต่เกิดมาก็อยู่แต่ที่บ้าน กิริยามารยาทยังเป็นชาวนอกวัง จะส่งเข้าไปฝากเจ้าจอมมารดาเที่ยง พระสนมเอก ซึ่งชอบพอกันให้ฝึกอบรมก่อน เมื่อกิริยามารยาทเรียบร้อยแล้วจึงค่อยถวายตัว คุณปู่ก็เห็นชอบด้วย แต่ทว่าไม่มีใครบอกเรื่องนี้ให้ท่านทราบ
อยู่มาวันหนึ่ง บิดาของท่านปรารภกับท่านเปรยๆ ว่า
“แม่หนูโตแล้ว อยู่แต่กับบ้านก็จะเป็นคนเถื่อนไม่รู้จักขนมธรรมเนียมเข้าเฝ้าเจ้านายกับเขาบ้าง พ่อคิดจะส่งเข้าไปไว้ในวัง” แล้วก็หันมาถามท่านว่า “อยากไปหรือไม่”
เจ้าคุณพระประยูรวงศ์ก็ตอบว่า
“ดิฉันไม่อยากไปอยู่ในวัง ไม่เห็นจะสบายเหมือนอยู่กับบ้าน”
บิดาของท่านได้ฟังก็หัวเราะ แล้วบอกว่าให้เข้าไปอยู่ในวังก็เพราะตัวท่านต้องเป็นราชทูตไปฝรั่งเศส พี่สาวคนใหญ่ก็แต่งงานมีเหย้าเรือนไปแล้วไม่มีใครอยู่เป็นเพื่อน ทิ้งไว้ที่บ้านก็เป็นห่วง เจ้าคุณพระประยูรวงศ์ก็ยังยืนคำที่ไม่สมัครใจจะเข้าไปอยู่ในวัง จนบิดาบอกให้เข้าใจว่า ไม่ใช่จะถวายตัวให้เข้าไปอยู่ในวังเลย เป็นแต่ส่งไปให้เจ้าจอมมารดาเที่ยงฝึกสอนกิริยามารยาท เมื่อกลับจากฝรั่งเศสแล้วก็จะรับกลับมาอยู่บ้านตามเดิม ท่านจึงจำใจยอมเข้าไปอยู่ในวัง
เจ้าจอมมารดาเที่ยงรับคุณแพไปอยู่ในตำหนักแล้วก็เกรงว่าจะอึดอัดที่ต้องเกรงใจท่านเสมอ จึงส่งไปให้อยู่กับพระองค์เจ้าหญิงโสมาวดี พระธิดาองค์ใหญ่ของท่าน ซึ่งเรียกกันว่า “พระองค์โสมใหญ่” ที่พระที่นั่งมูลมณเฑียร เพราะเห็นว่าอยู่ในวัยรุ่นราวคราวเดียวกัน พระองค์โสมพระชันษาแก่กว่า ๒ ปี อีกทั้งยังเห็นว่าพระบาทสมเด็จพระจอมเกล้าฯโปรดใช้สอยพระราชธิดาองค์นี้อยู่เสมอ
พออยู่ด้วยกันไม่นาน พระองค์โสมกับคุณแพก็ชอบชิดสนิทสนมกัน พระองค์โสมใหญ่ทรงฝึกกิริยามารยาท และเมื่อเสด็จไปสมาคมฝ่ายในก็ให้ถือหีบหมากเสวยตามไปด้วย แต่คุณแพก็ไม่ได้อยู่ในวังตลอด เมื่อเวลามารดาคิดถึงก็ให้มารับไปอยู่บ้านบ้าง
เมื่อพระองค์โสมรับที่จะให้เจ้าฟ้าชายจุฬาลงกรณ์ได้ทอดพระเนตรคุณแพอีกครั้ง แต่หนุ่มสาวในยุคนั้นก็ใช่ว่าจะมีโอกาสพบกันได้ง่ายๆ ต้องรอไปอีกจนถึงกลางเดือน ๖ วันวิสาขบูชา พระองค์โสมจึงชวนคุณแพไปดูเจ้านายเวียนเทียนกันที่วัดพระแก้ว แล้วให้พี่เลี้ยงพาไปนั่งที่บันไดหลังพระอุโบสถ เมื่อเจ้าฟ้าจุฬาลงกรณ์ทรงรู้ที่หมายแล้ว เมื่อเวียนเทียนผ่านไปถึงจุดนั้นก็เพ่งมองทุกรอบ จนคุณแพรู้ตัวและเกิดความรู้สึกประหลาดๆเมื่อสบพระเนตร
หลังคืนวันวิสาขบูชา เจ้าฟ้าชายก็กระซิบพระองค์โสมขอคุณแพ ซึ่งพระองค์โสมก็ไม่ขัดข้องยอมถวาย และยังตรัสบอกคุณแพด้วยว่าเจ้าฟ้าชายใคร่จะได้เป็นหม่อมห้าม เมื่อคุณแพได้รับทราบว่าตัวเองเป็นที่หมายปองเช่นนั้นก็นิ่งอยู่
สมเด็จฯ กรมพระยาดำรงฯ ทรงนิพนธ์ตอนนี้ไว้ว่า
“...ตรงนี้คิดดูก็ชอบกล ถ้าหากเจ้าคุณพระประยูรวงศ์ไม่รักพระบาทสมเด็จพระจุลจอมเกล้าฯ เมื่อพระองค์ใหญ่โสมตรัสบอกให้รู้ตัว ก็คงบอกแก่ผู้ใหญ่ในสกุลให้มารับไปบ้านเสียให้พ้นภัย ที่รู้แล้วนิ่งอยู่ชวนให้เห็นว่าฝ่ายท่านก็เกิดรักใคร่ในพระบาทสมเด็จพระจุลจอมเกล้าฯ ตั้งแต่วันเดินเทียนวิสาขบูชาเหมือนกัน จึงเริ่มเรื่องติดพันกันมา...”
เมื่อตรัสขอแล้ว ๒-๓ วัน เจ้าฟ้าจุฬาลงกรณ์ก็โปรดให้พี่เลี้ยงชื่อ กลาง นำหีบน้ำหอมฝรั่งไปประทานคุณแพ ตอนนั้นน้ำหอมฝรั่งเพิ่งเข้ามาเมืองไทย เป็นที่นิยมกันมากในวงสังคมชั้นสูง เรียกกันว่าน้ำอบฝรั่ง หีบน้ำอบที่ประทานนั้นทำเป็น ๒ ชั้น เปิดฝาออกก็เห็นพระรูปฉายวางไว้ชั้นบน ส่วนชั้นล่างมีน้ำอบฝรั่ง ๒ ขวดกับสบู่หอมก้อนหนึ่งวางเรียงกัน เมื่อพระพี่เลี้ยงส่งให้คุณแพท่านไม่ยอมรับ คงเพราะเขิน แม้พระพี่เลี้ยงอ้อนวอนให้รับท่านก็ไม่ยอม จนพี่เลี้ยงของคุณแพที่ชื่อสุ่น ซึ่งพระองค์โสมประทานมา อดรนทนไม่ได้รับไว้แทน ต่อมาพระพี่เลี้ยงกลางกับพี่เลี้ยงสุ่นเลยเป็นแม่สื่อประสานงานกัน
ต่อมาพระพี่เลี้ยงกลางก็มาชวนคุณแพให้ไปดูซ้อมแห่โสกันต์พระเจ้าลูกเธอที่บริเวณสวนกุหลาบ ซึ่งเจ้าฟ้าจุฬาลงกรณ์ได้เสด็จมาคอยอยู่ที่นั่น ก็ได้พบกันเป็นครั้งแรก
ต่อมาเจ้าฟ้าชายรับสั่งให้พระองค์เจ้าชายกมลาสเลอสรรค์ พระอนุชาพระองค์โสม ไปรับคุณแพจากพระที่นั่งมูลมนเฑียรไปพบที่สวนกุหลาบอีก ครั้งนี้เจ้าฟ้าชายยื่นประทานน้ำอบฝรั่งขวดหนึ่งให้ด้วยพระองค์เอง แต่คุณแพอายไม่ยอมรับ จึงประทานให้พระองค์กมลาสฯช่วยส่งให้ คุณแพทำอิดๆเอื้อนๆ พระองค์กมลาสฯนึกว่ารับเลยปล่อย ผลก็คือขวดน้ำอบฝรั่งหล่นแตก ความผิดเลยมาลงที่พระองค์กมลาสฯ เมื่อทั้ง ๒ ฝ่ายต่างก็โกรธกริ้วพระองค์
ความสัมพันธ์ระหว่างเจ้าฟ้าจุฬาลงกรณ์กับคุณแพซึ่งนัดพบกันอีกหลายครั้ง ล่วงรู้ไปถึงเจ้าพระยาศรีสุริยวงศ์ เจ้าคุณปู่เลยสั่งให้ท่านผู้หญิงอิ่ม มารดารับคุณแพกลับมาอยู่บ้านเสียเพื่อกันข้อครหา
เมื่อเจ้าฟ้าชายทรงทราบข่าวก็ตรัสให้พระพี่เลี้ยงกลางไปทูลพระองค์โสม ขอพบคุณแพอีกครั้งก่อนไป ซึ่งพระองค์โสมก็ให้นางสุ่นพี่เลี้ยงพาไป ซึ่งกรมพระยาดำรงฯ นิพนธ์ตอนนี้ไว้ว่า
“...เจ้าคุณพระประยูรวงศ์ท่านเล่าว่า เมื่อพบกันเป็นแต่รันทดกำสรดโศก หาได้ปรึกษาหารือคิดอ่านกันอย่างไรไม่ แต่ส่วนตัวท่านเองเมื่อกลับออกไปอยู่บ้าน ได้ตั้งใจมั่นคงว่าจะมิให้ชายอื่นเป็นสามีเป็นอันขาด ถ้าหากผู้ใหญ่ในสกุลจะเอาไปยกให้ผู้อื่น ท่านก็จะหนีตามเสด็จพระบาทสมเด็จพระจุลจอมเกล้าฯมา จะเป็นอย่างไรก็ให้เป็นไป”
เมื่อคุณแพกลับไปอยู่บ้านแล้ว เจ้าฟ้าชายก็ได้แต่ทรงเศร้าโศก ไม่เป็นอันจะสรง จะเสวย หรือเข้าเฝ้าพระชนกนารถ จนสมเด็จกรมพระสุดารัตน์ราชประยูร ผู้อุปถัมภ์ค้ำชูมาตั้งแต่พระราชชนนีสิ้นพระชนม์ ก็ตกพระทัย เสด็จไปปรึกษากับเจ้าจอมมารดาเที่ยงว่าจะทำอย่างไร เจ้าจอมมารดาเที่ยงมีความรักใครเจ้าฟ้าชายมาแต่ทรงพระเยาว์เช่นกัน จึงไปที่ตำหนักสวนกุหลาบทูลปลอบว่าอย่าได้ทรงเป็นทุกข์ไปเลย จะไปกราบทูลพระราชบิดาให้สู่ขอมาพระราชทาน
เจ้าจอมมารดาเที่ยงทูลแล้วก็รีบไปทำตามที่ทูล พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวก็ทรงสงสารพระราชโอรส จึงทรงหาโอกาสตรัสขอต่อเจ้าพระยาศรีสุริยวงศ์ในที่รโหฐานก่อน เจ้าพระยาศรีสุริยวงศ์ก็ยอมถวาย จึงมีพระราชหัตถเลขาให้พระเจ้าลูกเธอพระองค์เจ้าโสมาวดีพร้อมกับท้าววรจันทร์และท้าวสมศักดิ์ เชิญไปถึงเจ้าพระยาศรีสุริยวงศ์อย่างเป็นทางการ สู่ขอคุณแพมาเป็นสะไภ้หลวง ซึ่งเจ้าพระยาศรีสุริยวงศ์ก็ทูลถวายตามพระราชประสงค์ แต่ต้องคอยให้พระยาสุรวงศ์ไวยวัฒน์ ผู้บิดากลับมาจากยุโรปก่อน และหาฤกษ์เตรียมถวายตัว ซึ่งช่วงนี้เป็นเวลาหลายเดือน แต่เจ้าฟ้าชายและคุณแพก็ให้คนส่งของไปมาถึงกันได้โดยไม่มีใครขัดขวาง
จนเดือน ๑๐ พระยาสุรวงศ์ไวยวัฒน์กลับมา เข้าเดือน ๑๒ เจ้าพระยาศรีสุริยวงศ์จึงนำตัวคุณแพเข้าไปถวายตัวต่อพระบาทสมเด็จพระจอมเกล้าฯ แล้วพักอยู่กับเจ้าจอมมารดาเที่ยงจนถึงฤกษ์ที่จะพระราชทาน
ในวันพระราชทาน เจ้าจอมมารดาเที่ยงนำคุณแพขึ้นเฝ้ากราบถวายบังคมลา พระบาทสมเด็จพระจอมเกล้าฯทรงพระกรุณาโปรดเกล้าฯ พระราชทานพรและสิ่งของต่างๆ มีขันทองพร้อมพานทองรองขันสำรับหนึ่ง เงิน ๕ ชั่ง กับเครื่องนุ่งห่มแต่งตัวหีบหนึ่ง แล้วตรัสเรียกผ้าห่มเยียระบับสองชั้นมาพระราชทานเพิ่มอีกผืนหนึ่ง
สองทุ่มคืนนั้น เจ้าจอมมารดาเที่ยงกับเถ้าแก่ก็พาไปส่งตัวยังพระตำหนักสวนกุหลาบ เจ้าคุณพระประยูรวงศ์พรรณนาช่วงเวลานั้นว่า เดินออกทางประตูราชสำราญ เหมือนกับกระบวนแห่พระนเรศวร์ พระนารายณ์ มีคนถือเทียนนำหน้าและถือคบรายทางสองข้าง มีคนตามหลังเป็นพวกใหญ่ พวกชาววังก็พากันมานั่งดูแน่นทั้งสองข้างทาง ท่านอายจนแทบเดินไม่ได้
เจ้าคุณพระประยูรวงศ์ไปอยู่พระตำหนักสวนกุหลาบได้ ๓ เดือนก็ทรงครรภ์ ต้องคิดหาที่จะคลอดพระหน่อ เพราะจะคลอดในวังไม่ได้ผิดราชประเพณี จะประสูติในพระบรมหาราชวังได้แต่พระราชโอรสธิดาของพระเจ้าแผ่นดินเท่านั้น พระบาทสมเด็จพระจอมเกล้าฯจึงพระราชทานราชานุญาตให้สร้างตึกขึ้นใหม่ในสวนนันทอุทยานริมคลองมอญ ซึ่งทรงสร้างไว้เป็นที่เสด็จประพาส เมื่อเจ้าคุณพระประยูรวงศ์และเจ้าฟ้าจุฬาลงกรณ์ไปประทับรอคลอดที่นั่น กรมสมเด็จพระสุดารัตน์ฯก็เสด็จไปอยู่ด้วย ขณะนั้นเจ้าฟ้าชายมีหน้าที่ราชการมาก จึงต้องเสด็จข้ามฟากกลับไปในเวลาค่ำ บางวันน้ำในคลองแห้ง ก็ต้องไต่สะพานยาวไปตามริมคลอง
เจ้าคุณพระประยูรวงศ์ทรงครรภ์อยู่ ๗ เดือนก็ประสูติ แต่ก็เกิดผิดปกติ พระกุมารคลอดออกมามีถุงห่อหุ้มอยู่ ซึ่งกรมพระยาดำรงฯทรงกล่าวถึงตอนนี้ไว้ว่า “เมื่อคลอดพระองค์ยังอยู่ในกระเพาะ” เข้าใจว่าน่าจะเป็นถุงน้ำคร่ำ หมอและพยาบาลพากันคิดว่าสิ้นพระชนม์ตั้งแต่อยู่ในครรภ์ ให้หาหม้อขนันจะใส่ถ่วงน้ำตามประเพณี แต่เจ้าคุณตา พระยาสุรวงศ์ไวยวัฒน์อยากรู้ว่าเป็นพระองค์ชายหรือพระองค์หญิง จึงฉีกกระเพาะนั้นออกดู ก็เห็นยังหายพระทัยอยู่รู้ว่ามีพระชนม์ชีพ จึงช่วยกันประคบประหงมจนรอด
เมื่อพระหน่อประสูติได้ ๑๕ วัน เจ้าฟ้าจุฬาลงกรณ์ก็ต้องตามเสด็จพระชนกนาถไปทอดพระเนตรสุริยุปราคาที่หว้ากอเป็นเวลา ๑๙ วัน เมื่อกลับมาเจ้าคุณพระประยูรวงศ์กับพระหน่อจึงกลับไปอยู่พระตำหนักสวนกุหลาบ
พระบาทสมเด็จพระจอมเกล้าฯเสด็จไปทอดพระเนตรสุริยุปราคาที่หว้ากอครั้งนั้น ทั้งพระองค์เองและผู้ตามเสด็จได้รับเชื้อไข้ป่ามาหลายคน ที่ถึงตายก็มี พระบาทสมเด็จพระจอมเกล้าฯเสด็จกลับมาได้ ๕ วันก็ประชวร เจ้าฟ้าจุฬาลงกรณ์เสด็จไปพยาบาลอยู่ข้างพระที่ พอวันที่ ๒ สมเด็จพระชนกนาถยกพระหัตถ์ลูบพระพักตร์สัมผัสความร้อนผิดปกติ ก็ทรงทราบว่าพระราชโอรสประชวรไข้ป่าด้วยเหมือนกัน จึงดำรัสสั่งให้กลับไปรักษาพระองค์ที่พระตำหนักสวนกุหลาบ วันต่อมาไข้ยิ่งกำเริบขึ้นถึงขั้นประชวรหนัก ทั้งพระยอดมีพิษยังขึ้นที่พระศอ อาการเพียบถึงขั้นอันตราย พระบรมวงศานุวงศ์และข้าราชการผู้ใหญ่สั่งห้ามไม่ให้ทูลพระบาทสมเด็จพระจอมเกล้าฯให้ทรงทราบอาการของพระราชโอรส ขณะเดียวกันก็สั่งปิดข่าวมิให้เจ้าฟ้าชายทรงทราบพระอาการของสมเด็จพระชนกนาถ ซึ่งต่างก็ประชวรหนักทั้งสองพระองค์ เจ้าคุณพระประยูรวงศ์ต้องประสบความทุกข์ร้อนอย่างแสนสาหัส ด้วยพระธิดาก็ยังเป็นลูกอ่อน พระสวามีก็ประชวรหนัก ต้องเฝ้าดูแลทั้งสองทาง
หลังจากประชวรหนักอยู่ได้เดือนเศษ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวก็เสด็จสวรรคตในวันที่ ๑ ตุลาคม ๒๔๑๑ โดยมิได้แต่งตั้งรัชทายาทไว้ ทรงมอบให้พระบรมวงศานุวงศ์และขุนนางข้าราชการพิจารณากันเอง ส่วนเจ้าฟ้าจุฬาลงกรณ์พระอาการทุเลาขึ้น แต่พระกำลังยังอ่อนแรงจนไม่สามารถทรงพระราชยานได้ ต้องเชิญเสด็จขึ้นประทับบนพระเก้าอี้หาม แห่จากพระตำหนักสวนกุหลาบไปยังพระที่นั่งอนันตสมาคม (หลังเดิม) ในพระบรมมหาราชวัง เจ้าพระยาศรีสุริยวงศ์อ่านบันทึกของที่ประชุมพระบรมวงศานุวงศ์และขุนนางอัญเชิญเสด็จเสวยราชย์ให้ทรงทราบ แล้วหามพระเก้าอี้ไปยังพระที่นั่งภาณุมาศจำรูญ เพื่อจะทรงสักการะพระบรมศพอันเป็นหน้าที่ของรัชทายาทจะต้องทำก่อนพระราชกิจอื่น แต่พอพระเจ้าอยู่หัวทอดพระเนตรเห็นพระบรมศพสมเด็จพระบรมชนกนาถ ได้แต่ยกพระหัตถ์ขึ้นถวายบังคมเท่านั้น ก็ทรงสลบแน่นิ่งไป หมอประจำพระองค์แก้ไขจนฟื้น แต่ก็ไม่สามารถเคลื่อนพระองค์ลงจากพระเก้าอี้ได้ จึงตรัสแก่สมเด็จเจ้าฟ้าฯกรมขุนบำราบปรปักษ์ ขอให้ทรงสักการะพระบรมศพแทนพระองค์ ขณะนั้นเจ้านายผู้ใหญ่เห็นว่าถ้าพระเจ้าอยู่หัวประทับอยู่ที่นั่นต่อไปอาการประชวรอาจจะกลับกำเริบขึ้นอีก จึงสั่งให้หามพระเก้าอี้เชิญเสด็จไปยังพระที่นั่งอมรินทรวินิจฉัย ซึ่งจัดห้องในพระฉากไว้เป็นที่ประทับไปจนถึงกำหนดทำพิธีบรมราชาภิเษก
ส่วนทางพระตำหนักสวนกุหลาบ คุณแพซึ่งฐานะเปลี่ยนเป็นเจ้าจอมมารดา และพระธิดาซึ่งเปลี่ยนฐานะเป็นพระเจ้าลูกเธอ พร้อมด้วยกรมสมเด็จพระสุดารัตน์ราชประยูร ก็ย้ายเข้าไปอยู่ในพระราชวังในคืนนั้น กรมสมเด็จพระสุดารัตน์ฯกลับไปอยู่พระตำหนักเดิม เจ้าคุณพระประยูรวงศ์และพระราชธิดานั้น เจ้าพระยาศรีสุริยวงศ์ให้ไปอยู่เรือนเจ้าจอมมารดาผึ้ง ซึ่งคุ้นเคยกันจนกว่าจะมีตำหนัก เพราะขณะนั้นในวังหลวงกำลังชุลมุน ด้วยพระสนมในรัชกาลที่ ๔ แม้แต่พระสนมเอกอย่างเจ้าจอมมารดาเที่ยง ต่างก็หลุดพ้นตำแหน่งกันเป็นแถว สิ้นบุญเหมือนไฟดับ
การไปอยู่เรือนเจ้าจอมมารดาผึ้งนั้น ก็เพื่อให้พระเจ้าลูกเธอมีบ่าวไพร่ช่วยดูแล ส่วนเจ้าคุณพระประยูรวงศ์ต้องไปอยู่ปฏิบัติพระเจ้าอยู่หัวและนอนค้างคืนอยู่ในห้องพระฉากที่พระที่นั่งอมรินทรวินิจฉัย แม้แต่กรมสมเด็จพระสุดารัตน์ฯ ก็ต้องเสด็จไปอยู่ด้วยเสมอทุกวัน
พระที่นั่งอมรินทร์วินิจฉัยนั้นมีท้องพระโรง เป็นที่ทำราชการของฝ่ายหน้า เมื่อพระเจ้าอยู่หัวจำต้องมาประทับเพื่อทรงบำรุงพระกำลังที่ห้องในพระฉาก จึงต้องแบ่งเวลากันระหว่างฝ่ายหน้าและฝ่ายใน เมื่อถึงเวลาของฝ่ายหน้า ผู้หญิงก็กลับเข้าไปอยู่ในวัง ส่วนเจ้าคุณพระประยูรวงศ์ก็กลับไปที่ตำหนัก เมื่อหมดเวลาของฝ่ายหน้า ฝ่ายในก็กลับเข้าประจำหน้าที่ตามเดิม จนถึงเดือน ๑๒ จึงได้ทำพิธีบรมราชาภิเษกแล้วเสด็จเข้าประทับในพระราชมณเฑียรฝ่ายใน
หลังพิธีบรมราชาภิเษกแล้ว เจ้าคุณพระประยูรวงศ์ก็ประสบปัญหายุ่งยากใจพอควร ด้วยพระเจ้าอยู่หัวมีนักสนมนารีปฏิบัติบำเรอเป็นหมู่ใหญ่ ตัวท่านติดพระองค์มาเพียงคนเดียว ก็ต้องไปเข้ากลุ่มนั้น ทั้งยังมีท้าวนางบังคับบัญชาฝึกหัดระเบียบแบบแผนนางในใหม่ซึ่งนำระบบของรัชกาลที่ ๓ กลับมาใช้ ท่านฝึกอบรมมาแต่ระบบรัชกาลที่ ๔ ทั้งยังไม่เคยอยู่ในบังคับบัญชาของท้าวนางเหล่านั้นมาก่อน จึงเกิดความอึดอัดใจ ซึ่งท่านก็แก้ไขสถานการณ์ด้วยการกราบทูลพระเจ้าอยู่หัวโดยตรงว่า พระองค์ท่านเป็นพระมหากษัตริย์ จะมีพระสนมมากเท่าใดท่านไม่เคยหึงหวง และไม่ปรารถนาจะมีอำนาจว่ากล่าวบังคับบัญชาผู้หนึ่งผู้ใด ขอแต่ได้สนองพระเดชพระคุณเหมือนอย่างครั้งอยู่พระตำหนักสวนกุหลาบเท่านั้นก็พอ
พระเจ้าอยู่หัวก็ทรงพระกรุณา ตรัสห้ามมิให้ท้าวนางไปว่ากล่าวรบกวนคุณแพ แล้วทรงสร้างพระที่นั่งเย็นเป็นที่สำราญพระราชอิริยาบทขึ้นอีกหลังหนึ่งทางด้านตะวันออกของพระมหามณเฑียร ให้คุณแพคนเดียวเป็นผู้ปฏิบัติ นอกจากนั้นยังทรงพระกรุณาโปรดให้สร้างตำหนักหมู่ใหญ่ที่ด้านหลังพระราชมณเฑียร พระราชทานคุณแพอีกด้วย
จากนั้น เจ้าคุณพระประยูรวงศ์ถือเป็นหน้าที่ของท่านที่จะต้องปฏิบัติต่อพระเจ้าอยู่หัวตามรายการคือ ในเวลาเช้าเมื่อตื่นบรรทม ท่านจะถวายเครื่องพระสำอางอย่างหนึ่งกับตั้งเครื่องพระกระยาหารต้มอีกอย่าง เมื่อเสวยเสร็จเสด็จออกจากห้องบรรทม ก็สิ้นหน้าที่ของท่านในตอนเช้า กลับลงไปตำหนักเสียครั้งหนึ่ง ถึงเวลากลางวันเมื่อนักสนมตั้งเครื่องเสวยและเสวยเสร็จแล้ว สิ้นคนเฝ้าแหน ท่านจึงขึ้นไปคอยรับใช้ในเวลาพักพระอิริยาบทอีกครั้งหนึ่ง เมื่อเสด็จออกว่าราชการท่านก็กลับตำหนัก จนเวลากลางคืนเมื่อพระเจ้าอยู่หัวเข้าที่บรรทมแล้ว ท่านจึงเข้าไปนอนในห้องบรรทมอยู่จนเช้า ปฏิบัติภารกิจในตอนเช้าต่อไป นอกจากรายการนี้แล้วท่านจะไม่ยุ่งเกี่ยวกับคนอื่น แต่เมื่อพระเจ้าอยู่หัวเสด็จไปหัวเมืองครั้งใด คุณแพก็จะได้ตามเสด็จไปทุกครั้ง
ในสมัยนั้น เมืองไทยมีการติดต่อกับต่างประเทศมากขึ้น แต่ผมทรงมหาดไทยที่โกนรอบหัวไว้แต่ตรงกลางด้านบนและแสกออกสองข้างนั้น ดูเป็นตลกในสายตาของฝรั่ง เมื่อรัชกาลที่ ๕ เสด็จประพาสสิงคโปร์ ผู้ตามเสด็จรวมทั้งพระองค์เองก็ต้องเลิกตัดทรงมหาดไทยก่อนไป เอาไว้ยาวแบบฝรั่ง แต่พอกลับมาหลายคนก็กลับไปไว้ทรงมหาดไทยยอดฮิตอีก ทรงดำริว่าบ้านเมืองเจริญขึ้นมีฝรั่งเข้ามามาก ควรจะเลิกไว้ผมทรงมหาดไทยกันได้แล้ว แต่ก็ไม่จำต้องออกเป็นพระราชกำหนดกฎหมายบังคับ เพียงแต่พระองค์เองไม่ไว้พระเกศาทรงมหาดไทย และพระราชทานพระบรมราชานุญาตให้ไว้ผมยาวเข้าเฝ้าได้ตามสมัครใจ ผู้ใหญ่ทั้งหลายก็เห็นชอบตามพระราชดำริ และมีผู้ไว้ผมยาวตามเสด็จจนทรงมหาดไทยหมดไป
แต่สำหรับผู้หญิงที่ไว้ทรง “ผมปีก” คล้ายทรงมหาดไทย เพียงแต่รอบหัวไม่ใช้โกน แค่ตัดเกรียน และไว้ “ไรจุก” เป็นเส้นรอบวงผมปีก กับไว้ผมเป็นพู่ตรงชายผมทั้งสองข้าง เรียกว่า “ผมทัด” เอาไว้สำหรับห้อยดอกไม้ ผู้หญิงต่างนิยมทรงนี้ ส่วนใหญ่จึงไม่ยอมเลิกไว้ทรงเดิมตามผู้ชาย คุณแพทูลรับอาสาไว้ผมยาวนำสมัยก่อน แรกๆก็ถูกค่อนแคะบ้าง พักเดียวพวกนางในก็เอาอย่าง จนผมปีกหายไปด้วยกันกับทรงมหาดไทย
เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ขึ้นครองราชย์นั้นยังทรงพระเยาว์ เจ้าพระยาศรีสุริยวงศ์จึงต้องรับตำแหน่งผู้สำเร็จราชการ จนใน พ.ศ. ๒๔๑๖ เมื่อทรงบรรลุนิติภาวะจะขึ้นว่าราชการเองแล้ว จึงได้เสด็จออกจากราชสมบัติไปทรงผนวชเป็นพระภิกษุที่วัดพระศรีรัตนศาสดาราม แล้วเสด็จไปจำพรรษาที่วัดบวรนิเวศวิหาร คุณแพได้กราบทูลขอพระราชทานพรให้ได้ตักบาตรถวายพอได้เห็นพระองค์ทรงผนวชเพียงสักครั้ง ฉะนั้นเมื่อเสด็จรับบาตรเจ้านายฝ่ายใน จึงมีแต่คุณแพคนเดียวในเหล่าสนมที่ได้รับอนุญาตให้ไปตักบาตร
พระบาทสมเด็จพระจุลจอมเกล้าฯ ตรัสเรียกพระสนมตามอย่างพระบาทสมเด็จพระจอมเกล้าว่า “นาง” เช่นเรียกเจ้าจอมมารดาเที่ยงว่า “นางเที่ยง” แต่ไม่ทรงเรียกเจ้าคุณพระประยูรวงศ์ว่า “นางแพ” ถ้าตรัสเรียกด้วยพระองค์เองก็เรียกว่า “แม่แพ” ตรัสกับผู้อื่นก็เรียกว่า “คุณแพ” ส่วนพระราชินีจะตรัสสอนให้พระราชโอรสที่เป็นชั้นเจ้าฟ้า ตรัสเรียกคุณแพว่า “คุณป้า” ทุกพระองค์
ถ้าพระเจ้าอยู่หัวเสด็จประพาสหรือแปรพระราชสำนักไปที่ใด คุณแพก็จะตามเสด็จไปเป็นนิจ แต่เวลาอยู่ในกรุงเทพฯท่านจะไปเพียง ๓ แห่ง คือที่ประทับของสมเด็จเจ้าฟ้ากรมพระยาภาณุพันธุวงศ์วรเดช เพราะรักใคร่สนิทสนมกันมาแต่ยังเยาว์ ซึ่งสมเด็จพระเจ้าน้องยาเธอฯก็ทรงเคารพนับถือ ตรัสเรียกท่านว่า “คุณพี่” ตลอดมา อีก ๒ แห่งที่ท่านไปก็คือบ้านของสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ผู้ปู่ กับบ้านเจ้าพระยาสุรวงศ์ไวยวัฒน์กับท่านผู้หญิงอิ่มบิดามารดา ซึ่งเมื่อครั้งเป็นหม่อมอยู่พระตำหนักสวนกุหลาบ ถ้าจะไปเยี่ยมท่านผู้ใหญ่ทั้ง ๒ แห่งนั้น ท่านทูลลาพระเจ้าอยู่หัวแล้วไปบอกทางบ้านให้ท่านผู้ใหญ่ส่งเรือสำปั้นเก๋งมารับ ท่านก็ไปมากับบ่าวไพร่ตามลำพังเสมอ ครั้นมาอยู่ในพระบรมมหาราชวัง เมื่อท่านจะไปหาท่านผู้ใหญ่ครั้งแรก ท่านทูลลาแล้วบอกท้าวนางที่ในวัง ท้าวนางไปบอกกรมวัง กรมวังก็ออกหมายสั่งให้จัดเรือประเทียบ มีสนมกรมวัง จ่าโขลนห้อมล้อมเป็นหมู่ใหญ่จนน่ารำคาญ
ท่านกลับมาก็ทูลถามพระเจ้าอยู่หัวว่า เมื่อยังเป็นหม่อมเคยทรงไว้วางพระราชหฤทัยให้ไปบ้านได้ตามลำพัง เดี๋ยวนี้เป็นเจ้าจอมไม่ไว้พระราชหฤทัยเหมือนแต่ก่อนหรือไร จึงต้องมีคนคุมไปเป็นกอง พระเจ้าอยู่หัวได้ฟังก็ทรงพระสรวล ดำรัสสั่งท้าวนางว่าต่อไปให้ท่านไปบ้านตามลำพังเหมือนเดิม ไม่ต้องมีพนักงานควบคุมเป็นทางการ แต่ต่อมาเมื่อพระธิดาของท่านทรงพระเจริญขึ้น ท่านจึงเห็นว่าไม่ควรพาพระราชบุตรีไปตามลำพัง คราวใดพระธิดาเสด็จไปด้วย ท่านจึงขอให้มีหมายสั่งพนักงานให้ไปด้วยทุกครั้ง
เจ้าคุณพระประยูรวงศ์มีพระเจ้าลูกเธอ ๓ พระองค์ แต่เป็นพระองค์หญิงทั้งนั้น พระองค์ใหญ่ที่ประสูติที่สวนนันทอุทยาน เมื่อพระบรมชนกนาถเสวยราชย์ ทรง พระราชทานนามว่า “พระองค์เจ้าศรีวิไลลักษณ์สินทรศักดิ์กัลยาวดี” ซึ่งสมเด็จพระบรมชนกนาถทรงพระเมตตาเป็นพิเศษ ดำรัสว่าเป็นพระเจ้าลูกเธอคู่ทุกข์คู่ยากมาแต่เดิม เมื่อเสวยราชย์จึงทรงยกย่องพระเกียรติยิ่งกว่าพระเจ้าลูกเธอพระองค์อื่น เมื่อโสกันต์ก็ให้ทำพิธีเขาไกรลาศใหญ่เหมือนอย่างเป็นชั้นเจ้าฟ้า แต่พระชันษาได้ ๓๗ ปีก็ประชวรสิ้นพระชนม์ พระเจ้าอยู่หัวทรงอาลัยมากถึงทรงภูษาขาวในงานพระศพ ตรัสว่า “ลูกคนนี้รักมากต้องนุ่งขาวให้”
พระธิดาองค์กลางและองค์เล็กประสูติในพระบรมมหาราชวัง เพราะเป็นพระราชธิดาของพระเจ้าแผ่นดิน พระราชทานนามองค์กลางว่า “พระองค์เจ้าสุวพักตร์วิไลพรรณ” ซึ่งสนองคุณพระชนนีมาจนถึงรัชกาลที่ ๗ จนพระชันษาได้ ๕๗ ปีจึงประชวรสิ้นพระชนม์ เมื่อ พ.ศ. ๒๔๗๓
ส่วนพระธิดาองค์เล็กประสูติเมื่อพระชนนีมีบารมีเต็มเปี่ยม สมเด็จพระชนกนาถพระราชทานพระนามว่า “พระองค์เจ้าบัณฑรวรรณโรภาส” แต่บุญน้อยประชวรสิ้นพระชนม์เมื่อ พ.ศ. ๒๔๓๔ ขณะพระชันษาได้ ๑๗ ปี ซึ่งทำให้คุณแพวิปโยคโศกศัลย์อย่างหนัก พระเจ้าอยู่หัวเสด็จไปเยี่ยมถึงกับตกพระทัย เสด็จเข้าพยาบาลพระราชทานยาด้วยพระหัตถ์จนอาการคลาย กล่าวกันว่าการประสบความวิปโยคอย่างสาหัสในชีวิตครั้งนี้ ต่อมาเมื่อญาติมิตรที่สนิทตาย แม้แต่พระธิดาองค์ใหญ่ที่สิ้นพระชนม์ในอีก ๑๓ ปีต่อมา ก็ไม่มีใครเห็นคุณแพร้องไห้อีกเลย จนเมื่อพระเจ้าอยู่หัวสวรรคต ท่านไปเฝ้าพระบรมศพที่พระมหาปราสาท ก็ไม่ได้ร้องไห้สะอึกสะอื้นเหมือนคนอื่น เป็นแต่น้ำตาไหลอาบหน้าไม่ขาดสาย ความรักของท่านที่มีต่อเจ้าฟ้าจุฬาลงกรณ์ยังตรึงแน่นอยู่เช่นเดิมจนดับไปด้วยถึงพิราลัย
คุณแพมีงานอดิเรกที่ท่านชอบอยู่ ๒ อย่าง คือการจัดละคร กับการร้อยดอกไม้เป็นพวงมาลัยหรือบุหงารำไพถวายพระเจ้าอยู่หัวเป็นนิจ นอกจากนั้นก็ส่งไปถวายเจ้านายที่ชอบพอกันเวียนไป ส่วนการแสดงละครนั้น ในรัชกาลที่ ๕ ท่านเกรงว่าพระเจ้าอยู่หัวไม่โปรด จึงเป็นแต่หาครูมาหัดข้าหลวงไว้เล่นดูกันเอง แต่ก็แอบไปเล่นถวายสมเด็จเจ้าฟ้าฯกรมพระยาภาณุพันธุ์วงศ์วรเดชทอดพระเนตรที่วังบูรพาครั้งหนึ่ง จนถึงรัชกาลที่ ๖ ท่านจึงจัดละครอย่างเปิดเผย
เมื่อเข้าวัยสูงอายุ คุณแพก็ทูลขอเปลื้องหน้าที่ให้ผู้อื่นที่ยังเยาว์รับไปทำแทน ตัวท่านรับหน้าที่สมควรแก่วัย อย่างเช่นเป็นผู้เปิดพระโอษฐ์สมเด็จพระเจ้าลูกเธอ คือถวายนมให้ทรงประเดิมดูดเมื่อแรกประสูติ เป็นผู้ประสิทธิ์สิริมงคลต่างๆ แม้แต่สมเด็จเจ้าฟ้ามหาวชิราวุธ หรือพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว รัชกาลที่ ๖ ท่านก็เป็นผู้เปิดพระโอษฐ์ ท่านจึงสมบูรณ์ด้วยเกียรติยศ เป็นที่เคารพนับถือของคนทั้งหลายไม่เสื่อมคลาย
เมื่อพระบาทสมเด็จพระจุลจอมเกล้าฯ ทรงสร้างพระราชวังดุสิตเป็นที่ประทับ ทรงปรารภถึงกาลภายหน้าว่าเมื่อพระองค์สวรรคตแล้ว เจ้าจอมที่มีพระเจ้าลูกยาเธอพระองค์ชาย ก็คงออกไปอยู่วังกับพระโอรส แต่เจ้าจอมที่ไม่มีพระเจ้าลูกเธอก็เป็นอิสระแก่ตัว ไปอยู่ที่ไหนก็ได้ตามใจชอบ แต่เจ้าจอมที่มีแต่พระเจ้าลูกเธอพระองค์หญิงคงตกยาก เพราะไม่มีวังพระโอรสอยู่ และไม่มีอิสระที่จะอยู่ไหนได้ ต้องจำใจอยู่แต่ในพระราชวัง จึงให้ซื้อที่ดินริมคลองสามเสนฝั่งใต้เชื่อมต่อกับบริเวณสวนดุสิต แบ่งเป็นที่พระราชทานแก่บรรดาเจ้าจอมมารดาที่มีแต่พระราชธิดาคนละบ้าน เพื่อเป็นที่อยู่ในวันหน้า คุณแพได้รับพระราชทานก่อนคนอื่น ท่านทูลขอสร้างเรือนและย้ายออกไปอยู่สวน นอกนี้เมื่อเดือนเมษายน พ.ศ. ๒๔๔๗ ขณะอายุได้ ๕๐ ปีเมื่อวันทำบุญขึ้นเรือน พระเจ้าอยู่หัวเสด็จไปพระราชทานน้ำสังข์มงคลแล้วดำรัสสถาปนาคุณแพขึ้นเป็น “เจ้าคุณจอมมารดา” แต่นั้นมา ทั้งยังพระราชทานพระบรมราชานุญาตให้ท่านไปเที่ยวเตร่ไหนๆ ได้ตามอำเภอใจ และสั่งให้กรมทหารเรือจัดเรือพาหนะของหลวงให้ท่านใช้ได้ทุกเมื่อ
พอสิ้นรัชกาลที่ ๕ คุณแพก็สิ้นศักดิ์พระสนมเอก ยศเจ้าคุณจอมมารดาก็เป็นแค่ยศกิตติมศักดิ์ แต่พระพุทธเจ้าหลวงก็ทรงจัดเงินเลี้ยงชีพไว้ให้ท่านจึงไม่เดือดร้อน นอกจากนี้รัชกาลที่ ๖ ที่ทรงนับถือท่านมาแต่ทรงพระเยาว์ ก็ทรงอุปการะท่าน พระราชทานเครื่องยศศักดิ์ เครื่องราชอิสริยาภรณ์ต่างๆ ทั้งพระราชทานพระบรมราชานุญาตให้คงใช้รถหลวง เรือหลวง เหมือนอย่างพระบรมชนกนาถได้พระราชทานมาแต่ก่อน เมื่อมีละครในวังก็เชิญท่านเข้าไปดูเสมอด้วยทรงทราบว่าท่านชอบละคร เจ้าคุณจอมมารดาแพก็มีความสวามิภักดิ์รักใคร่ในพระบาทสมเด็จพระมงกุฎเกล้าฯ การอันใดที่จะสนองพระเดชพระคุณได้ตามกำลังของท่านก็ทำถวายทุกอย่าง แม้แต่การร้อยดอกไม้ที่เคยถวายสมเด็จพระปิยมหาราช ก็ร้อยถวายสมเด็จพระมหาธีรราชเจ้าต่อ
ใน พ.ศ. ๒๔๕๗ เจ้าคุณจอมมารดาแพมีอายุครบ ๖๐ ปี พระบาทสมเด็จพระมงกุฎเกล้าฯ รวมทั้งเจ้าพี่เจ้าน้องหลายพระองค์ ต่างก็ช่วยกันจัดเป็นงานใหญ่ที่บ้านสวนนอก
ต่อมาในวันที่ ๒๖ กันยายน ๒๔๖๔ พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวได้ทรงพระกรุณาโปรดเกล้าฯ ประกาศพระบรมราชโองการในหนังสือราชกิจจานุเบกษา ให้เลื่อนบรรดาศักดิ์เจ้าคุณจอมมารดาแพขึ้นเป็น “เจ้าคุณพระประยูรวงศ์”
อีก ๓ ปีต่อมา เจ้าคุณพระประยูวงศ์มีอายุครบ ๗๐ ปี ในพ.ศ. ๒๔๖๗ พระบาทสมเด็จพระมงกุฎเกล้าฯ โปรดให้จัดพิธีฉลองอายุพระราชทานที่ศาลาสหทัยสมาคมในพระบรมมหาราชวังถึง ๓ วัน ๓ คืน มีทั้งโขนทั้งละคร งานเลี้ยง พระสงฆ์จำนวนเท่าอายุสวดพระปริตร ทั้งยังทรงพระกรุณาโปรดให้พิมพ์ประชุมบทละครดึกดำบรรพ์ พระราชทานผู้ไปร่วมงานด้วย
ในปลายปี พ.ศ. ๒๔๖๗ นั้น พระนางสุวัทนาทรงครรภ์ พระบาทสมเด็จพระมงกุฏเกล้าฯ ดำรัสมอบหน้าที่ให้เจ้าคุณพระประยูรวงศ์เป็นผู้รับและเบิกพระโอษฐ์ในวันประสูติ และตอนที่พระบาทสมเด็จพระมงกุฎเกล้าฯประชวรหนัก เจ้าคุณพระประยูรวงศ์ก็เข้าไปประจำในพระบรมมหาราชวังตามรับสั่ง เมื่อเจ้าฟ้าหญิงเพชรรัตน์ฯประสูติท่านรับและเบิกพระโอษฐ์ถวายแล้ว รุ่งขึ้นก็อุ้มขึ้นไปเฝ้าสมเด็จพระบรมชนกนาถบนพระที่นั่งจักรพรรดิพิมาน ด้วยพวกแพทย์คาดกันว่าจะสวรรคตในไม่ช้า พระบาทสมเด็จพระมงกุฎเกล้าฯ จึงได้ทอดพระเนตรพระราชธิดาเป็นครั้งแรกและครั้งเดียวเท่านั้น
ในสมัยรัชกาลที่ ๗ แม้พระบาทสมเด็จพระปกเกล้าฯ จะทรงเคารพนับถือเจ้าคุณพระประยูรวงศ์มาก แต่พระองค์ไม่ทรงคุ้นกับท่าน เพราะเมื่อท่านอยู่ในวังยังเยาว์นัก เจ้าคุณพระประยูรวงศ์จึงเหินห่างราชสำนัก อีกทั้งท่านยังออกเที่ยวเป็นประจำ เนื่องจากเมื่อตอนอายุ ๖๐ กว่าก็มีอาการป่วยบ่อยขึ้น หมอแนะนำให้ไปเที่ยวทางทะเลหาอากาศบริสุทธิ์ พระบาทสมเด็จพระมงกุฎเกล้าฯส่งเรือรบหลวงให้รับท่านไปเที่ยวทางทะเลตะวันออกจนถึงจันทบุรี ท่านหายป่วยกลับมาก็เลื่อมใสการหาอากาศบริสุทธิ์รักษาตัว พอรู้สึกไม่สบายท่านก็ลงเรือมีเก๋งให้เรือกลไฟลากจูงไปเที่ยว จนรู้สึกสบายแล้วจึงกลับ ถึงตอนนี้เจ้าพระยารามราฆพกับพระยาอนิรุธเทวาพ้นหน้าที่ในราชสำนักแล้ว จึงรับอุปการะ เจ้าพระยารามฯรับเรื่องการเที่ยว พระยาอนิรุธฯรับเรื่องละคร
ในยุคที่พวกผู้ดีบางกอกนิยมไปตากอากาศหัวหิน เจ้าคุณพระประยูรวงศ์ก็ไป แต่ท่านไม่ชอบ ไปถูกใจอ่าวเกาะหลักที่ประจวบคีรีขันธ์ จึงซื้อที่ดินและสร้างเรือนถาวรขึ้น ทั้งสร้างเรือพาหนะของท่านเองไม่ใช้เรือหลวง ขนพวกละครไปอยู่ประจวบคีรีขันธ์ในช่วงเดือนพฤษภาคมจนถึงเดือนสิงหาคมจึงกลับกรุงเทพฯ ในฤดูหนาวท่านก็ไปเที่ยวหัวเมืองไกล ใน พ.ศ. ๒๔๗๐ ขณะที่มีอายุได้ ๗๓ ปี ท่านไปถึงเมืองเชียงราย เชียงแสน เชียงใหม่ แล้วล่องแก่งกลับมากรุงเทพฯ
หลังเปลี่ยนแปลงการปกครอง สมเด็จฯกรมพระยาดำรงราชานุภาพเสด็จไปประทับปีนัง สมเด็จฯกรมพระนครสวรรค์วรพินิตเสด็จลี้ภัยการเมืองไปประทับที่เมืองบันดุง อินโดเนเซีย เจ้าคุณพระประยูรวงศ์ก็ดั้นด้นไปเยี่ยมทั้งสองพระองค์ ขากลับจากบันดุง กรมพระนครสวรรค์ฯ ส่งท่านกลับมาปัตเตเวียทางเครื่องบิน เจ้าคุณพระประยูรวงศ์ก็ไม่กลัว เลยได้นั่งเครื่องบินในวัย ๘๐
ในวัย ๘๐ เศษท่านก็ยังไปเที่ยวไม่หยุด นั่งรถไฟไปหนองคายแล้วข้ามไปเวียงจันทน์ เมื่อ พ.ศ.๒๔๘๕ ขณะที่ท่านล่วงเข้าวัย ๘๘ ปีแล้ว น้ำท่วมใหญ่เจิ่งนองไปทั้งกรุงเทพฯ ผู้เขียนยังมีวาสนาได้เห็นท่านนั่งเรือให้คนพายไปดูน้ำท่วมแถวศาลาเฉลิมกรุง ตอนนั้นท่านชอบลงเรือแปรสถานที่ไปเรื่อยๆ ในเดือนธันวาคม ๒๔๘๕ ท่านมาจอดเรือที่วัดเสาธงทองเหนือปากเกร็ด ซึ่งท่านไปที่นั่นหลายครั้ง พอเดือนมกราคม ๒๔๘๖ เกิดอาการคลื่นไส้และบวมที่ท้อง รักษาจนถึงเดือนกุมภาพันธ์ก็หายป่วย ในเดือนมีนาคมผู้ที่อยู่ด้วยสังเกตเห็นท่านอ่อนเพลียผิดปกติ ขอให้ท่านกลับท่านก็ไม่ยอมกลับ ในที่สุดก็อ้อนวอนกลับมาได้ ในวันที่ ๘ มีนาคม มาจอดเรือที่บ้านพระยาอนิรุธเทวา หมอพยายามแก้ไขอาการอ่อนเพลียก็ไม่ดีขึ้น ถึงวันที่ ๒๑ ไข้ขึ้นสูงถึง ๑๐๓ จึงเชิญท่านขึ้นจากเรือไปอยู่บนเรือนแพ ใครไปเยี่ยมท่านก็พูดจาปราศรัยได้ แต่การอ่อนเพลียก็ยังหนักขึ้น วันที่ ๒๒ มีนาคม ตอนเช้าท่านก็ยังดูแจ่มใสพูดเล่นกับเด็กๆได้ แต่ตอนบ่ายกลับอ่อนเพลียหนัก จนถึงเวลา ๒๐ นาฬิกาก็สิ้นใจอย่างสงบ เหมือนผลไม้ที่งอมหล่นไปตามอายุขัย
เจ้าคุณพระประยูรวงศ์ถึงพิราลัยขณะอายุ ๙๐ ปีหย่อน ๔ เดือน