เมื่อพระอาการทรุดหนักหลังจากทรงได้รับเชื้อไข้ป่ามาจากเสด็จไปทอดพระเนตรสุริยปราคาที่ตำบลหว้ากอ เมืองประจวบคีรีขันธ์ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๔ ในฐานะที่ทรงเป็นนักโหราศาสตร์ ก็ทรงทราบว่าชีวิตของพระองค์จะสิ้นสุดลงในไม่ช้า จึงตรัสหาพระราชวงศ์และข้าราชการชั้นผู้ใหญ่ ๓ ท่าน คือ กรมหลวงเทเวศรวัชรินทร์ กรมหลวงวงศาธิราชสนิท และเจ้าพระยาศรีสุริยวงศ์ สมุหกลาโหม ให้เข้าเฝ้าเป็นการด่วน ให้ปรึกษาหารือกันเรื่องราชการแผ่นดิน พร้อมกับเรียกพระราชหัตถเลขาที่ทรงไว้แล้วจากพระองค์เจ้าหญิงโสมาวดีรัตนราชสุดา เพื่อทรงอ่านแก่ผู้เข้าเฝ้าว่า
“...การจะสืบราชสุริยวงศ์ต่อไปภายหน้านั้น พระเจ้าน้องยาเธอ พระเจ้าลูกเธอ และพระเจ้าหลานเธอ ก็ได้ให้ปรึกษาหารือกัน แล้วแต่จะเห็นผู้ใดมีปรีชาสามารถควรจะรักษาแผ่นดินไว้ได้”
ซึ่ง พระยาโกมารกุลมนตรี (ชื่น โกมารกุล ณ นคร ได้นำเรื่องราวในช่วงนี้เขียนไว้โดยละเอียดพอควรว่า
วันต่อมาก็โปรดให้เจ้าพระยามหินทรศักดิ์ธำรง (เพ็ง เพ็ญกุล) ขณะนั้นยังเป็นพระยาบุรุษรัตนราชพัลลภ ซึ่งพระองค์รักอย่างราชบุตร และทรงเลี้ยงมาตั้งแต่อายุ ๑๒ ปี พร้อมมีพระราชดำรัสว่า
“...เจ้าจงไปหาเจ้าคุณศรีสุริยวงศ์ว่า ข้าเป็นคนมีลูกมากรากดก แล้วลูกๆก็ยังเล็กๆอยู่ ไหนๆเจ้าคุณศรีฯก็ได้อุปภัมภ์บำรุงข้ามา ก็ขอให้บำรุงลูกข้าเหมือนตัวข้า ขออย่าให้มีภัยอันตราย ถ้าจะมีความผิดสิ่งหนึ่งสิ่งใดเป็นข้อใหญ่ ก็ขอชีวิตไว้ ให้เป็นแต่เนรเทศ ถ้าโทษหนักก็แล้วแต่จะเป็นไป ถ้าโทษไม่หนักแล้วก็อย่าต้องเป็นไปเลย จงรีบออกไปกราบเรียนเดี๋ยวนี้...”
เมื่อเจ้าพระยาศรีสุริยวงศ์ได้ยินดังนั้น ก็ปรึกษากับกรมหลวงวงศาธิราชสนิทว่า
“การที่คิดจัดแจงไว้แล้วนั้น จำต้องกราบทูลเสียให้ทรงทราบ ถ้าไม่กราบทูลก็จะวุ่นวายพระทัยไป พระอาการไข้ก็จะกำเริบมาก”
จึงบอกกับเจ้าพระยามหินทรธำรงศักดิ์ให้ไปกราบทูลพระเจ้าอยู่หัวว่า
“ได้ปรึกษากันแล้วว่า ครั้งนี้พระเจ้าอยู่หัวทรงพระประชวรพระอาการมาก สมเด็จพระเจ้าลูกยาเธอ กรมขุนพินิตประชานาถ พระราชโอรสองค์ใหญ่ก็ประชวรอยู่ด้วย ไม่ได้ประมาท ได้สั่งให้พระยาสีหราชฤทธิไกร และกรมพระตำรวจนอกซ้ายขวา ล้อมพระราชวังและพระตำหนักสวนกุหลาบไว้แล้ว”
เมื่อเจ้าพระยามหินทร์ฯกราบทูลตามนั้นแล้ว พระอาการก็ดูดีขึ้น ภายหลังจึงมีพระบรมราชโองการสั่งให้เจ้าพนักงานนำเครื่องเขียนทำด้วยทองคำ ประดับด้วยทับทิมและมรกต ราคา ๒๐๐ ชั่งเศษ พร้อมเงินสดอีกพันชั่ง รวมราคาทั้งหมด ๙๖,๐๐๐ บาท ไปพระราชทานให้เจ้าพระยาศรีสุริยวงศ์
ก่อนวันสวรรคตหนึ่งวัน คือวันที่ ๓๐ กันยายน พ.ศ.๒๔๑๑ ตรัสให้เจ้าพะยามหินทร์ฯไปเชิญพระยาสุรวงศ์ไวยวัฒน์ โปรดฯให้เข้าเฝ้าบนพระแท่นเคียงพระองค์ ทรงรับสั่งถามว่า
“อาการของพ่อใหญ่เดี๋ยวนี้เป็นอย่างไร”
เจ้าคุณสุริยวงศ์ฯกราบทูลว่า “สมเด็จพระเจ้าลูกยาเธอพระอาการคลายขึ้นมากแล้ว”
พระเจ้าอยู่หัวรับสั่งต่อไปว่า “ตัวเจ้าน่ะเป็นคนมีความดีความชอบในราชการแผ่นดินมา แต่ก็ยังหาได้เลื่อนยศฐานะศักดิ์ไม่ ข้าได้สั่งให้เอาดาบไปให้ เจ้าได้รับแล้วหรือยัง”
เมื่อเจ้าคุณสุริยวง์กราบทูลว่ายัง จึงรับสั่งให้พระองศ์เจ้าหญิงโสมาวดีว่า
“แม่หนูโสม ไปสั่งให้พนักงานเอาดาบให้พระยาสุรวงศ์เสียซี”
แล้วตรัสถามพระยาสุรวงศ์ฯต่อไปอีกว่า “การแผ่นดินเดี๋ยวนี้จัดแจงกันอย่างไร”
เจ้าคุณสุรวงศ์ฯได้กราบทูลว่า “บิดาของกระหม่อมฉันเห็นว่า พระอาการประชวรมาก ได้ปรึกษาพระบรมวงศานุวงศ์และข้าราชการชั้นผู้ใหญ่ พร้อมกันเห็นว่า สมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้าจุฬาลงกรณ์ เป็นพระราชโอรสองค์ใหญ่ ควรจะรับสิริราชสมบัติต่อไป จะได้ทำนุบำรุงพระบรมวงศานุวงศ์และข้าทูลละอองผู้ใหญ่น้อยต่อไปภายหน้า เห็นด้วยเกล้าดังนี้ บิดากระหม่อมฉันจึงได้จัดการสั่งให้เจ้าพนักงานล้อมวังที่ตำหนักสวนกุหลาบมาหลายเวลาแล้ว”
เมื่อได้ฟังดังนั้นทรงรำพึงว่า “จะไม่ได้นา ลูกข้ายังเล็กเด็กอยู่ จะว่าการแผ่นดินอย่างไรได้ จะทำการไปไม่รอด” ทรงนิ่งอึ้งอยู่สักพัก แล้วก็ตรัสว่า
“เจ้านายที่เป็นผู้ใหญ่น้อย มีสติปัญญาอยู่เป็นอันมาก ให้เลือกเอาดีกว่า ลูกข้ายังเล็กอยู่ อย่าให้มีภัยแก่ลูกข้าเลย”
เจ้าคุณสุรวงศ์ฯได้กราบทูลว่า
“ถ้าไม่ยกสมเด็จระเจ้าลูกเธอพระองค์นี้ขึ้นครองราชย์สมบัติแล้ว กลัวจะมีเหตุไปภายหน้า ด้วยนานาประเทศได้นิยมนับถือเจ้าฟ้าพระองค์นี้อยู่ อีกประการหนึ่งเล่า เอมเปอเรอฝรั่งเศสก็ยังผูกไมตรีถวายพระราชสาส์นและพระแสงองค์ใหญ่องค์เล็กเข้ามาผูกพันเป็นชั้นๆไว้แล้ว จะไม่ยกพระเจ้าลูกยาเธอ เจ้าฟ้าจุฬาลงกรณ์เป็นเจ้าแผ่นดินต่อไป การภายหน้าก็จะไม่เป็นปกติเรียบร้อย อนึ่ง ทุกวันนี้พระนามของพระองค์ก็โด่งดังปรากฏในประเทศยุโรป เป็นที่นับถือของคนทั่วไป คิดด้วยเกล้าดังนี้”
พระเจ้าอยู่หัวจึงตรัสว่า “อย่างนั้นก็ตามใจเถิด แต่ข้าจะขอชี้แจงการเก่าแต่ครั้งพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวทรงประชวรจะสิ้นแผ่นดิน ครั้งกระโน้นปู่ของเจ้า (สมเด็จเจ้าพระยาบรมมหาประยูรวงศ์) ก็ยังอยู่ พระนั่งเกล้าฯก็มิได้รับสั่งให้หาปู่ของเจ้าเข้าไปฝากฝังการงานหรือสั่งเสียการแผ่นดิน ท่านก็หาแต่พ่อของเจ้าไปฝากฝังสั่งเสีย ครั้งนี้ข้าก็เอาแบบอย่างกาลครั้งโน้น ข้าจะสั่งเสียกับพ่อของเจ้าไม่ ข้าจะฝากการแผ่นดินแก่เจ้า เมื่อเจ้าจะขัดขวางอย่างไร เจ้าก็จงไปปรึกษาเอากับพ่อของเจ้าเถิด ไหนๆลูกข้าก็ได้เป็นลูกเขยเจ้าแล้ว (พระยาสุรวงศ์ไวยวัฒน์ เป็นบิดาของ เจ้าคุณพระประยุรวงศ์ รักแรกของ ร.๕) ข้าขอฝากลูกข้ากับเจ้าด้วย การที่เจ้าคิดนี้ข้ามีความยินดีแล้ว แต่ช่วยกันรักษาไว้ให้ดีอย่าให้มีเหตุเกิดขึ้นได้ การเปลี่ยนแผ่นดินใหม่มักเกิดรบราฆ่าฟัน อย่าให้เป็นเช่นพระเสน่หามนตรี ถ้าเกิดขึ้นดังนั้นจะอายเขา”
พระยาสุรวงศ์ไวยวัฒน์กราบบังคมทูลว่า “กระหม่อมฉันจะได้คิดกันกับบิดา รับฉลองพระเดชพระคุณอย่างเต็มการ จะไม่ให้เป็นที่ขุ่นเคืองใต้ฝ่าละอองฯขึ้นได้”
พระบาสมเด็จพระจอมเกล้าฯจึงรับสั่ง “ข้าได้ให้เงินกับพ่อเจ้าไว้พันชั่ง ให้ไปปรึกษาหารือกัน ควรจะใช้ในการล้อมวงกงกำบ้างอย่างไรก็ตามเถอะ ขอให้เจ้ารักลูกของข้าที่เป็นลูกเขยของเจ้าให้มาก และเรือของเจ้าลำหนึ่งว่าจะขาย ข้าจะซื้อเอง แต่ไม่ให้เอาไว้เป็นของแผ่นดิน ให้เป็นเรือส่วนกลางให้ลูกข้า มีธุระปะปังทางไหนจะได้ใช้ทั่วๆกัน ให้ไปเอาเงินที่ยายศรีฯ”
แล้วก็หันไปรับสั่งกับพระองค์เจ้าหญิงยิ่งเยาวลักษณ์ว่า “ แม่หนูใหญ่ เอาเงินมาให้พระยาสุรวงศ์ฯค่าเรือไฟ... แล้วเจ้าไปคิดเอากับแม่หนูใหญ่ก็แล้วกันนะ”
รุ่งขึ้นวันที่ ๑ ตุลาคม พ.ศ.๒๔๑๑ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวสด็จสู่สวรรคต ราชบัลลังก์ก็มาสู่เจ้าฟ้าจุฬาลงการณ์ ขึ้นเป็นรัชกาลที่ ๕ ทรงพระนามว่า พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว