ในปี ๒๔๑๐ พระบาทสมเด็จพระจอมเกล้าฯได้ทรงสู่ขอ “คุณแพ” ธิดาวัย ๑๓ ปีของพระยาสุริวงศ์ไวยวัฒน์ และเป็นหลานปู่ของเจ้าพระยาศรีสุริยวงศ์ มาเป็นสะใภ้หลวงในสมเด็จพระเจ้าลูกยาเธอ เจ้าฟ้าจุฬาลงกรณ์ หลังจากนั้นอีก ๓ เดือน “คุณแพ” ซึ่งต่อมาก็คือ เจ้าคุณพระประยุรวงศ์ เจ้าคุณจอมมารดา ก็ได้ทรงครรภ์ จึงต้องหาที่คลอดพระหน่อใหม่ เพราะพระตำหนักสวนกุลาบที่ประทับในพระบรมมหาราชวัง ตามราชประเพณีจะประสูติในพระบรมมหาราชวังได้เฉพาะพระราชโอรสธิดาของพระเจ้าแผ่นดินเท่านั้น พระบาทสมเด็จพระจอมเกล้าฯจึงโปรดเกล้าฯให้ไปประทับที่พระราชวังนันทอุทยาน ฝั่งกรุงธนบุรี ริมคลองมอญ ให้เจ้าคุณพระประยุรวงศ์และเจ้าฟ้าจุฬาลงกรณ์ไปประทับรอคลอดที่นั่น
ในขณะนั้นเจ้าฟ้าจุฬาลงกรณ์มีราชการต้องเสด็จมาช่วยพระราชบิดาที่พระบรมมหาราชวังเป็นประจำ บางครั้งก็ต้องเสด็จกลับข้ามแม่น้ำในเวลาค่ำ บางวันน้ำลงคลองแห้ง ต้องทรงไต่สะพานไปตามริมคลอง กว่าจะบรรทมได้ก็จวนดึก พอเช้าก็ต้องเสด็จข้ามมารับราชการทุกวัน
เจ้าคุณพระประยุรวงศ์ทรงครรภ์ได้ ๗ เดือนก็ประสูติพระราชธิดา ซึ่งเป็นพระราชธิดาองค์แรกในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว สมเด็จพระเจ้าบรมวงศ์เธอ กรมดำรงราชานุภาพ ทรงนิพนธ์ไว้ในประวัติเจ้าคุณพระประยุรวงศ์ ตอนประสูติกรมขุนสุพรรณภาควดี ไว้ว่า
“...เมื่อประสูติพระองค์ยังอยู่ในกระเพาะ (หมายถึง ถุงน้ำคร่ำ ที่เป็นกระเพาะหุ้มห่อ-ผู้เขียน) หมอและผู้พยาบาลพากันเข้าใจว่าสิ้นพระชนม์เสียแล้วแต่ในครรภ์ ให้หาหม้อขนันจะใส่เอาไปถ่วงน้ำตามประเพณี หากเจ้าคุณตา พระยาสุริยงศ์ไวยวัฒน์ อยากรู้ว่าเป็นพระองค์ชายหรือพระองค์หญิง ให้ฉีกกระเพาะดู เห็นยังหายพระทัยจึงรู้ว่ามีพระชนมชีพอยู่ ก็ช่วยกันประคบประหงมเลี้ยงมาจนรอดได้ เมื่อพระหน่อประสูติแล้ว ๑๕ วัน พระบาทสมเด็จพระจุลจอมเกล้าฯก็ต้องตามเสด็จพระบรมชนกนาถไปทอดพระเนตรสุริยปราคาหมดดวงที่ตำบลหว้ากอ แขวงเมืองประจวบคีรีขันธ์ ทรงมอบเจ้าคุณพระประยุรวงศ์กับพระหน่อให้พระยาสุรวงศ์ฯกับท่านผู้หญิงอิ่มเป็นผู้พิทักษ์รักษาอยู่ทางนี้ เสด็จไปไปสิบเก้าวันกลับมากรุงเทพฯเมื่อวันศุกร์เดือน ๑๐ ขึ้น ๙ ค่ำ ก็พาเจ้าคุณพระประยุรวงศ์กับพระหน่อย้ายเข้ามาอยู่พระตำหนักสวนกุหลาบตามเดิม”
พระราชธิดาองค์แรกของรัชกาลที่ ๕ นี้ก็คือ พระองค์เจ้าศรีวิไลยลักษณ์ ซึ่งเป็นพระราชธิดาองค์โปรดของพระราชบิดา รับสั่งว่าเป็น “ลูกคู่ทุกข์คู่ยาก” ตรัสเรียกว่า “เจ้าหนู” พระเจ้าน้องทั้งหลายเรียกว่า “พี่หนู” และชาววังเรียกกันว่า “เสด็จพระองค์ใหญ่” ได้รับความไว้วางพระราชหฤทัยจากพระราชบิดาให้มีหน้าที่ดูแลพระขนิษฐาที่ยังทารพระเยาว์ เมื่อพระราชบิดาขึ้นครองราชย์ก็ได้รับการสถาปนาขึ้นเป็น พระเจ้าลูกเธอ พระองค์เจ้าศรีวิไลยลักษณ์ สุนทรศักดิกัลยาวดี และเป็นพระเจ้าลูกเธอชั้นพระองค์เจ้าเพียงพระองค์เดียวที่เทียบเท่าพระเจ้าลูกเธอชั้นเจ้าฟ้า ได้รับการสถาปนาขึ้นเป็นเจ้าต่างกรมที่ กรมขุนสุพรรณภาควดี ทั้งยังทรงดำรงตำแหน่งอุปนายิกาสภาอุณาโลมแดง หรือสภากาชาดในเวลาต่อมา ร่วมกับเจ้านายฝ่ายในอีกหลายพระองค์
กรมขุนสุพรรณภาควดีสิ้นพระชนม์เมื่อพระชันษา ๓๖ ปี พระบาทสมเด็จพระจุลจอมเกล้าฯ ทรงพระกรุณาโปรดเกล้าฯให้เชิญพระศพโดยขบวนรถไฟไปจัดบำเพ็ญพระราชกุศลที่พระราชวังบางปะอิน และเสด็จไปรอรับก่อน ๑ วัน จากนั้นเชิญพระศพประดิษฐานเหนือชั้นแว่นฟ้าในเรือพระที่นั่งศรีประภัศรไชย จัดขบวนเรืออย่างขบวนเรือถวายผ้าพระกฐินไปยังพระราชวังบางปะอิน ประดิษฐานพระศพ ณ พระที่นั่งกลางสระน้ำ ไอศวรรย์ทิพยอาสน์ จัดบำเพ็ญพระราชกุศล ๓ วัน ซึ่งเป็นงานที่ยิ่งใหญ่มาก เป็นที่กล่าวขานกันว่า ใครไม่ได้ไปร่วมในงานนี้ ถือได้ว่าเป็นคนนอกสังคมชาววัง
จากนั้นจึงพระราชทานเพลิงพระศพที่พระเมรุใต้ต้นพระศรีมหาโพธิ์ วัดนิเวศธรรมประวัติ ซึ่งพระองค์ทรงนำมาจากพุทธคยา และปลูกไว้ในวันคล้ายวันประสูติของพระเจ้าลูกเธอ พระองค์เจ้าศรีวิไลยลักษณ์ สุนทรศักดิกัลยาวดี กรมขุนสุพรรณภาควดี
พระราชวังนันทอุทยาน ทุกวันนี้รู้จักกันทั่วไปในชื่อ “สวนอนันต์” เป็นที่ตั้งของฐานทัพเรือกรุงเทพฯ อยู่ที่ถนนอิสรภาพ เขตธนบุรี เป็นพระราชวังที่พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวมีพระราชดำริว่า หากพระองค์เสด็จสวรรคตก่อนพระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว บรรดาพระราชโอรสพระราชธิดาซึ่งต่างยังเยาว์วัยอาจจะมีปัญหาที่อยู่อาศัย จึงโปรดให้ซื้อสวนราษฎรตั้งแต่ริมคลองมอญด้านเหนือและด้านหลังวัดชิโนรสาราม สร้างพระตำหนักที่ประทับและตำหนักฝ่ายในขึ้นในปี ๒๔๐๐ แต่ในปี ๒๔๐๘ พระบาทสมเด็จเจ้าพระปิ่นเกล้าฯเสด็จสวรรคต จึงได้รื้อตำหนักฝ่ายในมาสร้างที่วังท่าพระ และเมื่อเจ้าคุณพระประยุรวงศ์จะประสูติพระหน่อ พระบาทสมเด็จพระจอมเกล้าฯก็ทรงสร้างตึกใหม่ขึ้นหลังหนึ่งเป็นที่คลอด ต่อมาเมื่อเจ้าฟ้าจุฬาลงกรณ์ฯขึ้นครองราชย์ ได้พระราชทานพระตำหนักในนันทอุทยานให้เป็นโรงเรียนสอนภาษาอังกฤษ โดยมีหมอแมคฟาร์แลนด์ มิชชันนารีอเมริกัน เป็นครูสอน และมีคณะกรรมการ ๘ ท่านควบคุมดูแล มีชื่อว่า “โรงเรียนนันทอุทยาน” นับเป็นโรงเรียนสอนภาษาอังกฤษแห่งแรกของกรุงสยาม
