ในปี พ.ศ.๒๓๒๕ สมัยรัชกาลที่ ๑ แห่งกรุงรัตนโกสินทร์ องเชียงสือ รัชทายาทจักรพรรดิญวน ได้หนีกบฏไกเซินเข้ามาพึ่งพระบรมโพธิสมภาร พระบาทสมเด็จพระพุทธยอดฟ้ามหาราชทรงส่งกองทัพบก ๕,๐๐๐ คนยกไปทางเขมร ส่วนกองทัพเรือโปรดให้สมเด็จพระเจ้าหลานเธอ เจ้าฟ้ากรมขุนเทพหริรักษ์ ถือทหาร ๕,๐๐๐ คนยกไปตีเมืองไซ่ง่อน และโปรดให้องเชียงสือร่วมไปเกณฑ์กองทัพเมืองบันทายมาศเข้าสมทบด้วย กองทัพเรือยกเข้าคลองวามะนาวที่จะไปเมืองไซ่ง่อน แต่ถูกพวกไกเซินตั้งค่ายสกัดอยู่ ทั้งยังเอากองเรือมาปิดปากคลอง กองทัพพระเจ้าหลานเธอจึงตกอยู่ในศึกขนาบ จำต้องทิ้งเรือแตกหนีขึ้นบก ยามนั้นเป็นเดือน ๑๒ น้ำนองไปทั่วทุ่ง ต้องลุยน้ำแค่อกหนี ทหารจับควายมาได้ตัวหนึ่งนำมาให้พระเจ้าหลานเธอทรงหลังควายลุยน้ำเข้าแดนกัมพูชา ไปสมทบกับกองทัพบกที่เข้าตีกบฏไกเซิลทางด้านเขมรแตกพ่ายไปหลายเมือง และตั้งทัพรักษาการณ์อยู่ในด้านนั้นต่อไป
แต่ข่าวที่กองทัพเรือแตกพ่ายอย่างยับเยินและยังไม่มีใครกลับมานั้น ทำให้ญาติมิตรคิดว่าเสียชีวิตกันไปหมดแล้ว ในจำนวนนี้มี ท่านผู้หญิงบุนนาค ภรรยาพระยาศรีสรราช (เมือง) ซึ่งติดตามพระเจ้าหลานเธอไปด้วย ท่านผู้หญิงคิดว่าสามีเสียชีวิตแล้ว จึงได้อุทิศที่ดินมรดกซึ่งเป็นสวนในเมืองนนทบุรีสร้างวัดอุทิศส่วนกุศลให้สามี แต่ทว่ายังไม่ทันเสร็จพระยาศรีสรราชก็กลับมาด้วยอาการครบ ๓๒ จึงได้สร้างวัดต่อด้วยตัวเองจนเสร็จ ให้ชื่อว่า “วัดท้ายเมือง”
ในปี พ.ศ.๒๓๔๔ ได้พบช้างเผือกเชือกแรกในรัชกาลที่เมืองภูเขียว พระยานครราชสีมาได้นำมาถึงเมืองสระบุรีโดยมีกรมพระราชวังบวรมหาสุรสิงหนาทเสด็จไปรับและนำลงแพล่องลงมา เนื่องจากเป็นช้างเผือกเชือกแรกของกรุงรัตนโกสินทร์ ได้รับพระราชทานนามว่า “พระเทพกุญชร บวรศรีเศวต เอกชาติฉัททันต์ อนันตคุณสมบูรณ์เลิศฟ้า” และประชาชนพลเมืองขนานนามด้วยความปีติยินดีว่า “แม่ศรีเมือง” การต้อนรับจึงเป็นงานใหญ่ พระบาทสมเด็จพระเจ้าอยู่หัวได้เสด็จไปรับที่เมืองนนทบุรี
ในการนี้พระยาศรีสรราชซึ่งเป็นข้าหลวงเก่าทั้งวังหน้าและวังหลวงพร้อมด้วยท่านผู้หญิง จึงตั้งโรงครัวที่วัดท้ายเมืองเพื่อเลี้ยงบรรดาผู้ตามเสด็จ แล้วตั้งสำรับกับข้าวทั้งคาวหวานที่แพริมฝั่งเต็มหน้าวัดที่ขบวนเสด็จจะผ่าน เมื่อเรือพระที่นั่งผ่านมา พระเจ้าอยู่หัวทอดพระเนตรเห็นพระยาศรีสรราชหมอบกราบอยู่ ก็ทรงเปิดพระวิสูตรมีพระราชดำรัสทักทายในฐานะข้าหลวงเดิมว่า
“เฮ้ยเจ้าเมือง ยายบุนนาคใช้ให้เจ้ามาเฝ้าสำรับกับข้าวอยู่ที่นี้หรือ”
และทรงรับสั่งถามถึงการเตรียมข้าวปลาอาหารมากมายก่ายกองเลี้ยงนี้ไปเกณฑ์มาจากใคร
พระยาศรีสรราชกราบบังคมทูลว่า
“ไม่มีพระราชโองการดำรัสใช้หามิได้ เป็นแต่ข้าพระพุทธเจ้าทั้งสองมีความกตัญญูกตเวทีต่อใต้ฝ่าละอองธุลีพระบาททั้งสอง จึงมาตั้งโรงครัวรับเลี้ยงขุนนางทั้งสองพระราชวัง เป็นการฉลองพระเดชพระคุณด้วยเกล้าด้วยกระหม่อม”
“อ้อ อย่างนั้นหรือ จำเริญๆเถิดพ่อเอ้ยแม่เอ้ย” ทรงอวยพรให้แก่พระยาศรีสรราชและภรรยา
จากนั้นยังทรงสนพระราชหฤทัยในเรื่องวัดท้ายเมือง ทรงรับสั่งถามว่า
“วัดท้ายเมืองนี้ พระยาศรีสรราชสถาปนาหรือปฏิสังขรณ์”
พระยาศรีสรราชถวายบังคมกราบทูลโดยละเอียดว่า เดิมทีเป็นสวนของปู่ย่าตายายของท่านผู้หญิงบุนนาค เมื่อต้นรัชกาลนี้ตนได้ตามเสด็จพระเจ้าหลานเธอ กรมหลวงเทพหริรักษ์ไปทัพญวน ต้องขัดตาทัพค้างอยู่ที่เมืองเขมรหลายปี ภรรยาได้ยินข่าวเล่าลือเขาโจษกันว่าตนเสียชีวิต จึงได้บริจาคที่สวนตำบลท้ายเมืองนนทบุรีนี้ถวายไว้ในพุทธศาสนา โดยบรรดาลูกหลานและญาติมิตรร่วมกัน แต่ยังไม่ทันจะแล้วเสร็จบริบูรณ์ ตนกลับมาถึงกรุงเทพฯ จึงมีจิตศรัทธาสร้างกุฏิเพิ่มเติม และพร้อมใจกันตั้งชื่ออารามนี้ว่า “วัดท้ายเมือง” เพราะเหตุที่ตนชื่อเมือง และวัดนี้อยู่ท้ายเมืองนนทบุรี
พระบาทสมเด็จพระเจ้าอยู่หัวดำรัสถามอีกว่า
“ทำไมพระยาศรีสรราชจึงไม่ถวายเป็นวัดหลวงเล่า”
พระยาศรีสรราชกราบทูลว่า การไม่ถวายนั้นมีเหตุสองประการ คือ เป็นวัดหัวเมืองนอกกรุง จะเสด็จพระราชดำเนินถวายกฐินลำบาก กับอีกเหตุตนเป็นพระยาที่ไม่ได้รับพระราชทานพานหมาก คณโททองคำ จึงยังไม่สามารถนำวัดที่สร้างขึ้นทูลเกล้าฯถวายได้ตามแบบอย่างที่เคยปฏิบัติกันมา
และเมื่อเรือพระที่นั่งมาถึงแพที่ท่านผู้หญิงบุนนาคหมอบเฝ้าอยู่ ก็ทรงเปิดพระวิสูตรมีพระราชปฏิสันถารว่า
“เฮ้ย ยายบุนนาค ใจเจ้าโตกว่าเจ๊ก ข้าโมทนาบุญด้วย”
เมื่อเรือพระที่นั่งไปถึงแพช้างเผือกแล้ว ยังมีพระราชดำรัสให้ไปตามพระยาศรีสรราชและท่านผู้หญิงบุนนาคมาเฝ้า พระราชทานเงินให้ท่านผู้หญิงบุนนาค ๒๐ ชั่งเป็นรางวัล
นี่ก็เป็นเกร็ดประวัติศาสตร์แสดงถึงเหตุการณ์ที่ทหารต้องห่างลูกเมียไปรบ ในยามที่การสื่อสารยังไม่สามารถรับรู้ข่าวคราวกันได้ง่าย ลูกเมียญาติมิตรจึงต้องแบกทุกข์อยู่หลายปี แต่เรื่องนี้ดีที่จบด้วยแฮปปี้เอนดิ้ง
