ในรัชสมัยสมเด็จพระนเรศวรมหาราช ขณะนั้นสมเด็จพระเอกาทศรถ พระอนุชา ยังดำรงพระยศเป็นมหาอุปราช ได้เสด็จประพาสทางชลมารค ล่องเรือจากกรุงศรีอยุธยาลงมา พอถึงเกาะบ้านเลน เรือพระที่นั่งถูกพายุฝนกระหน่ำจนล่มลงกลางแม่น้ำเจ้าพระยา สมเด็จพระเอกาทศรถทรงว่ายน้ำขึ้นฝั่งได้ที่เกาะบ้านเลน
ขณะประทับแรมที่เกาะแห่งนี้ พระองค์ได้ทรงพบหญิงสาวชาวบ้านคนหนึ่ง ชื่อ “อิน” ซึ่งมีความงามเป็นที่ประทับพระทัย ทรงได้นางเป็นบาทบริจาริกา ความสัมพันธ์ของพระมหาอุปราชกับสาวชาวบ้านนี้ แม้จะไม่เป็นเรื่องเปิดเผยในกรุงศรีอยุธยา แต่ก็เป็นที่รู้กันทั่วไปในย่านนั้น จนเกาะบ้านเลนที่สมเด็จพระอนุชาทรงพบปะกับหญิงชาวบ้านนี้ ถูกเรียกขานกันใหม่ว่า “เกาะบางปะอิน”
ต่อมานางตั้งครรภ์และคลอดบุตรเป็นชาย สมเด็จพระเอกาทศรถได้ทรงรับบุตรของนางไปเลี้ยงในกรุงศรีอยุธยา แต่ไม่เปิดเผยว่าเป็นพระโอรส มอบให้พระยาศรีธรรมาธิราช สามีของพี่สาวพระสนมคนหนึ่งรับเลี้ยงดูในฐานะบุตรบุญธรรม แต่ก็เป็นที่รู้กันทั่วไปว่า แท้ที่จริงแล้วเด็กชายผู้นี้เป็นใคร จึงเรียกกันว่า “พระองค์ไล”
พระองค์ไลก็รู้ว่าตัวเองเป็นใคร จึงวางตัวเป็นหัวโจกเด็กรุ่นราวคราวเดียวกัน และชอบเล่นเป็นกษัตริย์ ขึ้นนั่งว่าราชการบนจอมปลวก ให้เด็กในกลุ่มเล่นเป็นขุนนางข้าราชการหมอบเฝ้า
พออายุถึงเกณฑ์ สมเด็จพระเอกาทศรถก็โปรดให้เข้ารับราชการเป็นมหาดเล็ก และได้เลื่อนตำแหน่งขึ้นเรื่อยๆ ในปลายรัชกาลได้เป็นจมื่นศรีสรรักษ์ ตำแหน่งหัวหมื่นมหาดเล็ก
ต่อมาในสมัยพระเจ้าทรงธรรม ซึ่งเป็นราชโอรสสมเด็จพระเอกาทศรถที่เกิดจากสนมผู้เป็นน้องเมียของพระยาศรีธรรมาธิราช จมื่นศรีสรรักษ์ได้ฝากตัวใกล้ชิดมาตั้งแต่ครั้งทรงผนวช จึงกลายเป็นคนสนิท ได้เลื่อนขึ้นเป็นพระยาศรีวรวงศ์ และมีอำนาจที่สุดในแผ่นดิน
และแล้วไม่มีสิ่งใดจะขัดขวางบุญบารมีของพระองค์ไลได้ เมื่อช่วงต่อจากพระเจ้าทรงธรรมมีแต่ยุวกษัตริย์และกษัตริย์ที่อ่อนแอ พระองค์ไลที่ได้เลื่อนขึ้นเป็นเจ้าพระยากลาโหมสุริยวงศ์ ได้ปลดพระอาทิตยวงศ์ ยุวกษัตริย์ ลงจากราชบัลลังก์ และปราบดาภิเษกขึ้นครองราชย์เป็นกษัตริย์พระองค์ที่ ๒๔ ของกรุงศรีอยุธยา ทรงพระนามว่า สมเด็จพระสรรเพชญ์ที่ ๕ แต่เป็นที่รู้จักกันในนาม พระเจ้าปราสาททอง ต้นราชวงศ์ปราสาททอง
เหตุที่ได้พระนามว่าปราสาททองนั้น ก็ด้วยคืนหนึ่งทรงสุบินว่า ในจอมปลวกที่เคยนั่งว่าราชการเล่นเมื่อสมัยเป็นเด็ก มีปราสาททองฝังอยู่ภายใน เมื่อส่งคนไปขุดดูก็พบปรางค์แบบขอมย่อส่วนทำด้วยทองคำฝังอยู่จริง
เมื่อขึ้นครองราชย์แล้ว พระเจ้าปราสาททองก็ทรงระลึกถึงเกาะบางปะอิน อนุสรณ์รักของพระราชบิดากับพระมารดา ทั้งยังเป็นที่ประสูติของพระองค์ด้วย จึงได้ถวายที่ดินที่ประสูติซึ่งอยู่ด้านเหนือของเกาะเป็นพุทธบูชา สร้างวัดชุมพลนิยาการามขึ้น พร้อมทั้งโปรดให้ขุดสระใหญ่กลางเกาะใต้วัดลงมา แล้วสร้างพระที่นั่งไอศวรรย์ทิพยอาสน์ไว้กลางสระ เป็นที่เสด็จมาพักผ่อน
ที่พระที่นั่งหลังนี้ในปี พ.ศ.๒๑๘๔ วันหนึ่งพระเจ้าปราสาททองพร้อมด้วยพระนารายณ์ราชกุมาร พระราชโอรส หรือสมเด็จพระนารายณ์มหาราชในเวลาต่อมา ซึ่งขณะนั้นพระชนมายุเพียง ๑๐ พรรษา ได้เสด็จมาพักผ่อนที่พระที่นั่งกลางสระน้ำ ได้เกิดฟ้าผ่าลงมาจนแก้วกระจกและหินปูนแตกกระจายเกลื่อน แต่ทั้งสองพระองค์ไม่ได้รับบาดเจ็บแต่อย่างใด ทำให้ร่ำลือกันถึงบุญบารมีของทั้งสองพระองค์
เกาะบางปะอินเป็นที่เสด็จประพาสของกษัตริย์สมัยกรุงศรีอยุธยาตลอดมา จนเสียกรุงใน พ.ศ.๒๓๑๐ จึงถูกทิ้งร้าง
ในปี พ.ศ.๒๓๕๐ สุนทรภู่ได้ตามเสด็จพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกมหาราช ไปนมัสการพระพุทธบาทสระบุรี ได้แต่ง “นิราศพระบาท” บรรยายตอนเสด็จผ่านเกาะบางปะอินว่า
“สักครู่หนึ่งก็มาถึงบางเกาะอิน
กระแสสินธุ์สายชลเป็นวนวัง
อันที่จริงสิ่งนี้ไม่รู้แน่
ได้ยินแต่ยุบลในหนหลัง
ว่าเกาะบางอออินเป็นถิ่นวัง
กษัตริย์ครั้งครองศรีอยุธยา
พาสนมออกมาชมคณานก
ก็เรื้อรกรังร้างเป็นทางป่า
อันคำแจ้งกับเราสังเกตตา
ก็เห็นน่าที่จะแน่กระแสความ
แต่เดี๋ยวนี้มีไม้ก็ตายโกร๋น
ทั้งเกิดโจรจระเข้ให้คนขาม”
อีกตอนหนึ่งได้กล่าวถึงที่มาของชื่อเกาะบางปะอินไว้ว่า
“ถึงเกาะเรียงเคียงคลองเป็นสองแฉก
ป่าระแวกวังเวงราชประพาสสินธุ์
ได้นางห้ามงามพร้อมชื่อหม่อมอิน
จึงตั้งถิ่นที่เพราะเสนาะนาม”
ต่อมาในสมัยรัชกาลที่ ๔ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว เสด็จประพาสอยุธยาด้วยเรือกลไฟ ขากลับล่องผ่านเกาะบางปะอิน ทอดพระเนตรเห็นดงมะม่วงบนเกาะร่มรื่น จึงโปรดฯให้สร้างตำหนักขึ้นบนเกาะ พระราชทานนามว่า ไอศวรรย์ทิพยอาสน์ ตามนามเดิมสมัยพระเจ้าปราสาททอง และเสด็จมาประทับที่พระตำหนักนี้เป็นประจำ เกาะบางปะอินที่ถูกทอดทิ้งร้างมา ๘๐ ปี จึงกลับฟื้นมามีชีวิตชีวาขึ้นอีก
ในสมัยรัชกาลที่ ๕ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว โปรดให้สร้างพระราชวังขึ้นที่เกาะบางปะอิน ไม่ใช่เป็นเพียงแค่ตำหนัก โดยเริ่มตั้งแต่ พ.ศ.๒๔๑๕ จนแล้วเสร็จใน พ.ศ.๒๔๑๙ จึงจัดให้มีงานสมโภช และเสด็จประพาสทุกปี ทั้งทางเรือและทางรถไฟ ซึ่งมีสถานีพิเศษสำหรับพระองค์และเจ้านายที่ตามเสด็จโดยเฉพาะ
สิ่งก่อสร้างในพระราชวังบางปะอินในปัจจุบัน ล้วนแต่สร้างขึ้นในสมัยรัชกาลที่ ๕ ทั้งสิ้น รวมทั้งพระที่นั่งไอศวรรยทิพยอาสน์ซึ่งสร้างใหม่ไว้กลางสระน้ำ อันเป็นสัญลักษณ์ของพระราชวังแห่งนี้ และโปรดให้สร้าง หอเหมมณเฑียรเทวราช ซึ่งเป็นปรางค์ขอมแบบที่ขุดได้ในสมัยพระเจ้าปราสาททองไว้ด้วย เป็นศาลสถิตย์พระรูปพระเจ้าปราสาททองผู้ให้กำเนิดพระราชวังบางปะอิน รวมทั้งโปรดให้สร้างวัดนิเวศน์ธรรมประวัติไว้บนเกาะตอนใต้ คนละฟากกับพระราชวัง เป็นศิลปะแบบโกธิค ซึ่งนับเป็นวัดพุทธวัดเดียวที่ดูเหมือนวัดคริสต์
เกาะบางปะอินในสมัยรัชกาลที่ ๕ รุ่งเรืองมาก บรรยากาศเต็มไปด้วยความสนุกสนานในระหว่างที่เสด็จมาประทับสำราญพระราชหฤทัย มีการเล่นสักวาเป็นประจำ บ้างก็มีการแข่งเรือในสระ โดยทูตานุทูตของประเทศต่างๆได้รับเชิญให้ไปร่วมด้วย อีกทั้งบรรดาพระราชอาคันตุกะก็มักจะมีรายการนั่งเรือชมชีวิตริมฝั่งแม่น้ำเจ้าพระยาไปพักผ่อนที่พระราชวังบางปะอิน อย่างเช่นมกุฎราชกุมารแห่งรัสเซีย ซึ่งต่อมาก็คือ พระเจ้าซาร์นิโคลัส ที่ ๒ และนายพลยูลิซิส ซิมป์สัน แกรนท์ อดีตประธานาธิบดีสหรัฐ ซึ่งนั่งเรือเมล์เที่ยวรอบโลก และแวะเข้ามาเฝ้า ร.๕
ปัจจุบันเกาะบางปะอินฝั่งพระราชวัง แม่น้ำที่เคยกั้นแผ่นดินใหญ่ก็ตื้นเขินเป็นคลองไป ตรงที่เคยเป็นหัวเกาะก็คือตรงสะพานข้ามคลองหน้าวัดชุมพลนิกายาราม ส่วนท้ายเกาะก็คือตรงกระโจมไฟร้างในขณะนี้