เมื่อครั้งที่พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ ๓ ประชวรหนัก ทรงรับสั่งถึงพระอนุชาทั้ง ๔ พระองค์ ที่มีสิทธิในราชบัลลังก์ขึ้นเป็นรัชกาลที่ ๔ นั้น ต่างก็มีข้อทรงกังวลพระราชหฤทัยที่จะให้รักษาดูแลบ้านเมืองต่อไป จึงทรงมอบให้พระบรมวงศานุวงศ์และขุนนางข้าราชการพิจารณากันเอง
สำหรับ “เจ้าฟ้าน้อย” หรือ สมเด็จเจ้าฟ้ากรมขุนอิศเรศรังสรรค์ ๑ ใน ๔ พระอนุชานี้ รับสั่งว่ามีสติปัญญารู้วิชาการช่างและการทหาร แต่ก็ไม่พอใจทำราชการ รักแต่การเล่นสนุกเท่านั้น
เจ้าฟ้าน้อยนั้นทรงอยู่ในกลุ่มคนรุ่นใหม่หัวก้าวหน้าในยุคนั้น ทรงโปรดธรรมเนียมฝรั่งอย่างมาก นอกจากจะทรงพิมพ์นามบัตรแบบฝรั่งใช้เป็นพระองค์แรกแล้ว ยังทำเสาธงขึ้นที่พระราชวังเดิมซึ่งเป็นที่ประทับ ซึ่งการชักธงเป็นธรรมเนียมฝรั่ง ไทยเรายังไม่มีแม้แต่ธงชาติ เมื่อพระบาทสมเด็จพระนั่งเกล้าฯเสด็จทางชลมารคไปทอดพระกฐินผ่านหน้าวัง กรมขุนอิศเรศรังสรรค์ ทรงจัดให้ประดับธงแพรวพราวหน้าวังเป็นการบูชา แต่รัชกาลที่ ๓ ท่านไม่โปรดฝรั่ง จึงรับสั่งกับข้าราชบริพารว่า “นั่นท่านฟ้าน้อยเอาผ้าขี้ริ้วขึ้นตากทำไม”
ด้านความสนใจในวิชาการ กรมขุนอิศเรศรังสรรค์ทรงสั่งตำราภาษาอังกฤษเกี่ยวกับเรื่องปืนใหญ่และการต่อเรือกลไฟมาศึกษาด้วยพระองค์เอง จนสามารถต่อเรือกลไฟแบบตะวันตกได้เป็นลำแรก และทรงนิพนธ์ตำราปืนใหญ่สำหรับทหารไทยไว้ด้วย แต่ในเรื่องรักสนุกของพระองค์ ก็มีเรื่องเล่ากันไว้มากเช่นกัน อย่างเช่น
ในสมุดบันทึกของหมอ บรัดเลย์ ลงวันที่ ๑๓ มิถุนายน พ.ศ.๒๓๘๙ มีข้อความตอนหนึ่งบันทึกไว้ว่า
“เย็นวันนี้ ฉันกำลังนั่งเรียนหนังสือไทยเงียบๆอยู่ในห้องแต่ผู้เดียว ก็ได้ยินเสียงฝรั่งร้องทักมาจากระเบียงหน้าบ้านว่า “Hello Doctor! How do you do” ฉันลุกขึ้นไปดูอยากรู้ว่าคนอังกฤษที่ไหนที่มาแสดงเป็นกันเองกับฉันเช่นนี้ ก็แลเห็นชายหนุ่มผู้หนึ่งรูปร่างสันทัดแต่ผิวคล้ำ แต่งกายด้วยชุดนายทหารเรืออังกฤษใหม่เอี่ยม ห้อยกระบี่ด้ามทอง ยืนท่าทางผึ่งผายอยู่ที่ระเบียงหน้าบ้าน ฉันเดินเข้าไปหาและกล่าวคำปฏิสันถาร แต่นายทหารเรือผู้นี้กลับหัวเราะลั่นด้วยความชอบใจ ฉันจึงจำได้ว่ามิใช่คนอังกฤษใครที่ไหนเลย ที่แท้ก็คือ เจ้าฟ้าน้อย นั่นเอง พระองค์ท่านทรงชุดนายทหารเรืออังกฤษ ซึ่งทรงสั่งจากนอกมาถึงใหม่ๆ และรีบเสด็จเยี่ยมฉันทันที ทรงสนทนาปราศรัยกันอยู่พักใหญ่ แล้วจึงเสด็จกลับ”
พระองค์ท่านมิได้ทรงสนพระทัยแค่วิชาการต่อเรือเท่านั้น ยังทรงสนพระทัยเครื่องแบบโก้ๆของราชนาวีอังกฤษด้วย และสั่งเข้ามาแต่งเล่น ที่สำคัญยังรับสั่งเป็นภาษาอังกฤษด้วยสำเนียงที่คนอเมริกันก็ยังคิดว่าเป็นฝรั่งด้วยกัน
อีกเรื่องหนึ่ง ขณะที่ดำรงพระอิสริยยศเป็น สมเด็จเจ้าฟ้ากรมขุนอิศเรศรังสรรค์ และประทับอยู่ ณ พระราชวังเดิม กรุงธนบุรี มีเรื่องเล่าลือกันว่า พระองค์ทรงเดินบนน้ำได้
เรื่องนี้ นายพลโท พระวรวงศ์เธอพระองค์เจ้าทศศิริวงศ์ ผู้ประสูติที่พระราชวังเดิม ได้ทรงเล่าไว้ว่า แท้ที่จริงเป็นเรื่องคะนองของพระปิ่นเกล้าฯ ทรงฝึกหัดมหาดเล็กเอาเท้าใส่ไหกระเทียม ให้เลี้ยงตัวบนน้ำได้ และหัดเดินบนน้ำในสระภายในพระราชวังเดิม พระองค์เองก็ทรงทำด้วย เมื่อหัดเดินได้คล่องแล้วจึงทรงนำมหาดเล็กเดินข้ามฟากคลองมอญ มายืนซื้อหมี่ที่แพเจ๊กในเวลากลางคืน เมื่อเจ๊กผัดหมี่ถวายแล้ว ก็เดินกลับไปต่อหน้าต่อตาเจ๊กผัดหมี่
ในสมัยนั้น ไฟฟ้ายังไม่มีใช้เหมือนในสมัยนี้ แม้ตะเกียงลานก็ยังหายาก เมื่อเจ๊กเห็นพระองค์เสด็จกลับไปโดยทรงเดินบนน้ำเช่นนั้น ก็ตกใจจนถึงกับนำไปเล่าลือว่า พระบาทสมเด็จพระปิ่นเกล้าฯ และบริวารเดินน้ำได้
นี่ก็เป็นพระราชอัธยาศัยของเจ้าฟ้าเจ้าแผ่นดินที่ “รักแต่การเล่นสนุก” ตามที่ ร.๓ รับสั่ง แต่ในด้านพระราชภารกิจที่มีต่อประเทศชาตินั้น พระบาทสมเด็จพระปิ่นเกล้าเจ้าอยู่หัว “Second King of Siam” ก็ได้สร้างคุณประโยชน์ไว้มากมายเช่นกัน อาทิเช่น ทรงดำรงตำแหน่งผู้บัญชาการทหารเรือเป็นพระองค์แรก และทรงดำรงตำแหน่งนี้อยู่จนตลอดพระชนม์ชีพ ทรงวางรากฐานการการทหารเรือไทยให้เข้าสู่ระบบสากล ทรงจัดตั้งกรมทหารเรือวังหน้าขึ้น ทั้งยังได้ทรงดัดแปลงกำปั่นไทยให้เป็นเรือรบ ๒ ลำ
ในรัชสมัยรัชกาลที่ ๓ มีพวกญวนอพยพเข้ามามาก ทรงนำคนญวนเหล่านี้ไปฝึกเป็นทหารปืนใหญ่ จัดตั้งเป็นกรมญวนอาสา ได้ทรงจัดวิธีการฝึกทหารแบบตะวันตกขึ้น และจัดการทหารปืนใหญ่ตามแบบยุโรปทั้งทางด้านยุทธศาสตร์และยุทธวิธี แต่ใช้ปืนใหญ่ซึ่งไทยผลิตขึ้นเอง และทรงเป็นผู้บัญชาการทหารปืนใหญ่และทหารต่างด้าว
อีกเรื่องหนึ่ง ในการสร้างถนนเจริญกรุงตอนใน แต่เดิมกำหนดจากประตูเมืองตรงสะพานเหล็กที่สามยอด ไปจรดกำแพงพระนครด้านถนนมหาไชย แต่พระบาทสมเด็จพระปิ่นเกล้าฯซึ่งทรงชำนาญการเรื่องปืนใหญ่แบบตะวันตก ทรงทักท้วงว่า การสร้างถนนตรงเข้าสู่กำแพงพระนครเช่นนี้ จะเป็นชัยภูมิที่ข้าศึกตั้งปืนใหญ่ยิงทำลายกำแพงพระนครได้ จึงโปรดให้เบี่ยงแนวพ้นกำแพงพระนครออกไปหาถนนข้างวัดพระเชตุพนอย่างในปัจจุบัน
