พงศาวดารรัชกาลที่ ๓ กล่าวว่า เมื่อครั้งที่เจ้าอนุวงศ์แห่งเวียงจันทน์เป็นกบฏใน พ.ศ.๒๓๖๙ อ้างว่าจะยกมาช่วยกรุงเทพฯรบกับอังกฤษ ทางกรุงเทพฯทราบข่าวก็ต่อเมื่อคาดว่าเจ้าอนุวงศ์จะมาถึงกรุงเทพฯในอีก ๒ วันข้างหน้า พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวจึงโปรดให้ยกกองทัพออกไปตั้งรับศึกที่ชานเมือง ซึ่งนับเป็นการตั้งทัพรับศึกที่ใกล้พระนครที่สุด คือบริเวณทุ่งส้มป่อย แต่ตั้งอยู่ ๗ วันก็ต้องเลิกทัพ เมื่อได้ข่าวว่ากองทัพของจ้าอนุวงศ์ ถูกคุณหญิงโมนำชาวนครราชสีมาตีแตกพ่ายไปแล้ว
บริเวณทุ่งส้มป่อยที่รัชกาลที่ ๓ โปรดตั้งทัพรอเจ้าอนุวงศ์ ปัจจุบันก็คือ บริเวณสวนจิตรลดา ที่ตั้งของพระตำหนักจิตรลดารโหฐาน สวนสัตว์ดุสิต และสนามม้านางเลิ้ง นี่เอง
ทุ่งส้มป่อยเป็นทุ่งกว้าง มีต้นส้มป่อยซึ่งเป็นไม้เลื้อยชนิดหนึ่งมีหนาม ขึ้นอยู่ทั่วไป เป็นที่ปล่อยช้างหลวงที่ไม่ได้ขึ้นระวางให้หากินอย่างอิสระ
ในสมัยรัชกาลที่ ๔ ทรงเห็นว่าบ้านเมืองเจริญขึ้นมากแล้ว จึงโปรดเกล้าฯให้ขุดคูเมืองชั้นนอกขึ้นอีกแนวหนึ่ง ขนานไปกับคูเมืองชั้นในที่ขุดมาตั้งแต่สมัยรัชกาลที่ ๑ โดยเริ่มจากแม่น้ำเจ้าพระยาข้างวัดสมอแคลง หรือวัดเทวราชกุญชร ที่เทเวศร์ ตัดคลองมหานาค ผ่านทุ่งหัวลำโพง ไปออกแม่น้ำเจ้าพระยาที่ใกล้วัดแก้วฟ้า สี่พระยา พระราชทานนามว่า “คลองผดุงกรุงเกษม”
หลังจากขุดคลองนี้แล้ว ทรงพระราชทานพระบรมราชานุญาตให้ชาวญวนที่อพยพเข้ามาครั้งรัชกาลที่ ๓ ซึ่งนับถือศาสนาพุทธ ซึ่งไปอยู่กันที่จังหวัดกาญจนบุรี ให้เข้ามาอยู่ริมคลอผดุงกรุงเกษมฝั่งเหนือ ชาวญวนกลุ่มนี้จึงตั้งวัดนิกายญวนขึ้น เรียกว่า “วัดญวนสะพานขาว” ซึ่งก็คือ “วัดสมณานัมบริหาร”ในปัจจุบัน
ส่วนชาวมอญที่ไปอยู่สามโคก ปทุมธานี กลุ่มหนึ่งก็อพยพมาอยู่ริมคลองฝั่งใต้ โดยบรรทุกตุ่มดินจากสามโคกเข้ามาขายด้วย และเรียกตุ่มดินขนาดใหญ่ว่า “อีเลิ้ง” คนที่มาซื้อโอ่งก็เรียกที่ขายโอ่งของชาวมอญแห่งนี้ว่า “อีเลิ้ง” ไปด้วย แต่คนที่ไม่รู้ภาษามอญเข้าใจเอาเองว่า “อี้เลิ้ง” เป็นชื่อคน และเห็นว่าไม่สุภาพ เลยเรียกเสียให้ไพเราะเสนาะหูว่า “นางเลิ้ง”
ในปี ๒๓๙๖ พระบาทสมเด็จพระจอมเกล้าฯ ทรงสร้างวัดขึ้นที่ริมคลองผลุงกรุงเกษมฝั่งใต้อีกวัดหนึ่ง ต่อจากนางเลิ้งไป พระราชทานนามว่า “วัดโสมนัสวิหาร” อุทิศพระราชกุศลสมเด็จพระนางเจ้า โสมนัสวัฒนาวดี อาราธนาพระอริยมุนีจากวัดราชาธิวาส พร้อมด้วยพระสงฆ์ราว ๔๐ รูปมาจำพรรษา
ตรงนางเลิ้ง ห่างคลองผดุงกรุงเกษมออกมา ยังมีวัดราษฎร์วัดหนึ่งสร้างในสมัยรัชกาลที่ ๓ แต่แรกเรียกกันว่า “วัดสนามกระบือ” เพราะย่านนั้นเป็นที่พักกระบือของกองเกวียนค้าขายที่มาจากด้านตะวันออกของกำแพงพระนคร และชุมนุมกันที่ริมคลองคูเมืองตรงข้ามป้อมพระกาฬ แต่ต่อมาก็เรียกวัดนี้กันว่า “วัดแค”
สันนิษฐานว่าเพี้ยนมาจากคำว่า “แค่” ซึ่งแปลว่า “ใกล้ๆ” ตามสำเนียงของชาวปักษ์ใต้ ซึ่งมีชาวมุสลิมจากภาคใต้ได้รับพระราชทานที่ดินให้อยู่ในย่านนั้นด้วย
ต่อมาในรัชกาลที่ ๔ พระเจ้าบรมวงศ์เธอ กรมหมื่นสุนทรธิบดี พระราชโอรสในรัชกาลที่ ๓ และ พระธรรมทานาจารย์ เจ้าอาวาสวัดสระเกศ ได้ร่วมกันบูรณปฏิสังขรณ์วัดใหม่ และได้รับพระราชทานนามจากการนำพระนามของทั้งสองท่านมารวมกัน เป็น “วัดสุนทรธรรมทาน”
ในสมัยรัชกาลที่ ๔ บริเวณริมคลองส้มป่อยหลังบ้านญวนสะพานขาว ซึ่งก็คือสนามม้านางเลิ้งในปัจจุบัน เป็นที่ทำนาหลวง และใช้เป็นที่ประกอบพระราชพิธีจรดพระนังคัลแรกนาขวัญครั้งแรกในปี ๒๔๑๘- ๒๔๓๕ และกลับมาทำที่ทุ่งส้มป่อยนี้อีกในปี ๒๔๔๓-๒๔๕๒
ในเขตทุ่งส้มป่อยนี้มีวังเกิดขึ้นในสมัยรัชกาลที่ ๕ วังหนึ่ง เรียกกันว่า “วังนางเลิ้ง” เป็นที่ประทับของ พลเรือเอกพระเจ้าบรมวงศ์เธอ กรมหลวงชุมพรเขตอุดมศักดิ์ ซึ่งประทับอยู่ที่วังนางเลิ้งจนสิ้นพระชนม์ในปี ๒๔๖๖ ต่อมาในปี ๒๔๙๑ วังนางเลิ้งเป็นที่ตั้งของโรงเรียนพณิชการพระนคร ปัจจุบันคือคณะบริหารธุรกิจและคณะศิลปะศาสตร์ มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร
ในปี ๒๔๕๖ พระบาทสมเด็จพระมงกุฎเกล้าฯ ทรงมีพระราชดำริที่จะหาที่เงียบๆเป็นการส่วนพระองค์ ให้ห่างไกลจากผู้คนพลุกพล่าน สำหรับทรงงานพระราชนิพนธ์ต่างๆ เพราะในพระราชวังนั้นแวดล้อมไปด้วยเจ้าหน้าที่ในงานพระราชภารกิจการปกครองต่างๆ แม้แต่วังพญาไทที่ออกมาอยู่กลางทุ่ง ก็ยังมีโรงสีตามเข้ามาตั้งตามแนวคลองสามเสน แล้วเปิดหวูดในเวลา ๑๑.๓๐น. ๑๒.๐๐ น. แล ะ๑.๐๐ น. เมื่อไปประทับวังพญาไทก็จะได้ยินเสียงหวูดนี้เสมอ ย่อมเป็นการตัดพระราชสำราญ กระทรวงมหาดไทยจะไปสั่งห้าม ก็ทรงเกรงว่าจะกระทบกับการทำงานของเขา ทั้งราษฎรก็พออาศัยรู้โมงยามได้บ้าง จึงทรงพระราชดำริหาที่สงบแห่งใหม่ ทรงพอพระราชหฤทัยที่นาแปลงหนึ่งริมถนนซังฮี้ อยู่ระหว่างพระราชวังดุสิตกับพระราชวังพญาไท เรียกกันว่าทุ่งส้มป่อย จึงทรงรับสั่งให้ใช้เงินพระคลังข้างที่ซื้อไว้เป็นเนื้อที่ประมาณ ๓๙๕ ไร่ โปรดกล้าฯให้เจ้าพระยายมราช เสนาบดีกระทรวงนครบาล จัดสร้างพระตำหนักขึ้น ใช้เป็นที่รโหฐานสำหรับทรงงานพระราชนิพนธ์ และเป็นที่เข้าเฝ้าของผู้ใกล้ชิดเป็นการส่วนพระองค์
พระบาทสมเด็จพระมงกุฎเกล้าฯได้เสด็จพระราชดำเนินมาทรงประกอบพระราชพิธีวางศิลาฤกษ์เมื่อวันที่ ๓๐ พฤษภาคม ๒๔๕๖ พระราชทานนามสถานที่สร้างพระตำหนักในทุ่งส้มป่อยแห่งนี้ว่า “สวนจิตรลดา” และพระราชทานนามพระตำหนักว่า “พระตำหนักจิตรลดารโหฐาน” ตามชื่อพระตำหนักเดิมในวังปารุสกวันที่ชื่อ “พระตำหนักจิตรลดา” รอบบริเวณสวนจิตรลดาได้ขุดคูทำรั้วเหล็กโดยรอบ มีประตู ๔ ทิศ พระราชทานนามประตูเรียงจากทิศตะวันออก ทิศใต้ ทิศตะวันตก และทิศเหนือว่า พระอินทร์อยู่ชม พระยมอยู่คุ้น พระวรุณอยู่เจน และพระกุเวนอยู่เฝ้า และมีซุ้มทหารยามโดยรอบ ๓๐ ซุ้ม
เมื่อพระตำหนักจิตรลดารโหฐานสร้างแล้วเสร็จ โปรดเกล้าฯ ให้มีงานพระราชพิธีราชคฤหมงคล ในวันที่ ๑๔ สิงหาคม พุทธศักราช ๒๔๕๖ หลังจากนั้นพระบาทสมเด็จพระมงกุฎเกล้าฯ ได้เสด็จฯมาประทับเป็นประจำ เมื่อตอนทรงพบรักกับ ม.จ.หญิงวรรณวิมล วรวรรณ พระธิดาพระองค์เจ้าวรวรรณากร กรมพระนราธิปประพันธ์พงศ์ ทรงสถาปนาให้เป็น พระวรกัญญาปทาน พระองค์เจ้าวัลลภาเทวี ก็โปรดให้ย้ายที่ประทับจากวังวรวรรณ ที่แพร่งนรา ถนนตะนาว มาประทับที่พระตำหนักจิตรลดารโหฐาน ซึ่งพระบาทสมเด็จพระมงกุฎเกล้าฯ ทรงเสด็จไปเสวยเครื่องว่างที่นั่นทุกวัน
ต่อมาจึงโปรดเกล้าฯให้สวนจิตรลดา เป็นพระราชฐานอยู่ในเขตของพระราชวังดุสิตเมื่อเดือนเมษายน ๒๔๖๘ แต่คงเรียกว่าสวนจิตรลดาตามเดิม ในสมัยที่ยังจัดให้มีงานรื่นเริงฤดูหนาวประจำปี ก็โปรดเกล้าฯให้ย้ายงานวัดเบญจมบพิตร มาใช้สถานที่อันกว้างใหญ่ของสวนจิตรลดาเป็นที่จัดงานแทน
ในสมัยรัชกาลที่ ๗ พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว โปรดเกล้าฯให้สร้างสนามกอล์ฟหลวงสวนจิตรลดาขึ้นภายในบริเวณสวนจิตรฯ สำหรับเสด็จพระราชดำเนินไปทรงออกพระกำลังกาย และเปิดเป็นชมรมภาพยนตร์สมัครเล่น มีห้องฉายหนัง ให้เช่าหนังและเครื่องฉาย เป็นที่พบปะสังสรรค์ของคนนิยมถ่ายหนังสมัครเล่น ทั้งยังเสด็จฯไปประทับ ณ พระตำหนักจิตรลดารโหฐานหลายครั้ง โดยครั้งหลังสุดประทับก่อนเสด็จฯไปรักษาพระองค์ที่ประเทศอังกฤษ จนสละราชสมบัติ
ในรัชกาลที่ ๙ พระบาทสมเด็จพระเจ้าอยู่หัวทรงใช้พระตำหนักจิตรลดารโหฐานเป็นที่ประทับถาวร จึงได้มีการก่อสร้างต่อเติมพระตำหนักเพื่อให้เหมาะสม และทรงพระกรุณาโปรดเกล้าฯให้จัดพิธีราชคฤหมงคลขึ้นที่พระตำหนักจิตรลดารโหฐาน เมื่อวันที่ ๓๑ ตุลาคม ๒๕๐๐ ต่อมาในปีพุทธศักราช ๒๕๐๑ ได้โปรดเกล้าฯให้สร้าง “โรงเรียนจิตรลดา” ขึ้นในบริเวณสวนจิตรฯ เพื่อให้เป็นที่ทรงศึกษาเล่าเรียนของสมเด็จพระเจ้าลูกยาเธอและสมเด็จพระเจ้าลูกเธอ โดยเป็นโรงเรียนราษฎร์อย่างสมบูรณ์ ตามพระราชบัญญัติโรงเรียนราษฎร์ และทรงพระกรุณาโปรดเกล้าฯให้โอรสธิดาของพระบรมวงศานุวงศ์ รวมทั้งบุตรธิดาของข้าราชการและข้าราชบริพาร เข้าศึกษาในโรงเรียนจิตรลดานี้ด้วย
ปัจจุบัน ทุ่งส้มป่อยที่เคยเป็นทุ่งรกด้วยพืชหนาม เป็นที่ปล่อยช้างหลวงที่ไม่ได้ขึ้นระวางให้หากินอิสระ และเป็นที่ตั้งทัพยันไม่ให้ข้าศึกล่วงล้ำเข้ามาถึงกำแพงพระนคร จึงเป็นที่ตั้งของพระราชวังที่ไม่เหมือนพระราชวังอื่นใดในโลก แทนที่จะมีพระราชอุทยานโอ่อ่าสวยงามเหมือนพระราชวังทั่วไป กลับมีนาข้าว มีบ่อเลี้ยงปลา มีคอกวัว มีโรงเพาะเห็ด มีโรงสี มีป่าไม้ และมีโรงงานต่างๆ ซึ่งทุกอย่างล้วนแต่เป็นงานทดลองด้านการเกษตรและผลิตผลทางการเกษตร อันเป็นอาชีพพื้นฐานของราษฎรไทย เมื่อได้ผลแล้วจึงกระจายไปทั่วประเทศ สวนจิตรลดาจึงเป็นเสมือนโรงงานใหญ่ ที่ผลิตความผาสุก อยู่ดีกินดี ให้พสกนิกรทั่วประเทศทุกหมู่เหล่า