เมื่อสมเด็จกรมพระยาดำรงราชานุภาพได้รับโปรดเกล้าฯเข้ารับตำแหน่งเสนาบดีกระทรวงมหาดไทยในขณะประเทศชาติกำลังอยู่ในสถานการณ์วิกฤตจากการล่าอาณานิคมนั้น ทรงต้องปรับปรุงการปกครองของประเทศขึ้นใหม่รับสถานการณ์เปลี่ยนแปลงของโลก ทรงเสด็จไปทั่วประเทศในยามที่การคมนาคมยังลำบาก เพื่อแบ่งการปกครองเป็นมณฑล จังหวัด และอำเภอ ตามสภาพความเป็นจริงของภูมิประเทศและเพื่อความสะดวกของราษฎร ซึ่ง ม.จ.หญิงพูนพิศมัย ดิศกุล ได้ทรงนิพนธ์ “ชีวิตและงานของสมเด็จกรมพระยาดำรงราชานุภาพ” เล่างานของกรมพระยาดำรงฯในตอนนั้น ทำให้เห็นว่าเราสร้างบ้านสร้างเมืองกันมาอย่างไร และได้เห็นบรรยากาศของบ้านเมืองในยุคนั้น ดังมีความว่า
“การปกครองในสมัยก่อน พ.ศ.๒๔๓๕ นั้น ยังปกครองตามแบบกรุงศรีอยุธยา คือแบบจตุสดมภ์ มี ๔ เสนาบดี เวียง วัง คลัง นา แยกปกครองกันคนละทิศ แต่เมื่อเหตุการณ์เปลี่ยนแปลงไปในทางตะวันตกประเทศแล้ว จึงจำต้องจัดการปกครองอย่างใหม่ขึ้นให้ทันเวลา ดังมีพระราชดำรัสกับสมเด็จกรมพระยาดำรงราชานุภาพเมื่อโปรดเกล้าฯให้ย้ายมาเป็นเสนาบดีกระทรวงมหาดไทยนั้น
เสด็จพ่อทรงเล่าว่า – ท่านเสด็จมากระทรวงมหาดไทยแต่พระองค์เดียว กับพระมนตรีพจนกิจ (ม.ร.ว.เปีย มาลากุล) ผู้เป็นเลขานุการส่วนพระองค์ในกระทรวงศึกษาธิการ ด้วยทรงตั้งพระทัยแน่วแน่จะไม่มีพวก จะเลือกเอาแต่ผู้ทำงานได้จริง ในเวลาแรกเสด็จไปไม่ได้ทรงแก้ไขอะไรเลย ไปประทับทอดพระเนตรการงานที่เขาทำกันทุกแผนก และประทับอยู่ในห้องเจ้าคุณราชวรานุกูล (ส่วน) ผู้เป็นปลัดทูลฉลองโดยมาก จนกระทั่งทรงทราบการงานที่ทำอยู่โดยละเอียดแล้วจึงทรงคิดแก้ไข โดยกราบทูลขอตั้งมณฑล และจังหวัด อำเภอ ขึ้นตามท้องที่ ด้วยเอาแผนที่สยามซึ่งพระองค์ท่านเองได้ทรงควบคุมเจ้าหน้าที่ทั้งฝรั่งและไทยจัดตั้งกรมแผนที่ขึ้นเมื่อ พ.ศ.๒๔๒๘ ในเวลาทรงอยู่ราชการทหาร ตรัสเล่าว่าเอาแผนที่ปูขึ้นบนโต๊ะ มีพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวและพระองค์ท่าน ๒ องค์เท่านั้นยืนคิดตามแผนที่ ว่าจะเอาภูเขาและทางน้ำเป็นขอบเขตมณฑลและจังหวัดต่อไป แล้วจึงลงมือออกตรวจพื้นที่และเลือกคนทำงาน ทรงเล่าถึงเหตุการณ์ในตอนนั้นสนุกนัก เพราะเมืองต่างๆไม่มีอยู่บนพื้นดิน โดยมากอยู่ตามท้องน้ำ มีเรือนแพหรือแพอยู่ทั่วไป จวนเจ้าเมืองเป็นที่ว่าการ เป็นศาล เป็นคุกเสร็จไปในตัว เจ้าเมืองเองก็ได้เพียงค่าตอกตราใบละ ๑ ตำลึง คือ ๔ บาท พระองค์ท่านและสมเด็จกรมพระยาเทววงษ์วโรปการ เป็นเสนาบดีคู่แรกที่ได้รับพระราชทานเงินเดือนๆละ ๑,๐๐๐ บาทเป็นปฐม
มณฑลพิษณุโลกเป็นมณฑลแรกที่จัดตั้งขึ้น เพราะทรงพบเจ้าพระยาสุรสีห์วิสิษฐ์ภักดี (เชย กัลยาณมิตร) เข้า จึงแน่พระทัยว่าจะทำได้ เสด็จพ่อทรงถือว่าการเลือกคนให้ถูกที่เป็นสิ่งสำคัญยิ่งกว่าสิ่งใดๆ ข้าพเจ้าเคยได้ยินท่านตรัสกับพวกข้าราชการ มีเทศาฯเป็นต้น อยู่เสมอว่า
“การเลือกคนใช้ให้เหมาะแก่ตำแหน่งเป็นสิ่งสำคัญสำหรับผู้เป็นนายคน การที่จะรู้ว่าถูกหรือผิดนั้นจะต้องขยันเอาใจใส่ดูอยู่เสมอว่า ผลงานที่เขาทำนั้นเป็นอย่างไร ถ้าเขาทำได้ดีก็ต้องยอมให้ว่าเป็นความดีของเขาเอง เราจะรับเอาไว้แต่เพียงว่าเลือกคนถูก แต่ถ้าเขาทำผิดเราต้องรับเสียเอง ว่าเพราะเราเลือกเขา ๆจึงมีโอกาสทำผิด ทั้งนี้เพราะอำนาจอยู่ที่ไหน ความรับผิดชอบต้องอยู่ที่นั่นด้วย”
เมื่อมีผู้ใดโดยเฉพาะพวกฝรั่งทูลถามว่า “เอาเกณฑ์อะไรเลือกคน จึงเลือกได้ถูกเสมอ” เช่นเจ้าพระยาสุรสีห์ฯไปเป็นข้าหลวงประจำเชียงใหม่ พูดอังกฤษก็ไม่ได้สักคำเดียว แต่กงสุลอังกฤษเกรงใจและเชื่อทุกอย่าง จนถึงกระทรวงต่างประเทศถามว่า ทำอย่างไรกัน กงสุลคนนั้นซึ่งเก่งกาจไม่น้อย จึงกลับตามเจ้าพระยาสุรสีห์ฯไปทุกอย่าง กลางคืนว่ากลางวันกงสุลก็เห็นด้วย โดยมากท่านตอบด้วยทรงพระสรวล หรือมิฉะนั้นก็ว่า มันฟลุกซ แต่กับพวกเราท่านทรงอธิบายว่า
“ถ้าเรียกผู้ใดมาสั่งงานจะให้ไปรับตำแหน่งใหม่ ผู้นั้นตอบรับว่าได้โดยเร็ว และอ้ายนั่นก็ทำได้อ้ายนี่ก็ง่าย ละก็เตรียมหาคนใหม่ไว้ทันที แต่ถ้าคนใดหนักใจซักถามถี่ถ้วน เห็นความลำบากละก็ เรานอนตาหลับได้”
การเสด็จออกตรวจราชการก็มีอยู่เสมอทั้งที่รถไฟก็มีอยู่เพียงอยุธยาและโคราช รถยนต์ก็ยังไม่มี จึงมีแต่ม้า ช้าง เกวียน และเรือ เสด็จพ่อได้เสด็จตรวจการทุกหัวเมือง เว้นแต่เมืองเลยเมืองเดียวที่ไม่ได้เสด็จ ทางเสด็จจะเห็นได้ในหนังสือนิทานโบราณคดีแล้ว ท่านได้ทรงชี้ที่ปลูกศาลากลางแทบจะทุกเมือง ถึงเวลามีงานวันประสูติพิเศษ จึงทรงทำนาฬิกาตั้งส่งไปประทานทุกศาลากางเพื่อเป็นที่ระลึก แต่มีคำสั่งเด็ดขาดว่าไม่ให้ติดพระรูปพระองค์ท่านหรือให้ชื่ออะไรว่า “ดำรง” เจ้าคุณรัชฎาฯ (ซิมบี้ ณ ระนอง) เคยซื้อสวนยางในนามท่าน เคยถูกต่อว่าและขออย่าให้ทำ เจ้าคุณทูลตอบว่าที่ทำเช่นนั้น เพราะจะล่อให้ราษฎรเชื่อว่าทำสวนยางดี จะได้ตามไปทำบ้างเท่านั้น
ส่วนการตั้งเมืองท่านทรงเล่าว่า โบราณเขาเอาที่มีน้ำและที่ราบทำนาได้เป็นหลัก และระยะเมืองก็เอาเกณฑ์ตีนเดินแต่เช้ามืดถึงเย็นเป็นที่หยุดพัก ระยะทางจึงอยู่ในระยะ ๖๐ กิโลเมตร ดังเช่น นครปฐม ราชบุรี เพชรบุรี เป็นต้น ในสมัยของพระองค์ท่านเอาความสะดวกของราษฎรเป็นหลัก เช่นถ้าทางน้ำเปลี่ยนใหม่ ไม่สะดวกแก่การคมนาคม ราษฎรมักจะย้ายไปตามน้ำ ถ้าเลือกที่ได้ถูกต้องมั่นคงก็ย้ายเมืองตามไป ถ้าไม่ถูกต้องก็แก้ไขให้เข้าใจกัน เมืองสมัยนั้นคือศาลากลางอยู่ที่ไหนที่นั่นคือเมือง สมัยนี้เห็นแต่เขาเรียกตลาดว่าเมืองกัน เหตุนี้ดอกกระมังจึงจำต้องมี หลักเมือง
การเสด็จตรวจราชการของเสด็จพ่อนั้น ตอนเช้าราว ๙ โมงเสด็จไปยังศาลากลาง (ซึ่งงานเต็มมือ เพราะกระทรวงอื่นๆยังไม่มีเงิน มีคนพอจะออกไปตามหัวเมืองได้ จึงต้องฝากงานไว้กับมหาดไทยโดยมาก มีกรมแร่ธาตุ กรมป่าไม้ อัยการ เป็นต้น) ศาล โรงตำรวจภูธร คุก แล้วแวะเยี่ยมตามวัดและพ่อค้าในตลาด เสด็จกลับมาเสวยกลางวันที่พักพร้อมผู้ตามเสด็จ ตั้งแต่เทศาฯ เจ้าเมือง ลงไปถึงผู้ใหญ่บ้าน ถ้าที่มีพอทุกคนก็นั่งโต๊ะด้วย พวกเราผู้หญิงมีหน้าที่ทำกับข้าว จัดโต๊ะรับแขก แต่ได้นั่งกินด้วย ตอนนี้แหละที่ข้าพเจ้ามักจะได้ยินท่านสั่งงานและคุยกับคนทั่วๆไปอยู่เสมอ เสวยแล้วทรงพักบรรทม ๑ ชั่วโมง โดยมากเวลาบ่าย ๑๕ น. แม้ไม่บรรทมหลับก็ทรงพระอักษร เพราะตรัสว่าร่างกายมันมีเครื่องจักรเหมือนกัน ต้อให้มันพักบ้าง ๑๖ น.ตรงเสด็จลุกขึ้นแต่งพระองค์ ตอนนี้เราได้ตามเสด็จด้วย เพราะเสด็จไปตามโบราณสถาน ทำการขุดค้น ไต่ถามพวกพื้นเมือง กว่าจะกลับราวค่ำมืด ถึงเวลาสรงน้ำและเสวยเย็นพร้อมกับเทศาฯ เจ้าเมือง จนราว ๒๑ น.จึงทรงพักทรงพระอักษร และเข้าบรรทมราว ๒๒ น.
ถ้าเป็นเวลาเดินป่าโดยกระบวนม้า เสด็จออกแต่เช้ามืด ถ้าทางไกลมากก็ออกแต่มืดๆ เอาแสงจันทร์เป็นแสงสว่าง มีตำวจภูธรชั้นนายสิบเป็นผู้นำทางคนเดียว ต่อมาก็มีหญิงเหลือและข้าพเจ้า บางทีก็มีชายดิศฯด้วย แล้วถึงเทศาฯ ข้าราชการ และมหาดเล็ก ทุกคนมีข้าวหลามเหน็บอานม้าไปคนละกระบอก ไข่ไก่ต้มคนละใบ กับห่อเกลือพริกไทยใส่ไปในกระเป๋าเสื้อ แรกๆออกเดินทางท่านคุยกับผู้นำไปเรื่อยๆ จนราวถึง ๑๐-๒๐ นาทีท่านตรัสว่า ต้องให้ม้ามันรู้จักใจเราเสียก่อนถึงค่อยใช้มัน แล้วก็หันมาตรัสถามเราว่า “พร้อมหรือยัง” พอทูลว่า “พร้อมแล้ว” ท่านก็บอกผู้นำว่า “ไป” คำเดียว แล้วก็ออกวิ่งกันสนุก วิ่งไปสัก ๑๐ นาทีก็หยุดเดินเตาะแตะกันไปใหม่ ท่านว่าถ้าเราเหนื่อยม้ามันก็เหนื่อยเหมือนกัน วิ่งๆ หยุดๆ อย่างนี้จนถึงเที่ยงจึงหยุดกินกลางวัน บางทีก็ที่วัด ที่หมู่บ้าน ที่ต้นไม้ เอาผ้าเอากระดาษปูนั่ง ถ้าลมเย็นๆ กินแล้วหลับไปพักใหญ่ก็มี แต่เสด็จพ่อท่านไม่เคยหลับเลย อย่างดีก็พิงหลับพระเนตรครู่เดียวแล้วก็ออกสำรวจคุยกับผู้คนมีพระภิกษุเป็นต้น พอราวบ่าย ๑๔ น. ก็เริ่มเดินทางตอนบ่าย ซึ่งโดยมากไม่มีวิ่งเลยนอกจากทางยังไกลมาก ถึงที่พักแรมก็เกือบๆค่ำ พอมีเวลาพอทำกับข้าวเลี้ยงกัน เพราะกองเกวียนเขามักจะมาถึงที่พักแรมก่อน หรือมิฉะนั้นก็หลังเรานิดหน่อย พอกินเย็นพร้อมๆกันแล้วก็หลับเป็นตายไปทุกคน วันแรกๆยังมีเสียงครางสัก ๒ คืน เพราะพลิกตัวทีก็ปวดไปหมด พอ ๒ วันแล้วก็เคยไปเอง ข้าพเจ้ายังนึกสนุกไม่หายเลย อีกประการหนึ่ง ที่พักแรมหรือที่เรียกกันว่าพลับพลาป่านั้น เป็นเรือนไม้ไผ่มุงด้วยใบพลวง พิ้นเป็นฟาก ไม่มีตะปูสักตัว เพราะเขาใช้ตอกมัด ตามเสาตามฝาเขาเอาไม้กระบอกไม้ไผ่ใส่เฟินบ้าง กล้วยไม้บ้าง ตกแต่งติดห้อยเป็นระยะสวยงาม ส่วนแคร่ไม้ไผ่ใต้ต้นไม้ก็แสนจะร่มเย็นเป็นสุข น่าเสียดายที่เด็กรุ่นใหม่จะไม่ได้เห็นของเช่นนั้น เสด็จพ่อกราบทูลให้พระบาทสมเด็จพระเจ้าอยู่หัวเสด็จประพาสหัวเมืองโดยไม่มีโปรแกรม และให้ราษฎรถวายฎีกาฟ้องร้องได้ตั้งแต่เสนาบดีลงไป ส่วนพระราชหัตถ์เลขาถึงเทศาฯนั้น ท่านขอให้พระราชทานว่า ไม่ต้องผ่านพระองค์ท่านก่อน
การเสด็จไปกระทรวงมหาดไทยเป็นประจำวันนั้น ท่านเสด็จขึ้นทางบันไดหลังบ้าง บันไดหน้าบ้าง เพื่อทอดพระเนตรให้ทั่วถึง ท่านตรัสว่า การรักษาความสะอาดและหาคนดีใช้นั้น ต้องทนเหนื่อยเอา แม้เสด็จมาอยู่หอพระสมุดและมิวเซียมแล้วก็ยังทรงทำเช่นนั้น คือทรงพระดำเนินเป็นรอบๆไปทั่ว และมักจะหยุดทอดพระเนตรคนทำงานตามโต๊ะ บางทีทรงเห็นคนลายมือดีก็สั่งให้ย้ายไปอยู่ทางขีดเขียนคัดลอก ถ้าคนใดอ่านหนังสือท่านก็หยุดดูว่าหนังสืออะไร วันหนึ่งกลับมาแล้วตรัสกับเราว่า “ทั้งๆดูอยู่เองด้วย ไม่ยอมอยู่ในอำนาจการเพ็ดทูล ก็ยังถูกหลอก เจ้าคนนั้นมันอ่านหนังสืออยู่หน้าเดียว ๓-๔ วันแล้ว คงนึกว่าพ่อไม่สังเกต” แล้วท่านก็ทรงพระสรวล
ครั้งหนึ่งที่กระทรวงมหาดไทยมีห้องเสวยอยู่ข้างห้องเสนาบดี มีโต๊ะกลมราว ๖-๘ คน และมีบ๋อยประจำ ๑ คน พวกเราเด็กๆออกมาวังกับเสด็จพ่อก็ออกไปนั่งคอยอยู่ห้องนี้ เพราะบ๋อยให้กินขนมปังทาเนยโรยน้ำตาล และนั่งดูช้างเผือกอยู่บนขอบหน้าต่างกระทรวง วันหนึ่งพี่ชายข้าพเจ้าซึ่งทำงานอยู่สรรพากรกับมิสเตอร์ไจล์เพราะเพิ่งกลับมาจากยุโรป ซื้อจานข้าวแกงเข้าไปนั่งกินที่โต๊ะในห้องนั้น เผอิญเสด็จพ่อจะเสวยน้ำท่านก็เปิดประตูเข้าไปเรียกบ๋อย พอเจอพี่ชายข้าพเจ้าเข้าเท่านั้น พระพักตร์บึ้งไปทันที ตรัสถามว่า
“เจ้าชาย พวกเธอเขากินที่ไหน”
พี่ชายข้าพเจ้าทูลว่า “ข้างล่าง”
ท่านตรัสว่า “เธอก็ลงไปกินกับเขา ที่นี่ห้องเสนาบดี ไม่มีพ่อลูก”
ข้าพเจ้ามองดูพี่ชายแล้วสงสาร เพราะลุกขึ้นถือจานข้าวนั้นออกไปทันทีทั้งที่กำลังกินอยู่อย่างหิวโหย แต่ถ้าเวลาไรเราเห็นพระพักตร์ท่านตึงแบบนั้นแล้ว พวกเราจะไม่มีใครดิ้อสู้หรือเถียงเลย เพราะรู้ว่าท่านเอาจริง เช่นเดียวกับตำรวจภูธรคนหนึ่ง เขาจะไปจับผู้ร้ายอธิบายว่า จะต้องให้ได้ตัวเพราะกลัวในกรมเสนาบดีท่าน ข้าพเจ้าเถียง่า “กลัวทำไม เสด็จพ่อไม่เห็นน่ากลัวเลย” เขาร้องว่า “อ้าว ฝ่าบาท ไม่รู้จักเสด็จพ่อท่านเป็นคนจริงนะซี เราถึงกลัว” แต่สำหรับข้าราชการคนอื่นๆ ตั้งแต่เทศาฯ เจ้าเมือง ลงมา ไม่เห็นมีใครกลัว ข้าพเจ้ารู้สึกว่าทั้งข้าราชการและเสนาบดี ดูจะรักมากกว่ากลัวกัน ท่านสั่งให้ข้าพเจ้าเรียกท่านผู้ใหญ่ว่า คุณตา คุณลุง คุณอา คุณพี่ จนเรานึกว่าเป็นญาติกันจริงๆ เจ้านายต่างเมืองก็ให้เรียกว่าเจ้าลุง เจ้าอา อยู่เสมอ ข้าพเจ้าเคยทูลถามว่า “เด็จพ่อเอาลูกเล็กๆไปตรวจราชการด้วยทำไม ดูยุ่มย่ามจริงๆ” ท่านตรัสว่า
“อ้าว เธอช่วยพ่อทำราชการยังไม่รู้ตัว ไปถึงไหนคนก็มาหา มาดีก็มี มาฟ้องก็มี ถ้ารายไหนจะเจอกันไม่ได้ พ่อก็บอกเขาให้ไปเล่นกับลูกฉันก่อน ให้เขาพูดกันคนละที เราก็รู้เรื่องจริง”
ท่านตรัสเสมอว่า “อย่ามีพวก เพราะถ้ามีพวกเรา ต้องมีพวกเขาเกิดขึ้น และมากกว่าเสมอด้วย ครั้งหนึ่งเทศาฯคนหนึ่งมาทูลลาจะไปรับตำแหน่งใหม่ ท่านตรัสตอบว่า “เจ้าคุณ อำนาจอยู่ที่ราษฎรเชื่อถือ ไม่ใช่อยู่ที่พระแสงราชศัตรา จะไปอยู่ที่ไหนก็ตาม ถ้าเจ้าคุณทำให้ราษฎรเชื่อถือด้วยความศรัทธาแล้ว ไม่มีใครถอดเจ้าคุณได้แม้ในหลวง เพราะท่านก็ทรงปรารถนาให้ราษฎรอยู่เย็นเป็นสุขเช่นเดียวกัน อีกข้อหนึ่งท่านตรัสว่า อำเภอดีเป็นเจ้าเมืองได้ทุกคน แต่เจ้าเมืองดีเป็นเทศาฯไม่ได้ทุกคน ด้วยทรงอธิบายว่า เพราะเทศาฯต้องใช้ความคิดให้กว้างขวาง ด้วยมีเจ้าเมืองเก่าๆบางคนที่ท่านตรัสบอกตรงๆว่า “เจ้าคุณอย่าเป็นเทศาฯเลยนะ เพราะการณ์มันเปลี่ยนแปลงไปมาก ฉันรู้ว่าเจ้าคุณทำไม่ได้ ถ้าส่งไปทั้งรู้ ก็แปลว่าส่งไปให้เสียชื่อ เท่ากับฉันฆ่าเจ้าคุณเปล่าๆ เอาบำนาญเป็นสุขเมื่อแก่ดีกว่า” เจ้าคุณพวกนั้นหลายคนมิได้โกรธเคือง กลับตามมาทำงานให้หอพระสมุดเปล่าๆอีกด้วย เสด็จพ่อไม่ทรงกริ้วใครต่อหน้าคน ถ้าใครผิดก็เรียกเข้าห้องเสนาบดี พูดชี้แจงขอกันตรงๆ เพราะท่านตรัสว่า ความผิดกับความชั่วไม่เหมือนกัน ถ้าผิดต้องให้โอกาส แต่ถ้าชั่วจนช่วยไม่ได้แล้ว ต้องตัดไปเลย เรื่องศัตรูก็เหมือนกัน ถ้าเราหนีพ้นก็ต้องหนีให้สุดไกล แต่ถ้าหนีไม่พ้นจงเข้าใกล้ จะรู้เสมอว่าเขาทำอะไร และเราทำอะไร ข้าพเจ้าไม่เคยได้ยินคำหยาบคายจากเสด็จพ่อเลยตั้งแต่เกิดมา ถ้ากริ้วใครผิด ท่านก็กลับไปขอโทษแม้พวกมหาดเล็ก
เสด็จพ่อทรงมีความจำแม่นอย่างประหลาด แม้ในเวลาทรงพระชราแล้ว ถ้าเราอ่านข่าวเรื่องพบของโบราณที่อำเภออะไรในหนังสือพิมพ์ ยังไม่ทันออกชื่อเมือง ท่านจะทรงบอกต่อได้ในทันทีว่าอำเภอนั้นอยู่ต่ออำเภอนั้น เวลาไปทางเรือก็จะตรัสบอกได้ทุกแห่งว่า ตรงไหนมีเรื่องราวเกี่ยวกับข้องกับในทางพงศาวดารหรือเรื่องนิทานอะไร เพียงแต่เห็นเขาเป็นเงาๆเท่านั้น ท่านจะทรงบอกได้ทันทีว่าเขาอะไร อยู่ที่ไหน เข้าใจว่าแผนที่สยามอยู่ในพระเนตรท่านตลอดเวลา ถ้าไปทางเรือตามแม่น้ำ ถึงคลองบางแมว เมืองอ่างทอง ท่านจะทรงชี้ให้ดูทุกทีว่า “ตรงนี้เถรขวาดกระโดดลงน้ำเป็นจระเข้” ตรัสว่าเสภาขุนช้างขุนแผนนั้นแผนที่ดีนัก ได้เคยให้สำรวจท้องที่เป็นถูกทุกหมู่บ้านและอำเภอ ด้วยเหตุนี้อย่างหนึ่งที่ทรงเห็นว่าไม่ควรเปลี่ยนชื่อท้องที่ เพราะทำให้เสียความรู้ในทางพงศาวดารว่าแห่งหนตำบลใดแน่ ถ้าเป็นเสด็จทางเรือทะเล คือเรือไฟชื่อนครศรีธรรมราช ไปตรวจทางปักษ์ใต้ก็ลงเรือไปจากกรุงเทพฯ แล้วจอดขึ้นเรือเล็กไปตามสถานที่ต่างๆได้ เดินทางบกโดยกระบวนช้างเป็นแถว ข้าพเจ้ายังเล็กมีพี่เลี้ยงแม่นมไปด้วยคนละข้าง วันแรกๆเมาช้างร้องไห้ไปตลอดทาง หรือเป็นเพราะกลัวช้างด้วยก็ได้ รู้สึกว่ากลัวตั้งแต่ขึ้นเกยไปแล้ว เพราะต้องเหยียบบนคอมัน โดดเข้าไปในกูบซึ่งพี่เลี้ยงเขาขึ้นไปคอยรับอยู่ก่อน จนถึงเที่ยงก็หยุดพักกินข้าวกลางวัน พอบ่าย ๑๔ น.ก็ออกเดินใหม่ถึงบ่าย ๑๗ น.จึงจะถึงที่พัก เมื่อต้องขี่ช้างตั้งแต่ ๕ น.เช้า จนถึง ๕ น.เย็น ทุกวันเข้าก็เลยหายเมาไปเอง แต่มีเจ้าคุณรัษฎาฯ ซิมบี้ ท่านคอยเลี้ยง พอหยุดพักกลางวันเป็นแอบมากวักมือเรียกให้ไปกินทุเรียนกับท่าน เพราะเสด็จพ่อท่านทรงเกลียด พอเห็นก็ไล่ทุกทีว่า “ไปๆ ไปกินให้พ้น” เราเด็กๆชอบ ยังจำท่าทางเจ้าคุณรัษฎาฯท่านนั่งขัดสมาธิจิ้มทุเรียนใส่ปากทีละเม็ดได้ดี
อีกเรื่องหนึ่งคือเรื่องดินฟ้าอากาศ เสด็จพ่อทรงกะไม่ผิดเลย ว่าฤดูนั้นต้องไปทางไหน การตรงต่อเวลาอย่างหนึ่ง ท่านทรงถือมาก ว่าผู้ใดไม่ถือเวลาเป็นสำคัญ ผู้นั้นเป็นคนไม่มีหลัก เชื่อถือไม่ได้เพราะโลเล เวลาของท่านต้องเป๋งทุกที เช่นจะไปรถไฟ พอขึ้นรถก็ต้องออกพอดี ในเวลาเสด็จไปยุโรปใน พ.ศ.๒๔๗๓ พอถึงโฮเตลวันแรกท่านก็ตรัสบอกพวกตามเสด็จทุกคนรวมทั้งเราด้วยว่า “ฉันกินกลางวันบ่ายโมง (๑๓ น.) กินเย็น ๒ ทุ่ม (๒๐ น.) แล้วไม่ตรัสซ้ำอีก พออีก ๑๐ นาทีจะถึงเวลา ท่านเป็นลงไปห้องรับแขก แล้วทอดพระเนตรรูปบ้าง หนังสือนำเที่ยว และของขายบ้าง พอถึงบ่ายโมงเป็นเสด็จเข้าประทับโต๊ะ แม้จะเป็นพระองค์เดียว บ๋อยก็เริ่มเซิฟอาหาร ฉะนั้นถ้าใครเข้าไปทีหลังก็ได้กินอาหารน้อยสิ่ง เพราะผ่านไปเสียแล้ว
อย่างไรก็ตาม เสด็จพ่อได้ทรงทำงานที่สำคัญที่สุดในพระชนมชีพของพระองค์ท่าน คือจัดการปกครองแบบใหม่อยู่ถึง ๒๓ ปี ทรงตั้งมณฑล ๑๘ มณฑล จังหวัด ๑๗ จังหวัด โดยไม่มีลูกของพระองค์ท่านเป็นเจ้าบ้านผ่านเมืองเลยสักคน การเลือกตั้งผู้ใหญ่บ้านกำนันก็ตั้งไว้เพื่อฝึกหัดให้เป็นประชาธิปไตย เมื่อเลือกกันได้แล้วก็ตรัสสั่งไปยังเจ้าเมือง นายอำเภอ ว่าให้เรียกกำนันมาประชุมด้วยทุกครั้ง และให้ถามแกว่าต้องการสะพาน ถนน ตรงไหนๆ และมีอะไรอีกบ้างที่จะต้องการ คำตอบโดยมากก็มีแต่ว่าขอรับ แล้วแต่ใต้เท้าจะเห็นควรเท่านั้น ประชาธิปไตยจึงคงเป็นไปได้เพียงเลือกกำนันผู้ใหญ่บ้านได้เองตลอดมา ส่วนการตำรวจภูธรนั้นโปรดให้พระยาวาสุเทพ (ครูเชาว์ ชาวเดนมาร์ค) เป็นผู้บังคับการ เจ้าคุณผู้นี้ตรวจงานโดยไม่มีกำหนด บางที่ ๒๔ น.ก็ขอติดรถไฟสินค้าไปและหยุดตามสถานีต่างๆและค้างคืนที่นั่น งานตรวจภูธรจึงเรียบร้อยและเร็วเหมือนกันทุกแห่ง จนในหลวงตรัสว่า “ฉันเบื่อโรงตำรวจของกรมดำรงฯ” เพราะเหมือนกันทุกแห่ง
ส่วนการสืบเสาะค้นคว้าในทางพงศาวดารและโบราณคดี เป็นผลพลอยได้จากการมหาดไทย เพราะเผอิญให้ท่านทรงโปรดในทางนั้นอยู่ด้วย เราจึงได้ความรู้กันอย่างสนุกสนาน และยอมรับว่าทานเป็นพระบิดาแห่งประวัติศาสตร์แต่อย่างเดียว บางคนก็ยังมีข้อกังขาว่า สมเด็จกรมพระยาฯท่านรู้ได้อย่างไร ข้าพเจ้าจึงบอกไว้เสียในที่นี้ว่า เสด็จพ่อทรงเรียนโบราณคดีจากพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวและสมเด็จกรมพระยาบำราบปรปักษ์ พระราชโอรสในรัชกาลที่ ๒ ทั้ง ๒ พระองค์นี้ท่านทรงเรียนมาจากพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว ๆ ทรงประสูติในรัชกาลที่ ๑ ๆ ทรงมีพระชันษาถึง ๓๐ ปีเศษแล้วเมื่อกรุงเก่าแตก ฉะนั้นจึงไม่ได้รู้ด้วยการเล่าลือหรือฝันขึ้นมาเอง อีกประการหนึง คนแต่ก่อนความจำท่านแม่นยำ และท่านมักเล่ากันต่อๆมาให้ลูกหลานฟัง เช่นตัวข้าพเจ้าเองก็ได้รู้เรื่องต่างๆจากผู้หลักผู้ใหญ่มาเป็นชั้นๆ และเกิดในรัชกาลที่ ๕ ก็ยังจำ
เหตุการณ์และพบผู้รู้เห็นในรัชกาลนั้นมาตลอด จึงจำได้ไม่ลืมเลือน ผลของการเหนื่อยยากของเสด็จพ่อที่ได้รับเป็นการส่วนพระองค์ นอกจากได้รับพระราทานที่วังถนนหลานหลวงเป็นรางวัลในการจัดตั้งมณฑลได้สำเร็จแล้ว ก็คือได้พระนามว่าเป็น บิดาประวัติศาสตร์
เสด็จพ่อประชวรต้องทรงพักราชการใน พ.ศ.๒๔๕๗ แล้ว หมอตรวจถวายความเห็นว่าทำงานหนักไม่ได้ต่อไป จึงกราบถวายบังคมลาออกจากตำแหน่งเสนาบดีกระทรวงมหาดไทยเมื่อวันที่ ๑๒ สิงหาคม พ.ศ.๒๔๕๗
