สมัยนี้รัฐมนตรีออกตรวจราชการ นั่งรถติดแอร์หรือเครื่องบินและเฮลิคอปเตอร์ไปสบายและรวดเร็ว แต่ย้อนหลังไปในสมัยรัชกาลที่ ๕ ที่ยังไม่มีรถยนต์ ส่วนรถไฟก็ไปได้แค่อยุธยาและโคราช มีแต่ช้าง ม้า เกวียน เรือเป็นพาหนะที่สำคัญ เสนาบดีจึงออกไปตรวจราชการหัวเมืองยามมีศึกสงครามเท่านั้น แต่ในสมัยรัชกาลที่ ๕ มีเหตุการณ์พิเศษที่จะต้องดูแลหัวเมืองให้เป็นปึกแผ่นมั่นคง ถ้าปล่อยให้หละหลวมอย่างที่เป็นอยู่ ก็อาจจะทำให้เสียเอกราชได้ เสนาบดีกระทรวงมหาดไทยที่มีหน้าที่ดูแลการปกครองจึงต้องขี่ม้านั่งเกวียนไปทั่วประเทศ
ด้วยเหตุที่สมเด็จพระปิยมหาราชทรงมีพระราชดำริว่า ขณะนั้นประเทศตะวันตกกำลังตั้งท่าจะรุกรานเมืองไทย ถ้าเราประมาทไม่จัดการบ้านเมืองให้เรียบร้อยแล้ว ก็จะทำให้เสียเอกราชได้ จึงทรงหาบุคคลที่ทรงไว้วางพระราชหฤทัยที่สุดมารับหน้าที่ดูแลการปกครอง โปรดเกล้าฯย้าย พระเจ้าน้องยาเธอ กรมหมื่นดำรงราชานุภาพ ซึ่งดำรงตำแหน่งอธิบดีกระทรวงธรรมการ มาเป็นเสนาบดีกระทรวงมหาดไทยที่จะตั้งขึ้น ขณะนั้นกรมหมื่นดำรงฯได้ทรงแต่งแบบเรียนเร็วขึ้นมาเพื่อให้เด็กอ่านออกภายใน ๓ เดือน โดยเพิ่มสร้อยตัวอักษรเป็น ก.ไก่ ข.ไข่ เพื่อให้เด็กจำง่าย ทั้งทรงผูกเรื่องให้เด็กสนใจ เช่น “ตาโป๋เป่าปี่ ตาหวังหลังโกง” และทรงฝังพระทัยอยู่กับงานของกระทรวงธรรมการที่จะสร้างคนออกไปทำงานให้ชาติ แต่พระเจ้าอยู่หัวรับสั่งว่า พระองค์ก็เชื่อว่ากรมสมเด็จจะทำงานในกระทรวงธรรมการได้ดี แต่เรื่องสำคัญของบ้านเมืองยังมีมากกว่านั้น เมื่อเสียเอกราชไปแล้วกระทรวงธรรมการจะดีอยู่ได้หรือ การรักษาพระราชอาณาเขตโดยจัดการบ้านเมืองให้เรียบร้อย จึงเป็นงานที่สำคัญกว่า และงานนั้นก็เป็นงานของกระทรวงมหาดไทยยิ่งกว่ากระทรวงอื่น
กรมหมื่นดำรงราชานุภาพขณะมีพระชนมายุ ๓๐ ปี ได้รับพระบรมราชโองการแต่งเป็นเสนาบดีเมื่อวันที่ ๑ เมษายน พ.ศ.๒๔๓๕ พร้อมกับทรงสถาปนากระทรวงมหาดไทยด้วย จึงถือกันว่า กรมหมื่นดำรงราชานุภาพทรงเป็น “พระปฐมเสนาบดีกระทรวงมหาดไทย”
ตอนนั้นการปกครองของสยามยังเป็นตามแบบกรุงศรีอยุธยา คือแบบจตุสดมภ์ มี ๔ เสนาบดี เวียง วัง คลัง นา เมื่อทรงเข้ารับตำแหน่งนั้นสมเด็จกรมดำรงยังไม่ได้ทรงแก้ไขอะไรเลย ศึกษางานทุกแผนกที่ทำกันอยู่ ตอนนั้นเมืองต่างๆไม่มีอยู่บนพื้นดิน โดยมากอยู่ตามท้องน้ำเป็นเรือนแพ จวนเจ้าเมืองที่ว่าราชการ ก็เป็นทั้งศาล เป็นคุกไปในตัวเสร็จ เจ้าเมืองก็ไม่มีเงินเดือน มีรายได้จากค่าตอกตราใบละ ๑ ตำลึง หรือ ๔ บาท มีสมเด็จกรมหมื่นดำรงฯกับสมเด็จพระยาเทววงษ์วโรปการเป็นเสนาบดีคู่แรกที่ได้รับพระราชทานเงินเดือน ๑,๐๐๐ บาท
เมื่อทรงทราบงานต่างๆที่ทำอยู่โดยละเอียดแล้ว จึงกราบทูลขอแก้ไขตั้งเป็นมณฑล จังหวัด อำเภอขึ้นตามท้องที่ ทรงนำแผนที่สยามครั้งที่พระองค์ทรงเป็นทหารและควบคุมเจ้าหน้าที่ทั้งฝรั่งและไทยจัดทำมาเมื่อครั้งตั้งกรมแผนที่ใน พ.ศ.๒๓๒๘ ออกมากางร่วมกับพระบาทสมเด็จพระจุลจอมเกล้าฯเพียง ๒ พระองค์ กำหนดคร่าวๆตามแผนที่ว่าจะเอาภูเขาและทางน้ำเป็นของเขตมณฑลและจังหวัดต่อไป จากนั้นก็ทรงออกตรวจพื้นที่และเลือกคนที่เหมาะสมเข้ารับตำแหน่งงานโดยไม่ยึดถือพวก
ทรงรับสั่งว่า “อย่ามีพวก เพราะถ้ามีพวกเราก็ต้องมีพวกเขาเกิดขึ้น และมากกว่าเสมอด้วย” และทรงรับสั่งกับเทศาฯคนหนึ่งว่า
“เจ้าคุณ อำนาจอยู่ที่ราษฎรเชื่อถือ ไม่ได้อยู่ที่พระแสงราชศัสตรา จะไปอยู่ที่ไหนก็ตาม แต่ถ้าเจ้าคุณทำให้ราษฎรเชื่อถือด้วยความศรัทธาแล้ว ไม่มีใครถอดเจ้าคุณได้ แม้ในหลวง เพราะท่านก็ทรงปรารถนาให้ราษฎรอยู่เย็นเป็นสุขเช่นเดียวกัน”
หม่อมเจ้าหญิง พูนพิสมัย ดิศกุล ได้เล่าไว้ใน “ปาฐกถาเรื่อง สมเด็จฯกรมพระยาดำรงฯ” ถึงเรื่องการเดินทางไปตรวจราชการตอนหนึ่ง ว่า
“ถ้าเป็นเวลาเดินป่าด้วยกระบวนม้า เสด็จออกแต่เช้ามืด ถ้าทางไกลมากก็ออกแต่มืดๆ เอาแสงจันทร์เป็นแสงสว่าง...ทุกคนมีข้าวหลามเหน็บอานม้าไปคนละกระบอก ไข่ต้มคนละใบกับห่อเกลือพริกไทยใส่ไปในกระเป๋าเสื้อ แรกๆออกเดินทางท่านคุยกับผู้นำทางไปเรื่อยๆ จนราว ๑๐-๒๐ นาทีท่านตรัสว่าต้องให้ม้ามันรู้จักเราเสียก่อนถึงค่อยใช้มัน เราก็หันมาตรัสถามเราว่า “พร้อมหรือยัง” พอทูลว่า “พร้อมแล้ว” ท่านก็บอกผู้นำว่า “ไป” คำเดียว แล้วก็ออกวิ่งกันสนุก วิ่งไปสัก ๑๐ นาทีแล้วก็หยุดเกินเตาะแตะไปใหม่ ท่านว่าเราเหนื่อยม้ามันก็เหนื่อยเหมือนกัน วิ่งๆ หยุดๆ ไปอย่างนี้จนถึงเที่ยงก็หยุดกินกลางวัน บางทีก็ที่วัด ที่หมู่บ้าน ที่ใต้ต้นไม้ เอาผ้าเอากระดาษปูนั่ง ถ้าลมเย็นๆกินแล้วหลับไปพักใหญ่ก็มี แต่เด็จพ่อท่านไม่เคยหลับเลย อย่างดีก็พิงหลับพระเนตรครู่เดียวแล้วก็ออกสำรวจและคุยกับคน มีพระภิกษุ เป็นต้น พอราวบ่าย ๒๔ น. ก็เริ่มเดินทางตอนบ่าย ซึ่งโดยมากไม่มีวิ่งเลย นอกจากทางยังไกลมาก ถึงที่พักแรมก็เกือบๆค่ำ พอมีเวลาทำกับข้าวเลี้ยงกันเพราะกองเกวียนเขามักจะมาถึงที่พักแรมก่อน หรือมิฉะนั้นก็หลังเรานิดหน่อย พอกินเย็นพร้อมๆกันแล้วก็หลับเป็นตายไปทุกคน วันแรกๆยังมีเสียงครางสัก ๒ คืน เพราะพลิกตัวทีก็ปวดไปหมด พอ ๒ วันแล้วก็เคยไปเอง ข้าพเจ้ายังนึกสนุกไม่หาย อีกประการหนึ่งที่พักแรม หรือที่เรียกกันว่าพลับพลาป่านั้น เป็นเรือนไม้ไผ่มุงด้วยใบพลวง พื้นเป็นฟาก ไม่มีตะปูเลยสักตัว เพราะเขาใช้ตอกมัด ตามเสาตามฝาเขาเอากระบอกไม้ไผ่ใส่ใบเฟิร์นบ้าง กล้วยไม้บ้าง ตกแต่งห้อยเป็นระยะๆสวยงาม ส่วนแคร่ไม้ไผ่ใต้ต้นไม้ก็แสนจะร่มเย็นเป็นสุข...”
กรมพระยาดำรงราชานุภาพทรงจัดการการปกครองแบบใหม่อยู่ถึง ๒๓ ปี เสด็จตรวจราชการทุกเมือง เว้นเมืองเดียวคือเมืองเลยที่ไม่ได้เสด็จ ทรงชี้ที่ปลูกศาลากลางจังหวัดแทบจะทุกเมือง ในสมัยนั้นศาลากลางอยู่ตรงไหน เมืองก็อยู่ตรงนั้น ต่อมาถือกันว่าที่ใดมีตลาดก็เป็นเมือง ทรงตั้ง ๑๘ มณฑล ๗๑ จังหวัด โดยไม่มีลูกของพระองค์คนใดเป็นเจ้าเมืองเลย ทรงจัดให้มีการเลือกตั้งกำนัน ผู้ใหญ่บ้าน เพื่อปลูกฝังระบบประชาธิปไตย และทรงสั่งเจ้าเมืองกับนายอำเภอให้เรียกกำนันกับผู้ใหญ่บ้านที่ได้รับเลือกตั้งมาประชุม ถามว่ามีปัญหาอะไรบ้าง ต้องการถนน สะพานตรงไหน ซึ่งโดยมากก็รับว่ามี แต่ก็บอกว่า “แล้วแต่ใต้เท้าจะเห็นสมควรครับ” ประชาธิปไตยก็เลยได้แค่เลือกตั้ง
สมเด็จฯ กรมพระยาดำรางราชานุภาพต้องทรงพักราชการใน พ.ศ.๒๔๕๗ และแพทย์ได้ถวายความเห็นว่าทำงานหนักต่อไปไม่ได้ จึงกราบถวายบังคมลาออกจากตำแหน่งเสนาบดีกระทรวงมหาดไทยใน พ.ศ๒๔๕๘ แต่ก็ทรงหันมาทำงานด้านหอสมุดและพิพิธภัณฑ์ จนเป็นที่มาของหอสมุดแห่งชาติและพิพิธภัณฑ์สถานแห่งชาติพระนครในปัจจุบัน ต่อมาใน พ.ศ.๒๔๖๖ พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวได้โปรดเกล้าฯให้กลับเข้ารับตำแหน่งเสนาบดีกระทรวงมุรธาธร
หลังเปลี่ยนแปลงทางการเมือง กรมพระยาดำรงราชานุภาพทรงหลีกหนีความวุ่นวายทางการเมือง พาครอบครัวไปประทับอยู่เกาะปีนัง และประชวรโดยโรคพระหทัยเมื่อญี่ปุ่นบุกเข้ายึดมลายู จึงเสด็จกลับมารักษาในประเทศไทย แต่พระอาการก็ทรงทรุดเรื่อยมา จนสิ้นพระชนม์ในวันที่ ๑ ธันวาคม พ.ศ.๒๔๘๖ ที่วังวรดิศ ถนนหลานหลวง กรุงเทพฯ
ในวันที่ ๒๑ มิถุนายน พ.ศ.๒๕๐๕ ครบ ๑๐๐ ปีวันประสูติ องค์การยูเนสโกได้ประกาศยกย่องให้ สมเด็จฯ กรมพระยาดำรงราชานุภาพทรงเป็นคนไทยคนแรกที่ขึ้นทะเบียนเป็นบุคคลสำคัญของโลก
