ในประวัติศาสตร์ เขมรไม่เคยอยู่อย่างเป็นตัวของตัวเอง ไม่ฝักไฝ่ญวนก็ฝักไฝ่ไทย ในสมัยกรุงธนบุรี สมเด็จพระอุไทยราชา หรือ นักองตน เจ้ากรุงกัมพูชาเป็นผู้ฝักใฝ่ญวน แต่ญวนเกิดอ่อนกำลังลง ส่วนไทยเข้มแข็งขึ้นอย่างน่าเกรงขาม พระอุทัยราชาทรงเห็นว่าตัวเองเข้าวัยชรา ส่วนนักองนนรามา น้องชายต่างมารดาผู้ฝักใฝ่ไทย ไปตั้งตัวเป็นใหญ่ที่เมืองกำปอด อาจจะไปขอการสนับสนุนจากพระเจ้าตากสินมาชิงราชบัลลังก์ได้ ซึ่งจะเป็นอันตรายแก่ลูกหลานของตนซึ่งจะถูกฆ่าหมด สมเด็จพระอุไทยราชาจึงยอมรับในอำนาจวาสนา เจรจาให้นักองนนรามาขึ้นครองราชย์แทน เป็นสมเด็จพระรามาธิบดี ส่วนพระองค์เองยอมลดองค์ลงมาเป็น สมเด็จพระมหาอุปโยราช เทียบเท่าวังหลัง
พระเจ้าตากสินได้ทรงส่งพระยายมราช (แบน) และขุนนางอีกหลายคน ไปช่วยดูแลความเรียบร้อยในกำพูชาด้วย
ครั้นสมเด็จพระมหาอุปโยราชถึงแก่พิราลัยในปี ๒๓๒๓ สมเด็จพระรามาธิบดีคิดจะกำจัดอิทธิพลญวนให้พ้นเขมร ทำให้ขุนนางที่นิยมสมเด็จพระมหาอุปโยราชไม่พอใจ จึงก่อกบฏจับสมเด็จพระรามาธิบดี เจ้ากรุงกัมพูชาสำเร็จโทษ ทำให้พระยายมราช (แบน) และขุนนางหลายคนที่เป็นข้าสมเด็จพระรามาธิบดี พากันหนีไปเมืองพระตะบอง แล้วแจ้งข่าวการจลาจลมายังกรุงธนบุรี
ใน พ.ศ.๒๓๒๕ ในแผ่นดินพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก โปรดเกล้าฯให้พระยายมราช (แบน)ไปปราบปรามกรุงกัมพูชาจนเรียบร้อย ส่งราชบุตรราชธิดาของสมเด็จอุปโยราช ๔ องค์มากรุงเทพฯ แล้วโปรดเกล้าฯ พระยายมราช (แบน) เป็นฟ้าทะละหะ รักษาเมืองกัมพูชา ตั้งทัพอยู่เมืองอุดงมีชัย
จน พ.ศ.๒๓๓๗ นักองเอง ราชบุตรสมเด็จพระอุปโยราช ที่ถูกนำตัวมาอยู่กรุงเทพฯตั้งแต่ ๑๐ ชันษา มีพระชนม์ ๒๒ ชันษาแล้ว พระบาทสมเด็จพระพุทธยอดฟ้าฯ จึงทรงอภิเษกเป็น สมเด็จพระนารายณ์รามาธิบดี กลับไปครองกรุงกัมพูชา ให้พระยากลาโหม (ปก) ซึ่งเป็นพี่เลี้ยงสมเด็จพระรามาธิบดีมาแต่เยาว์วัย เป็นสมเด็จฟ้าทะละหะ แต่ทรงเห็นว่าจะเข้ากับฝ่ายฟ้าทะละหะ (แบน)ไม่ได้ จึงทรงขอแยกเมืองพระตะบองและเมืองเสียมราฐมาขึ้นกับกรุงเทพฯ โปรดเกล้าฯฟ้าทะละหะ (แบน) ) เป็นเจ้าพระยาอภัยภูเบศร์ ผู้สำเร็จราชการเมืองพระตะบอง พาขุนนางเขมรที่เป็นพรรคพวกแยกมาอยู่เมืองพระตะบอง ซึ่งสมเด็จพระนารายณ์รามาธิบดีและสมเด็จฟ้าทะละหะ (ปก) ก็ยินดีถวาย เมืองพระตะบองและเมืองเสียมราฐจึงขาดกับกัมพูชามาขึ้นกับกรุงเทพฯตั้งแต่บัดนั้นตระกูลของเจ้าพระยาอภัยภูเบศร์ (แบน) ถือได้ว่าเป็นผู้ปกครองเมืองพระตะบองมาตลอด แม้บางช่วงจะมีขุนนางคนอื่นมาขัดตาทัพบ้าง จนถึง พ.ศ.๒๔๓๔ สมัยรัชกาลที่ ๕ โปรดเกล้าฯพระราชทานบรรดาศักดิ์พระคทาธรธรณินทร์ (เยีย) เจ้าเมืองพระตะบองคนที่ ๗ ขึ้นเป็น เจ้าพระยาคทาธรธรณินทร์ จนใน พ.ศ.๒๔๓๕ เจ้าพระยาคทาธรธรณินทร์ (เยีย) ถึงอสัญกรรม จึงตั้งพระยาอภัยพิทักษ์ (ชุ่ม) บุตรเจ้าพระยาคทาธรฯ (เยีย) เป็น พระยาคทาธรธรณินทร์ ผู้ว่าราชการเมืองพระตะบองคนที่ ๘
ใน พ.ศ.๒๔๓๙ โปรดให้รวมหัวเมืองเขมร ๔ เมืองที่เป็นของไทย คือ พระตะบอง เสียมราฐ พนมศก และศรีโสภณ เข้าเป็นมณฑลบูรพา โปรดให้พระยาศักดาภิเดชวรฤทธิ (ดั่น) เป็นสมุหเทศาภิบาลคนแรก ต่อมาทรงตั้งพระยาคทาธรธรณินทร์ (ชุ่ม) ผู้ว่าราชการเมืองพระตะบองเป็นสมุหเทศาภิบาล จนถูกฝรั่งเศสบีบเอามณฑลบูรพาไปใน พ.ศ.๒๔๕๐ พระยาคทาธรธรณินทร์ (ชุ่ม) ไม่สมัครใจไปอยู่กับฝรั่งเศส ยอมทิ้งไร่นาจำนวนมหาศาลในพระตะบอง ขอเป็นข้าทูลละอองกษัตริย์ไทย พระบาทสมเด็จพระจุลจอมเกล้าฯจึงทรงพระกรุณาโปรดเกล้าฯพระยาคทาธรธรณินทร์ (ชุ่ม) ขึ้นเป็น เจ้าพระยาอภัยภูเบศร์ สังกัดกระทรวงมหาดไทย ทั้งยังทรงพระกรุณาเจรจากับฝรั่งเศส ขอให้จ่ายชดเชยค่าไร่นาของเจ้าพระยาอภัยภูเบศร์ด้วย ซึ่งข้าหลวงฝรั่งเศสก็ยินดี ส่วนบริวารที่ติดตามมาเป็นจำนวนมากคงปักหลักฐานอยู่ที่เมืองปราจีนบุรี
เจ้าพระยาอภัยภูเบศร์เป็นคนชอบผจญภัย มักจะออกไปโพนช้างที่ดงมหาโพธิ์ ซึ่งสมัยนั้นยังเป็นป่าทึบ เมื่อครั้งทูลเชิญ ร.๕ เสด็จประพาสป่าดงมหาโพธิ์ในปี ๒๔๕๒ ได้สร้างตึกงามสะดุดตาด้วยศิลปะแบบอาร์ตนูโว ซึ่งเป็นที่นิยมในสมัยนั้น ให้เป็นที่ประทับแรม
ในปี ๒๔๕๔ รัชกาลที่ ๖ เสด็จประพาสปราจีนบุรี ก็ประทับแรมที่ตึกหลังนี้ ต่อมาเจ้าพระยาอภัยภูเบศร์ได้น้อมเกล้าฯถวายเมื่อคราวทรงอภิเษกสมรสกับพระนางสุวัทนา ซึ่งมีพระนามเดิมว่า เครือแก้ว อภัยวงศ์ ธิดาเจ้าพระยาอภัยภูเบศร์ (เลื่อน อภัยวงศ์) ต่อมาพระนางสุวัทนาได้พระราชทานเป็นสถานพยาบาล ซึ่งก็คือโรงพยาบาลอภัยภูเบศร์ซึ่งขึ้นชื่อลือชาเรื่องสมุนไพรในปัจจุบัน
เจ้าพระยาอภัยภูเบศร์ (ชุ่ม) เป็นต้นตระกูล “อภัยวงศ์” และเป็นบิดาของนายควง อภัยวงศ์ ผู้เป็นสมาชิกสำคัญคนหนึ่งของคณะราษฎร ที่เปลี่ยนแปลงการปกครองในปี ๒๔๗๕ และเป็นนายกรัฐมนตรีคนที่ ๔ ของไทย และเป็นถึง ๕ สมัย ซึ่งนายควงเกิดเมื่อปี ๒๔๔๕ ที่เมืองพระตะบอง ขณะเป็นเมืองหนึ่งในมณฑลบูรพาของไทย ระหว่างเป็นนายกรัฐมนตรีนายควงก็ถูกค่อนขอดเสมอว่า เป็น “นายกฯเขมร” แต่นายควงเห็นว่าเป็นเรื่องไม่มีสาระที่จะตอบโต้
เจ้าพระยาอภัยภูเบศร์ (ชุ่ม) สืบเชื้อสายมาจากเจ้าพระยาอภัยภูเบศร์ (แบน) ซึ่งปกครองเมืองพระตะบองสืบทอดกันมาตั้งแต่สมัยรัชกาลที่ ๑ แห่งกรุงรัตนโกสินทร์