พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัวได้โปรดเกล้าฯพระราชทานชื่อเมืองใหม่ให้ ๒ เมืองที่อยู่ในเส้นรุ้งเดียวกัน แต่อยู่คนละฝั่งอ่าวไทยให้เป็นเมืองคู่กัน คือ “เมืองนางรมย์” ซึ่งอยู่ฝั่งตะวันตก กับ “เกาะกง” ซึ่งอยู่ฝั่งตะวันออก ให้มีชื่อคล้องจองกัน โดยมีประกาศเมื่อวันอังคาร เดือน ๘ ขึ้น ๑๓ ค่ำ ร.ศ.๗๔ ซึ่งตรงกับวันที่ ๒๖ มิถุนายน พ.ศ.๒๓๙๘ มีข้อความว่า
“ขุนสารประเสริฐรับพระบรมราชโองการใส่เกล้าฯ ทรงพระกรุณาโปรดเกล้าฯ สั่งว่า เมืองนางรมย์โปรดเกล้าฯให้เรียกว่า เมืองประจวบคิรีขันธ์ กับที่เกาะกงนั้นโปรดเกล้าฯให้เรียกว่า เมืองปัจจันตคิรีเขตร ให้กรมวังหมายไปยัง กรมพระกลาโหม กรมท่า กรมพระศุภรัต สัสดีซ้ายขวา ให้เรียกชื่อเมืองทั้ง ๒ ให้ถูกต้องตามรับสั่ง”
เกาะกงนั้นเป็นจังหวัดหนึ่งของไทย มีคนไทยอยู่เป็นจำนวนมาก รวมทั้งตระกูลของ พล.อ.เตีย บันห์ รองนายกรัฐมนตรีและรัฐมนตรีกลาโหมของกัมพูชาในปัจจุบัน ซึ่งให้สัมภาษณ์ทีวีด้วยภาษาไทยสำเนียงคนจันทบุรีตราดได้ชัดเจน
เมื่อฝรั่งเศสยึดญวนและเขมรได้แล้ว ก็พยายามรุกเข้าลาวซึ่งอยู่ในความปกครองของไทย และพยายามบีบไทยทุกวิถีทาง โดยถือว่ามีอาวุธที่เหนือกว่า เมื่อเกิดกบฏฮ่อขึ้นในแคว้นสิบสองจุไทย และไทยกำลังจะยกกำลังไปปราบ ฝรั่งเศสก็ชิงส่งทหารเข้าไปปราบเสียก่อน อ้างว่าเพื่อช่วยไทย แต่เมื่อปราบฮ่อได้แล้วฝรั่งเศสก็ไม่ยอมถอนทหารออก ถือโอกาสยึดครอง เพราะมีเป้าหมายจะยึดดินแดนฝั่งซ้ายแม่น้ำโขงทั้งหมด
ในที่สุดวันประวัติศาสตร์ที่คนไทยจะต้องจดจำก็คือ วันที่ ๑๓ กรกฎาคม ๒๔๓๖ ที่ฝรั่งเศสส่งเรือรบ ๒ ลำฝ่าแนวยิงของป้อมพระจุลฯ เข้ามาจอดหน้ากงสุลฝรั่งเศสในกรุงเทพฯ และยังเรียกเรือรบจากฐานทัพไซ่ง่อนอีก ๑๐ ลำมาร่วมปิดอ่าวไทย ต่อมาได้ส่งทหารขึ้นยึดเกาะสีชังเมื่อวันที่ ๒๗ กรกฎาคม จนการค้าขายต้องหยุดชะงักหมด ยื่นเงื่อนไขให้ไทยถอนทหารออกจากฝั่งซ้ายแม่น้ำโขงทั้งหมดภายใน ๑ เดือน ให้วางเงินทันที ๒ ล้านฟรังก์เป็นค่าทำขวัญบุตรภรรยาทหารฝรั่งเศสที่บาดเจ็บล้มตายจากการปะทะ หรือไม่ก็ต้องให้ฝรั่งเศสมีอำนาจเก็บภาษีที่เมืองพระตะบองและเสียมราฐ ยื่นข้อเรียกร้องทั้งหมด ๖ ข้อให้ไทยตอบภายใน ๔๘ ชั่วโมง
รัฐบาลสยามรู้ดีว่าข้อเรียกร้องของฝรั่งเศสเป็นเรื่องอยุติธรรม แต่ก็ไม่อาจปฏิเสธได้ พยายามต่อรองบ่ายเบี่ยงแต่ก็ไม่สำเร็จ ในที่สุดก็ต้องยอมลงนามในสัญญาข้อเรียกร้องของฝรั่งเศสในวันที่ ๓ ตุลาคม
กระนั้นพฤติกรรมเยี่ยงหมาป่าก็ยังไม่ยุติ ในระหว่างที่ทั้งสองฝ่ายออกสำรวจปักปันเขตแดนนั้น ฝรั่งเศสขอยึดเมืองจันทบุรีไว้ก่อน เพื่อให้ไทยปฏิบัติตามสัญญา ทั้งนี้เพราะฝรั่งเศสเห็นว่าจันทบุรีเป็นจุดยุทธศาสตร์สำคัญ ซึ่งไทยก็ต้องยอมอีก
ฝรั่งเศสยึดจันทบุรีตั้งแต่ พ.ศ.๒๔๓๖ แต่เมื่อปักปันเขตแดนเสร็จสิ้น ฝรั่งเศสกลับหน่วงเหนี่ยวประวิงเวลา และบีบคั้นให้ไทยเซ็นสัญญาอีกฉบับ ยอมยกดินแดนฝั่งขวาของแม่น้ำโขง ซึ่งได้แก่เมืองหลวงพระบางฝั่งขวาและเมืองจำปาศักดิ์ โดยฝรั่งเศสจะยอมผ่อนคลายสิทธิ์สภาพนอกอาณาเขตให้ การผ่อนคลายนี้หมายถึงยกให้แก่คนเอเชียในบังคับของฝรั่งเศส แต่ยังไม่ยอมยกเลิกแก่คนฝรั่งเศส
ไทยก็ต้องยอมอยู่ดี เซ็นสัญญาตามที่ฝรั่งเศสเรียกร้องนี้เมื่อวันที่ ๑๓ กุมภาพันธ์ พ.ศ. ๒๔๔๖ เพื่อแลกกับจันทบุรีกลับคืน
แต่แล้วชั้นเชิงแบบหมาป่าก็ยังไม่สิ้น เพื่อเป็นหลักประกันให้ไทยปฏิบัติตามสัญญานี้ ฝรั่งเศสขอยึดจังหวัดตราดและเกาะทั้งหลายตั้งแต่แหลมสิงห์ในอำเภอแหลมงอบ รวมทั้งเกาะกงซึ่งขณะนั้นเป็นจังหวัดประจันตคีรีเขตของไทย ให้อยู่ในความปกครองของฝรั่งเศส และต้องรอให้ทั้งสองฝ่ายทำการสำรวจเส้นพรมแดนตามสัญญานี้ให้ฝรั่งเศสเสร็จเสียก่อน ฝรั่งเศสจึงจะยอมถอนทหารออกจากจันทบุรี
ไทยเราก็ต้องยอมเช่นเคย การสำรวจเสร็จสิ้นลงในวันที่ ๙ ธันวาคม พ.ศ. ๒๔๔๗ ฝรั่งเศสจึงยอมถอนทหารออกจากจันทบุรีในวันที่ ๑๒ มกราคมต่อมา
ความกระเหี้ยนกระหือรืออยากได้ดินแดนไทยของฝรั่งเศสยังไม่จบ มีจิตรกรฝรั่งเศสคนหนึ่ง ชื่อ อองรี อูโมต์ ได้เขียนรูปนครวัดนครธมไปเผยแพร่ ฝรั่งเศสเห็นเป็นสิ่งมหัศจรรย์เลยอยากได้ไว้เป็นสมบัติของตัว รวมทั้งอยากได้ทะเลสาบเสียมราฐอันกว้างใหญ่ ซึ่งเป็นแหล่งอาหารอุดมสมบูรณ์ จึงเสนอแลกตราดกับเสียมราฐ พระตะบองและศรีโสภณซึ่งเป็นมณฑลบูรพาของไทย ไทยอยากได้ตราดซึ่งมีคนไทยอยู่คืนมาจึงยอมอีก
ในสัญญาฉบับใหม่ที่ ลงวันที่ ๒๓ มีนาคม พ.ศ. ๒๔๔๙ ไทยต้องยกมณฑลบูรพา อันประกอบด้วย พระตะบอง เสียมราฐ และศรีโสภณให้แก่ฝรั่งเศส ฝรั่งเศสยอมคืนเมืองด่านซ้าย ซึ่งก็คืออำเภอด่านซ้ายของจังหวัดเลยในปัจจุบันให้ไทย รวมทั้งจังหวัดตราดและเกาะทั้งหลายตั้งแต่แหลมสิงไปจนถึงเกาะกูด แต่ไม่ยอมคืนจังหวัดประจันตคีรีเขตด้วย
เป็นอันว่าเกาะกง หรือ จังหวัดประจันตคีรีเขตร จึงต้องหลุดไปอยู่กับฝรั่งเศสตั้งแต่นั้นเป็นต้นมา จนเป็นส่วนหนึ่งของเขมรในขณะนี้ ตอนนั้นมีคนไทยที่ไม่ยอมอยู่ใต้การปกครองของฝรั่งเศส ได้สละบ้านช่องย้ายมาอยู่เกาะกูดและจันทบุรีเป็นจำนวนมาก คนเขมรจากเมืองต่างๆจึงย้ายเข้ามาแทนที่ จนเหลือเชื้อสายไทยอยู่ในเกาะกงเป็นส่วนน้อย
“จังหวัดประจันตคีรีเขตร” เมืองคู่แฝดของ “จังหวัดประจวบคีรีขันธ์” จึงเหลืออยู่แต่เพียงชื่อไว้ในประวัติศาสตร์เท่านั้น