อลงกรณ์เจดีย์และอนุสาวดีพระนางเรือล่ม
และเมื่อ พ.ศ. 2424 ได้โปรดเกล้าฯให้สร้า้งพระอนุสาวรีย์เป็นรูปปิรามิดด้วยแผ่นอิฐ เพื่อบรรจุอังคารของสมเด็จพระนางเจ้าสุนันทากุมารีรัตน์ ที่ทรงเคยเสด็จมา ณ ที่แห่งนี้
ทรงโปรดให้จารึกอักษรข้อความไว้ว่า "ระลึกถึงความรัก แห่งสมเด็จพระนางเจ้าสุนันทากุมารีรัตน์ พระบรมราชาเทวีอรรคมเหสี ซึ่งเสด็จทิวงคตแล้ว ด้วยเธอได้มาถึงที่นี่เมื่อจุลศักราช 1236(พ.ศ.2417) โดยความยินดีชอบใจอนุสาวรีย์นี้สร้างขึ้นโดยจุฬาลงกรณ์บรมราชผู้เป็นราชสวามี อันมีความทุกข์เพราะเธอเป็นอย่างยิ่ง ในจุลศักราช 2413 (พ.ศ.2424)"
ต่อมาทั้งอลงกรณ์เจดีย์และอนุสาวดีพระนางเรือล่ม ชำรุดทรุดโทรมลงมาก จังหวัดจันทบุรีและกรมศิลปากรจึงร่วมกันบูรณขึ้นใหม่ตามแบบเดิม เมื่อ พ.ศ. 2508 แต่แผ่นดินอ่อนที่จารึกข้อความนี้ไว้ได้สูญหายไปเสียแล้ว