Côn Đảo không chỉ nổi tiếng bởi cảnh đẹp kỳ vĩ và những di tích lịch sử trong 2 cuộc chiến tranh cứu nước như: hệ thống nhà tù, nghĩa trang Hàng Dương, khu di tích chị Võ Thị Sáu... Nơi đây còn có nhiều địa danh gắn liền với các sự tích, truyền thuyết, câu chuyện lịch sử được lưu truyền trong nhân gian mà du khách đến Côn Đảo không thể bỏ qua. An Sơn miếu nơi thờ bà Phi Yến vợ vua Nguyễn Ánh (triều Nguyễn) là một nơi như vậy. Ngôi miếu đã được UBND tỉnh Bà Rịa - Vũng Tàu xếp hạng di tích cấp tỉnh.  

Qua tìm hiểu từ sử sách và giới thiệu của hướng dẫn viên du lịch Phạm Thùy Chi, được biết: Bà Phi Yến tên tục là Lê Thị Răm, một phụ nữ tài sắc, yêu nước nhưng cuộc đời gánh chịu nhiều đau thương. Tương truyền, vào cuối thu năm 1783, Nguyễn Ánh mang theo vợ, con và khoảng 100 gia đình thuộc hạ chạy ra Côn Đảo để tránh sự theo dõi của quân Tây Sơn. Cùng với dân chài đang sinh sống ở đây, Nguyễn Ánh lập nên 3 làng An Hải, An Hội và Cỏ Ống. Ở đảo, ông nhận được tin cấp báo quân triều đình thất trận liên tiếp nên bày ra kế sách đưa con trai là hoàng tử Hội An (tên tục là hoàng tử Cải) đi theo cố đạo Bá Đa Lộc sang Pháp làm con tin để cầu viện quân về đánh quân Tây Sơn. Khi nghe kế sách đó, bà Phi Yến đã khuyên chồng: "Thiếp nghĩ, việc đánh quân Tây Sơn ta có thể coi như việc trong nhà, chúa công nên dùng nghĩa binh xứ thì hơn. Bệ hạ nhờ sức mạnh của người ngoài về giải quyết vấn đề nội bộ thì dù ta có thắng Tây Sơn chăng nữa cái thắng ấy cũng chẳng vẻ vang gì, thiếp e còn có lắm điều rắc rối, tai tiếng về sau...” 

Từ lời khuyên can ấy mà Nguyễn Ánh nổi giận, nghi ngờ vợ có ẩn ý thông đồng với quân Tây Sơn bèn hạ lệnh chém đầu bà. Được các quan cận thần can ngăn, bà Phi Yến thoát khỏi tội chết nhưng bị giam cầm vào động đá trên một hòn đảo hoang vắng, cách trung tâm Côn Đảo khoảng 13 km. Hiện nay, hòn đảo này được gọi là Hòn Bà. 

Vừa giam giữ bà Phi Yến xong thì Nguyễn Ánh nhận được tin cấp báo quân Tây Sơn sắp tràn ra đảo. Ông lập tức cùng cung quyến, hoàng tử Cải và tùy tùng xuống thuyền chạy ra đảo Phú Quốc. Hoàng tử Cải lúc đó mới 5 tuổi, trên đường đi không thấy mẹ đâu, hỏi mọi người mới biết mẹ bị nhốt trong hang đá. Hoàng tử gào khóc thảm thiết. Trong cơn tức giận, chúa Nguyễn Ánh nói với các quan, hoàng tử Cải rất có thể mang lòng dạ của người mẹ phản trắc, nếu không trừ trước, sợ sau này sẽ thành kẻ loạn thần, nên Nguyễn Ánh đã xách cổ con trai của mình ném xuống biển. Xác của hoàng tử trôi dạt vào làng Cỏ Ống, được người dân chôn cất và xây cho cậu ngôi miếu nhỏ, hiện được gọi là Thiếu gia miếu.

Về phần bà Phi Yến, sau khi được dân làng giải cứu và biết tin con trai mình đã mất, bà vô cùng đau xót. Đến thăm mộ con, bà khóc thương thảm thiết trong nhiều ngày. Xót xa trước tình cảnh ấy, dân làng đã dựng cho bà ngôi nhà nhỏ gần mộ con để được sớm hôm chăm sóc. Bởi bà Phi Yến tên riêng là Răm, hoàng tử Hội An tên là Cải nên người dân thời bấy giờ đã có câu ca: "Gió đưa cây Cải về trời/ Rau Răm ở lại chịu đời đắng cay”.

Năm 1785, làng An Hội và An Hải tổ chức lễ tế chay cầu mưa thuận gió hòa. Người dân đến rước bà Phi Yến ở làng Cỏ Ống về dự lễ. Trong 4 người khiêng kiệu có tên đồ tể Biện Thi đã lén nhìn thấy dung nhan xinh đẹp của người phụ nữ mới 25 tuổi. Đêm đó, Biện Thi đột nhập vào phòng của bà định dở trò sàm sỡ. Khi hắn vừa động đến cánh tay thì bà kịp phát hiện và tri hô. Dân làng đã bắt tên Biện Thi và xử hắn tội chết. Còn bà Phi Yến, ngay tức khắc đã dùng con dao chặt đứt cánh tay của mình. Song vẫn chưa hết tủi nhục, đêm hôm đó bà treo cổ tự vẫn để vẹn toàn danh tiết. Cảm phục trước hành động của bà, dân làng đã lo việc an táng, lập miếu thờ và phong bà là người phụ nữ "Trung trinh tiết liệt”.

Ngôi miếu nhỏ xinh thờ bà Phi Yến được đặt trong khuôn viên khá rộng, sạch đẹp, quanh năm xanh mát bởi những cây thị cổ thụ, cây phượng bao trùm. Không gian luôn tĩnh lặng, ngày ngày tỏa khói hương của du khách thập phương và người dân trên đảo tới thăm viếng. Hàng năm, vào ngày 18/10 âm lịch, nhân dân tổ chức lễ giỗ bà và thường làm cỗ chay để tưởng nhớ bởi vì một hội chay mà bà phải bỏ mình. Không chỉ là di tích cấp tỉnh, miếu bà Phi Yến nằm trong hạng mục của dự án quy hoạch tổng thể trùng tu, tôn tạo và phát huy tác dụng di tích lịch sử Côn Đảo theo Quyết định số 264/2005/QĐ-TTg của Thủ tướng Chính phủ về đề án phát triển KT - XH huyện Côn Đảo đến năm 2020.