Trong phần quy định cúng tế có nhắc đến việc trong văn tế phải có câu “tứ phương nam nữ đẳng chúng cô hồn ở bản xứ Nghĩa Chủng, gồm 450 âm hồn mộ hồn cùng về hưởng”. Số 450 âm hồn ở xứ Nghĩa Chủng có thể là các nghĩa binh khởi nghĩa Cai Vàng tử trận được Bà Ba Cai Vàng âm thầm quy tụ về chôn cất tại đây. Năm 1912 Bà Ba Cai Vàng qua đời, tại miếu Âm Hồn hội Thiện làm đôi câu đối ca ngợi bà như sau:
Tiểu cát phục nhung y kị mã huy kì danh trấn hùng uy nhân Kinh Bắc
Xuất gia quy thiền phái chiêu kinh tịch kệ học thông đức độ phật Như Lai
Nghĩa là:
Phận lẽ khoác áo bào, cưỡi ngựa, phất cờ, danh tiếng oai hùng người Kinh Bắc
Đi tu nương cửa phật, sớm kinh, chiều kệ, học thông đức độ phật Như Lai.
Trong chùa có 3 bia nhỏ gọi là bia hậu, có một bia ghi “Vọng Thiện bi kí”. Bia dựng ngày 1-12 năm Bảo Đại thứ 18 (1943). Mục đích chính của Hội Thiện được nhắc đến là: “Lòng nhân mở rộng, ơn tới dân ta, hồi phục chân tu, giữ lấy đường thiện, dựng thêm thánh miếu, soạn lại chân kinh. Mỗi việc làm của người đi trước mà không làm sáng rõ, ghi tạc vào bia đá, cứ im lìm ngăn cách há không để cho người sau có lòng cảm kích hay sao”.
Không rõ Hội Thiện do Bà Ba Cai Vàng thành lập hoạt động đến năm nào thì chấm dứt. Ngày nay trụ sở hội đã biến thành đền thờ. Mấy năm vừa qua, nhân dân Đại Trạch cùng tín khách thập phương công đức, chùa Hương Thuỷ đã được trùng tu tôn tạo lại nhiều hạng mục trị giá hàng tỉ đồng.