Đình Ngọ Xá vốn được khởi dựng từ lâu đời, đến đầu thời Nguyễn được trùng tu và mở rộng với quy mô lớn và còn bảo lưu khá nguyên vẹn đến ngày nay. Đó là tòa đại đình kiểu chữ Công gồm tiền tế 3 gian 2 chái bốn mái đao cong, ống muống 2 gian và hậu cung 3 gian, bộ khung gỗ lim vững chắc, trên tất cả các bộ phận như vì nóc, con rường, cốn, đầu dư, bẩy đều được chạm khắc “tứ linh, tứ quý” tinh xảo.

Song giá trị nổi bật của đình Ngọ Xá chính là những cổ vật còn bảo lưu được như: Thần tích, sắc phong, bia đá và nhiều đồ thờ tự khác. Đặc biệt, bản thần tích được kê khai vào năm 1938 và 7 đạo sắc phong với các niên đại: 2 đạo Thiệu Trị 6 (1846), Tự Đức 3 (1850), Tự Đức 33 (1880), Đồng Khánh 2 (1886), Duy Tân 3 (1909) và Khải Định 9 (1924), đã cho biết khá rõ về người được thờ và có thể tóm tắt như sau:

Vào đầu công nguyên, nước ta bị nhà Hán đô hộ. Vua nhà Hán cử Tô Định sang làm Thái thú quận Giao Chỉ. Tô Định là một kẻ vô cùng tham lam tàn bạo, khiến đời sống nhân dân ta khổ cực lầm than. Thái thú Tô Định đã giết chết Thi Sách con Lạc tướng Chu Diên là chồng của Trưng Trắc. Không chịu nổi ách đô hộ của Tô Định, Trưng Trắc đã cùng em là Trưng Nhị mô binh phất cờ khởi nghĩa đánh chiếm các thành trì nơi quân Hán đóng. Quân của Hai Bà đã đánh chiếm một số thành trì, rồi tiến quân xuống huyện Siêu Loại xứ Kinh Bắc để đánh chiếm thành Luy Lâu là thủ phủ của quân Hán. Khi quân của Trưng Trắc tiến đến làng Ngọ Xá, vào ngôi miếu cổ nơi đây để nghỉ ngơi, bỗng trời nổi cơn phong ba, mưa gió dữ dội, rồi trời quang mây tạnh, có một đám mây ngũ sắc bay đến phủ trên miếu. Bà trông thấy rõ có ba vị thiên thần hình dáng kỳ dị, mũ áo chỉnh tề, từ đám mây bước ra và nói rằng: “Chúng ta đây chính danh thứ nhất là Lạc Thị, thứ hai là Quốc Công, thứ ba là Bảo Công. Nay thấy nhà ngươi là đàn bà mà có lòng dẹp giặc giữ nước, yên dân, nên âm phù cho nhà ngươi để lập công sau này chắc được hiển vinh”. Ba vị thiên thần nói xong rồi biến mất, hôm ấy là ngày 12 tháng 2. Bà biết là thiên thần linh hiển ứng giúp, liền lập tức làm lễ tạ thần ở ngôi miếu cổ này. Sau đó, Bà cho quân tiến thẳng đến thành Luy Lâu nơi Tô Định đóng đánh một trận quyết chiến, tiêu diệt và bắt được rất nhiều giặc, thu được nhiều lương thực, vũ khí. Sau khi thắng trận, Bà đã mở yến tiệc khao quân, cho gọi phụ lão làng Ngọ Xá đến bảo rằng: “Ta sớm trừ được giặc Tô Định cũng là nhờ Thần ở ngôi miếu cổ ở làng âm phù cho. Từ đây về sau, dân làng cứ theo tên hiệu của ba vị Thần mà thờ phụng”, còn ban cho dân làng 30 nén vàng để sửa sang miếu thờ. Trưng Trắc trở về kinh đô lên ngôi vua, ban tặng sắc phong cho ba vị Thần ở làng Ngọ Xá là: Vị thứ nhất “Lạc Thị đại vương”, vị thứ hai là “Quốc Công đại vương”, vị thứ ba là “Bảo Công đại vương”. Từ đó về sau, các triều vua qua đây đánh giặc được Thần ở làng Ngọ Xá âm phù và đều có sắc phong ban thêm mỹ tự cho Thần.

Giá trị của đình Ngọ Xá còn được thể hiện ở lễ hội truyền thống: Hàng năm cứ đến ngày 11 tháng 2 (âm lịch) đình Ngọ Xá lại được mở hội. Xưa để chuẩn bị cho công việc đình đám, ngay từ trong năm làng tổ chức họp phân việc cho các giáp (Đông, Đoài). Mỗi giáp cử ra 1 ông Quan đám để lo việc đình đám. Trong hai ông quan đám này, cử ra một ông “chủ tế” được nhận ruộng công để nuôi bò và làm bánh dầy tế thánh. Vào đám, ngay từ ngày 11 làng tổ chức mở cửa đình để bao sái đồ thờ tự và phong cờ quạt và mời quan viên chức dịch các làng giao hảo đến dự hội. Ngọ Xá giao hảo với thôn Chi Trung (xã Tân Chi) và thôn Thượng Trì (cùng xã Hoài Thượng) và mỗi khi đình đám đều mời quan viên, chức dịch đến tế lễ giao lưu văn hóa. Ngày 13, làng tổ chức rước văn và rước “Bà Đám” từ nhà ra đình để tế thánh (Bà Đám có công cấy lúa, nuôi bò, làm bánh dầy tế thánh nên được trọng vọng như Ông Đám). Trong khi tế có tục hát ca trù thờ thần. Trong những ngày lễ hội, sau phần lễ là phần hội với nhiều tục trò dân gian vui chơi giải trí như: tuồng, chèo, vật, đu, chọi gà… thu hút đông đảo nhân dân địa phương vào những sinh hoạt văn hóa, văn nghệ vui tươi lành mạnh.