Theo sử sách ghi chép lại, chùa Long Đọi Sơn do vua Lý Thánh Tông và Vương Phi Ỷ Lan chủ trì xây dựng từ năm 1054. Đến năm 1121, vua Lý Nhân Tông tiếp tục tôn tạo và xây bia bảo tháp Sùng Thiện Diên Linh.

Đến đầu thế kỷ XV, khi giặc Minh xâm lược nước ta, chùa bị phá hủy nhiều. Đến cuối thế kỷ XVI (khoảng năm 1591), nhân dân địa phương đã tiến hành sửa sang, trùng tu lại ngôi chùa.

Vào năm Tự Đức thứ 13, Chùa được trùng tu sửa sang tiền đường, thượng điện, nhà tổ, gác chuông Đến năm 1864, chùa tiếp tục được trùng tu hành lang, đúc tượng Dị Lặc, đúc khánh đồng và đúc khánh đá do sư tổ đời thứ 5 là Thích Chiếu Trường chủ trì xây dựng hoàn chỉnh. Hai bên chùa là 18 gian hành lang thờ thập bát La Hán. Ngay ngõ vào là hai dãy nhà đắp cảnh thập điện. Ngoài ra, chùa còn có nhà tổ, nhà khách, tăng phòng tất cả có tới khoảng trên 100 gian phòng.

Trong kháng chiến chống Pháp, một lần nữa ngôi chùa lại bị tàn phá. Sau ngày hòa bình lập lại ở miền Bắc, chính quyền cùng nhân dân địa phương đã tích cực tiến hành trùng tu lại ngôi chùa. Lần sửa chữa lớn vào năm 1958 đã hoàn tất những công trình chính tại đây. Đầu những năm 2000, được sự quan tâm của Bộ Văn hóa Thông tin (nay là Bộ Văn hóa, Thể thao và Du lịch) và UBND tỉnh Hà Nam, chùa tiếp tục tu bổ, tôn tạo xây dựng mới một số công trình để bảo đảm phục vụ việc bảo vệ và phát huy giá trị di tích.

Trải qua bao biến cố thăng trầm của lịch sử, ngôi chùa vẫn giữ được nét cổ kính, linh thiêng, mang đậm phong cách kiến trúc, mỹ thuật thời Lý. Đây là ngôi chùa có lịch sử lâu đời, phản ánh một thời kỳ hưng thịnh của Phật giáo trong lịch sử dân tộc và là niềm tự hào của người dân nơi đây. Một trong số những hiện vật có giá trị lịch sử văn hóa nổi bật được lưu giữ tại chùa Long Đọi Sơn hiện nay chính là tấm bia Sùng Thiện Diên Linh (đã được Chính phủ công nhận là bảo vật quốc gia năm 2014). Tấm bia với nghệ thuật chạm khắc độc đáo chứa đựng nhiều thông tin quý hiếm cho việc nghiên cứu lịch sử, văn hóa thời Lý.

Chùa Long Đọi Sơn dưới thời Lý đã từng là trung tâm Phật giáo của trấn Sơn Nam xưa. Qua tư liệu hiện vật của chùa phản ánh triết lý, thuyết lý duyên khởi của Phật giáo, tình hình Phật giáo Đại Việt thời Lý và các vị Phật được tôn thờ. Hằng năm, tại chùa diễn ra lễ hội Phật giáo có ảnh hưởng lan tỏa trong một vùng rộng lớn và sức hấp dẫn đối với nhân dân, du khách. Các lễ hội được tổ chức còn là dịp để tưởng nhớ và tôn vinh vị vua anh minh Lý Nhân Tông và những người có công lớn trong sự nghiệp dựng nước và giữ nước, cũng như xây dựng, tôn tạo và mở mang ngôi chùa.

Với những giá trị lịch sử, văn hóa tiêu biểu trên, cuối năm 2017, quần thể di tích chùa Long Đọi Sơn đã được Thủ tướng Chính phủ ký quyết định xếp hạng là Di tích quốc gia đặc biệt.