Nhà tù được thực dân Pháp xây dựng vào những năm 1896 ở phố Hỏa Lò, nằm trong khu vực trung tâm của quận Hoàn Kiếm. Xung quanh Nhà tù được bảo vệ bởi bức tường bằng đá cao 4m, rộng 0,5m, trên bức tường là mảnh chai, dây thép gai vô cùng dày đặc, bốn góc là bốn tháp canh . Nếu xuất phát từ khu vực Hồ Hoàn Kiếm, đi theo đường Lê Thái Tổ hướng Hàng Trống và đi thẳng qua đường Bà Triệu, rẽ phải để vào đường Hai Bà Trưng, đi thêm khoảng 500m và rẽ trái vào phố Hỏa Lò.