Tòa nhà sau do kiến trúc sư Nguyễn Bá Lăng thiết kế được xây nối tiếp vào tòa nhà trước. Tòa nhà này có hình chữ U có diện tích 1.000m², được thiết kế hài hòa và xử lý cảnh quan cho phù hợp với kiến trúc cổ của tòa nhà trước. 

Các hoa văn trang trí được sử dụng tại kiến trúc bảo tàng tuy được làm bằng nhiều chất liệu khác nhau (gỗ, sắt, xi măng) nhưng đều là các hoa văn phổ biến và tương đồng với nhiều công trình kiến trúc cổ đương thời. Mỗi chi tiết có ý nghĩa khác nhau nhưng tựu chung lại thì tất cả đều mang ý tốt lành. Đó chính là phần di sản văn hóa phi vật thể được ẩn chứa trong tòa nhà mà cụ thể là ở các họa tiết trang trí kiến trúc. Các hoa văn ấy cũng đã cho thấy sự giao lưu văn hóa Việt – Pháp, góp phần làm cho công trình kiến trúc bảo tàng mang nét Á Đông nhưng cũng rất Tây phương.

Nhìn chung, kiến trúc của công trình có những thiết kế phù hợp với công năng của một bảo tàng như: Nền cao, tường xây dày để chống ẩm và chịu lực tốt; trần cao có cửa sổ sát mái để tận dụng ánh sáng tự nhiên chiếu sáng cho các gian phòng... Có thể nói, tòa nhà Bảo tàng Lịch sử Thành phố Hồ Chí Minh là công trình được sử dụng đúng với công năng thiết kế ban đầu cho đến ngày hôm nay. Đến năm 2012, tòa nhà Bảo tàng Lịch sử Thành phố Hồ Chí Minh đã được Bộ Văn hóa, Thể thao và Du lịch ra quyết định xếp hạng là Di tích kiến trúc nghệ thuật cấp quốc gia.hững hiện vật hiến tặng Bảo tàng gồm nhiều chất liệu khác nhau như: đất nung, gốm men, đá, kim loại, ngà… thuộc văn hóa Việt Nam và nhiều quốc gia trong khu vực châu Á, châu Âu. Hiện vật hiến tặng được Hội đồng khoa học của bảo tàng giám định, những hiện vật đủ tiêu chí hiện vật Bảo tàng sẽ được nhập kho kiểm kê và bảo quản, những hiện vật còn lại được nhập kho tham khảo làm tư liệu học tập và nghiên cứu.