Đời Hùng Vương, địa bàn tỉnh Hải Dương ngày nay thuộc bộ Dương Tuyền, thời nhà Tần thuộc Tượng quận, thời nhà Hán thuộc quận Giao Chỉ, thời Đông Ngô thuộc Giao Châu, nhà Đường đặt ra Hải Môn trấn, sau đổi thành Hồng Châu.

Nhà Đinh chia làm đạo, vùng Hải Dương vẫn mang tên là Hồng Châu, nhà Tiền Lê cũng theo như nhà Đinh.

Thời Nhà Lý đổi thành lộ Hồng, sau đổi thành lộ Hải Đông.

Đến thời Nhà Trần đổi lại thành lộ Hồng, rồi lại đổi thành lộ Hải Đông. Sau đó đổi làm 4 lộ: Hồng Châu thượng, Hồng Châu hạ và Nam Sách thượng, Nam Sách hạ, (còn gọi chung là Nam Sách Giang).

Năm Quang Thái thứ 10 (1397), vua Trần Thuận Tông đổi lộ Hải Đông thành trấn Hải Đông.

Thời kỳ thuộc Minh (1407-1427), vùng đất Hải Dương thuộc hai phủ Lạng Giang và Tân An.

Thời Nhà Hậu Lê, niên hiệu Thuận Thiên (1428-1433), vua Lê Thái Tổ cho thuộc Đông Đạo.

Khoảng niên hiệu Diên Ninh (1454-1459), vua Lê Nhân Tông chia lại thành 2 lộ là Nam Sách thượng và Nam Sách hạ.

Năm Quang Thuận thứ 7 (1466), vua Lê Thánh Tông đặt thừa tuyên Nam Sách.

Năm 1469 đổi làm thừa tuyên Hải Dương.

Năm Hồng Đức thứ 21 (1490) đổi làm xứ Hải Dương.

Năm Hồng Thuận thứ nhất (1509), vua Lê Tương Dực đổi làm trấn Hải Dương.

Từ năm 1527 đến năm 1592, Nhà Mạc gọi là đạo Hải Dương. Năm 1529, Mạc Thái Tổ (Mạc Đăng Dung) trao ngôi vua cho con là Mạc Đăng Doanh còn Mạc Đăng Dung làm Thái thượng hoàng về Cổ Trai, lấy Nghi Dương làm Dương Kinh, trích phủ Thuận An ở Kinh Bắc và các phủ Khoái Châu, Tân Hưng, Kiến Xương, Thái Bình ở Sơn Nam cho lệ thuộc vào Dương Kinh.

Đời nhà Hậu Lê, khoảng niên hiệu Quang Hưng (1578-1599), vua Lê Thế Tông đổi làm trấn theo nguyên như cũ.

Năm Cảnh Hưng thứ 2 (1741), vua Lê Hiển Tông chia làm 4 đạo: Thượng Hồng, Hạ Hồng, Đông Triều và An Lão.

Nhà Tây Sơn đem phủ Kinh Môn thuộc Hải Dương đổi thuộc vào Yên Quảng.

Năm 1802, vua Gia Long đem Kinh Môn thuộc về trấn cũ và cho lệ thuộc vào Bắc Thành.

Năm 1804, đời vua Gia Long, lỵ sở Hải Dương được chuyển từ Mao Điền (Cẩm Giàng) về tổng Hàn Giang (thuộc thành phố hải Dương ngày nay), đặt trên vùng đất cao thuộc ngã ba sông Thái Bình và sông Sặt với mục tiêu trấn thành án ngữ vùng biên hải phía đông Kinh đô Thăng Long, vì vậy có tên gọi là Thành Đông, nghĩa là đô thành ở phía đông.

Năm Minh Mạng thứ 3 (1822), đổi phủ Thượng Hồng làm phủ Bình Giang, phủ Hạ Hồng làm phủ Ninh Giang, còn hai đạo Đông Triều và An Lão thì đặt làm hai huyện.

Năm Minh Mạng thứ 12 (1831) chia thành một tỉnh độc lập và đổi làm tỉnh Hải Dương gồm 5 phủ và 19 huyện.

Năm 1887, thực dân Pháp tách một số huyện ven biển của Hải Dương, đặt thành tỉnh Hải Phòng, đến năm 1906 đổi thành tỉnh Kiến An.

Năm 1968, tỉnh Hải Dương sáp nhập với Hưng Yên thành tỉnh Hải Hưng.

Năm 1977, hợp nhất 2 huyện Cẩm Giàng và Bình Giang thành huyện Cẩm Bình.[5]

Năm 1979, hợp nhất 2 huyện Gia Lộc và Tứ Kỳ thành huyện Tứ Lộc; hợp nhất 2 huyện Kim Thành và Kinh Môn thành huyện Kim Môn; hợp nhất 2 huyện Nam Sách và Thanh Hà thành huyện Nam Thanh; hợp nhất 2 huyện Ninh Giang và Thanh Miện thành huyện Ninh Thanh.[6]

Ngày 27 tháng 1 năm 1996, chia 2 huyện Tứ Lộc và Ninh Thanh thành 4 huyện như cũ.[7]

Ngày 6 tháng 11 năm 1996, tái lập tỉnh Hải Dương từ tỉnh Hải Hưng. Khi tách ra, tỉnh Hải Dương có 9 đơn vị hành chính gồm thị xã Hải Dương và 8 huyện: Cẩm Bình, Chí Linh, Gia Lộc, Kim Môn, Nam Thanh, Ninh Giang, Thanh Miện, Tứ Kỳ.[8]

Ngày 17 tháng 2 năm 1997, chia 3 huyện Cẩm Bình, Kim Môn, Nam Thanh thành 6 huyện như cũ.[9]

Ngày 6 tháng 8 năm 1997, nâng cấp thị xã Hải Dương thành thành phố Hải Dương.[10]

Ngày 12 tháng 2 năm 2010, nâng cấp huyện Chí Linh thành thị xã Chí Linh[11].

Ngày 10 tháng 1 năm 2019, nâng cấp thị xã Chí Linh thành thành phố Chí Linh[12]. Như vậy, tỉnh Hải Dương có 2 thành phố và 10 huyện như hiện nay.