Lý Bạch từng trải qua bốn lần kết duyên, trong đó có hai người vợ cưới xin chính thức. Hứa thị phu nhân là người vợ chính thức đầu tiên (cháu gái của Hứa tướng công).

Năm 736, Hứa thị phu nhân bất hạnh qua đời. Đây chính là cú sốc rất lớn đối với Lý Bạch.

Nhưng phu nhân mất đi, với thân phận ở rể, Lý Bạch càng bị coi không ra gì. Không ai muốn gánh tránh nhiệm nuôi hai đứa con giúp ông. Biết khó lòng tiếp tục sống ở nhà họ Hứa nên ông đã vội vàng đưa hai đứa con chuyển đến sống ở Đông Lỗ (Sơn Đông).

Nơi Lý Bạch chuyển đến nằm ở phía đông ngoại thành Hà Khâu, quận Duyễn Châu (nay thuộc huyện Duyễn Châu, tỉnh Sơn Đông), cách Khúc Phụ khoảng 30 dặm. Ở đây, ông đã quyết định chung sống với một người đàn bà họ Lưu để có thể nhờ cô ấy gánh vác tránh nhiệm chăm sóc hai đứa con. Không ngờ người con gái ấy khi biết mục đích của Lý Bạch nên đã vội vàng bỏ đi.

Không còn cách nào khác, Lý Bạch lại phải nhờ cậy bạn bè mai mối cho một phụ nữ khác và miễn cưỡng chung sống. Ông sống cùng người đàn bà bụng dạ hẹp hòi nhưng vẫn cố chịu vì những đứa con. Hai ông bà sinh được một đứa con trai nhưng sau này tuyệt nhiên không thấy ông nhắc đến.

Từ khi Lý Bạch phụng mệnh vào kinh sống ở Khai Phong và thường xuyên đi khắp nơi, ông vẫn gửi hai đứa con ở Diêu Châu, Sơn Đông. Sau khi trở về Khai Phong, ông đã lấy cháu gái của tể tướng Tông Sở Khách và tiếp tục “kiếp ở rể” nhà hộ Tông. Đây cũng chính là cuộc hôn nhân chính thức thứ hai và là người vợ thứ tư của ông.

Khi đã yên bề gia thất, ông rất muốn đón ngay hai con đến sống cùng mình để chúng được hưởng sự ấm áp của tình cảm gia đình. Ông muốn chúng được sống, học tập, khôn lớn trong môi trường bình thường, nhưng đáng tiếc những đứa trẻ không được hưởng niềm vui đó.

Vì thương nhớ con và cảm thấy bứt rứt, Lý Bạch lại vội vàng ra đi, lang bạt chân trời góc bể.

Không lâu sau, Tông phu nhân chạy loạn cũng đến Lư Sơn tìm chồng. Cuối cùng vì chiến loạn mà hai người có duyên trùng phùng. Nhưng sau này hai người lại thất lạc nhau và từ đó ông không còn gặp lại Tông phu nhân nữa.