Xét ptrinh hoành độ giao điểm

$-x^3 + (2m+1)x^2 - m - 1 = 2mx - m - 1$

$ -x^3 + (2m+1)x^2 - 2mx = 0$

$ -x(x^2 - (2m+1)x + 2m) = 0$

$ x(x-1)(x-2m) = 0$ (2)

Để d cắt c tại 3 điểm phân biệt thì ptrinh hoành độ giao điểm phải có 3 nghiệm phân biệt. Do đó ptrinh $x - 2m = 0$ phải có nghiệm khác 0 và 1.

Vậy $m \neq 0, \dfrac{1}{2}$.

KHi đó, tọa độ 3 giao điểm là

$A(0,-m-1), B(1,m-1), C(2m,4m^2-m-1)$

Khi đó, ta có

$OA^2 = (m+1)^2$

$OB^2 = 1^2 + (m-1)^2$

$OC^2 = (2m)^2 + (4m^2 - m - 1)^2$

Vậy

$OA^2 + OB^2 + OC^2 = m^2 + 2m + 1 + 1 + m^2 - 2m + 1 + 4m^2 + (4m^2 - m - 1)^2$

$= 6m^2 +3 + (4m^2 - m -1)^2$

$= 6m^2 + 3 + 16m^4 + m^2 + 1 -8m^3 + 2m -8m^2$

$= 16m^4 -8m^3 -m^2 +2m + 4$

Xét hso $y = 16m^4 - 8m^3 - m^2 + 2m + 4$

Ta có

$y' = 64m^3 - 24m^2 -2m + 2$

Xét ptrinh $y' = 0$

$64m^3 - 24m^2 -2m + 2 = 0$

$ (4m+1)(16m^2 -10m +2) = 0$

Ta có $16m^2 - 10 m + 2 > 0$

Vậy $ m = -\dfrac{1}{4}$ là điểm cực trị duy nhất.

Ta xét $y'' = 192x^2 - 48x - 2$. Khi đó $y''(-\dfrac{1}{4}) = 22>0$

Do đó $m = -\dfrac{1}{4}$ là điểm cực tiểu.

Khi đó, tọa độ điểm cực tiểu là $(-\dfrac{1}{4},\dfrac{29}{8})$

Vậy $OA^2 + OB^2 + OC^2$ đạt GTNN là $\dfrac{29}{8}$ với $m = -\dfrac{1}{4}$.