$y = x^2 \qquad (P)$

$y = 2(m+1)x - m^2 - 3m - 2\quad (d)$

a) Phương trình hoành độ giao điểm giữa $(P)$ và $(d)$

$\quad x^2 =  2(m+1)x - m^2 - 3m - 2$

$\Leftrightarrow x^2 - 2(m+1)x + m^2 + 3m + 2=0\qquad (*)$

$(d)$ cắt $(P)$ tại hai điểm phân biệt

$\Leftrightarrow \Delta_{(*)}' >0$

$\Leftrightarrow (m+1)^2 - (m^2 + 3m + 2) >0$

$\Leftrightarrow -m -1 >0$

$\Leftrightarrow m < -1$

b) Với $x_1,\ x_2$ là hai hoành độ giao điểm của $(d)$ và $(P)$

$\Rightarrow x_1,\ x_2$ là nghiệm của $(*)$

Áp dụng định lý Viète ta được:

$\begin{cases}x_1 + x_2 = 2(m+1)\\x_1x_2 = m^2 + 3m + 2\end{cases}$

Theo đề ta có:

$\quad x_1^2 + x_2^2 = 12$

$\Leftrightarrow (x_1 + x_2)^2 - 2x_1x_2 = 12$

$\Leftrightarrow 4(m+1)^2 - 2(m^2 + 3m + 2) = 12$

$\Leftrightarrow m^2 + m -6 =0$

$\Leftrightarrow \left[\begin{array}{l} m= 2\qquad (loại)\\m = -3\quad (nhận)\end{array}\right.$

Vậy $m = -3$