Đáp án: \(m\in \left \{ \pm \sqrt{2};\frac{1}{2};4\right \}\)

Giải thích các bước giải:

Ta có: \(x^3-(m+3)x^2+(3m+2)x-2m=0\Leftrightarrow (x-2)\left [ x^2-(m+1)x+m \right ]=0\)

\(\Leftrightarrow x=2\) hoặc \(x^2-(m+1)x+m=0\) (*)
Để có 3 nghiệm phân biệt thì (*) có 2 nghiệm phân biệt khác 2:

\(\Leftrightarrow \left\{\begin{matrix} \Delta =(m+1)^2-4m>0 & \\ 2^2-(m+1).2+m\neq 0& \end{matrix}\right.\Leftrightarrow m\neq 1;m\neq 2\)
Giả sử \(x_1;x_2\) là nghiệm của (*). Khi đó ta có 2 trường hợp sau:

* TH1: 2 nằm trong khoảng nghiệm \(x_1;x_2\)

YCBT \(\Leftrightarrow x_1.x_2=2^2\Leftrightarrow m=4\) (Thử lại ta thấy thỏa mãn)

* TH2: 2 nằm ngoài khoảng nghiệm \(x_1;x_2\)

YCBT \(\Leftrightarrow 2x_1=x_{2}^{2}\) hoặc \(2x_2=x_{1}^{2}\)

Vì vai trò \(x_1;x_2\) như nhau nên ta xét 1 TH \(2x_1=x_{2}^{2}\).

\(x_2\) là nghiệm của (*) nên \(x_{2}^{2}-(m+1)x_2+m=0\Rightarrow 2x_1-(m+1)x_2+m=0\) (1)

Mà \(\left\{\begin{matrix} x_1+x_2=m+1 &(2) \\ x_1x_2=m& (3) \end{matrix}\right.\Rightarrow 2x_1+2x_2=2m+2\) (4)

Trừ vế với vế của (4) và (1) ta được: \((m+3)x_2=3m+2\)

+ Với \(m=-3\) ta thấy không thỏa mãn YCBT

+ Với \(m\neq -3\Rightarrow x_2=\frac{3m+2}{m+3}\Rightarrow x_1=m+1-\frac{3m+2}{m+3}=\frac{m^2+m+1}{m+3}\\\Rightarrow x_1x_2=\frac{(3m+2)(m^2+m+1)}{(m+3)^2}\)

Theo (3) ta có: \((3m+2)(m^2+m+1)=m(m+3)^2\Leftrightarrow m=\pm \sqrt{2};m=0,5\) (thử lại thấy thỏa mãn)

Vậy \(m\in \left \{ \pm \sqrt{2};\frac{1}{2};4\right \}\)