`\qquad x^2-2mx-m=0`

$∆'=b'^2-ac=(-m)^2-1.(-m)=m^2+m$

Để phương trình có hai nghiệm phân biệt thì:

`\qquad ∆'>0`

`<=>m^2+m>0`

`<=>m(m+1)>0`

$⇔\left[\begin{array}{l}\begin{cases}m>0\\m+1>0\end{cases}\\\begin{cases}m<0\\m+1<0\end{cases}\end{array}\right.$

$⇔\left[\begin{array}{l}\begin{cases}m>0\\m> -1\end{cases}\\\begin{cases}m<0\\m<-1\end{cases}\end{array}\right.$

$⇔\left[\begin{array}{l}m>0\\m< -1\end{array}\right.$

$\\$

`b)` Với `m>0` hoặc `m<-1` phương trình có hai nghiệm phân biệt `x_1;x_2`.

 Theo hệ thức Viet ta có:

$\begin{cases}x_1+x_2=\dfrac{-b}{a}=2m \\x_1x_2=\dfrac{c}{a}=-m\end{cases}$

$\\$

Ta có:

`\qquad (x_1^2+2mx_2+1)+(x_2^2+2mx_1+1)=12`

`<=>x_1^2+x_2^2+2m(x_1+x_2)=10`

`<=>x_1^2+x_2^2+2x_1x_2-2x_1x_2+2m(x_1+x_2)=10`

`<=>(x_1+x_2)^2-2x_1x_2+2m(x_1+x_2)=10`

`<=>(2m)^2-2.(-m)+2m.2m=10`

`<=>8m^2+2m-10=0`

`<=>4m^2+m-5=0`

`<=>4m^2-4m+5m-5=0`

`<=>4m(m-1)+5(m-1)=0`

`<=>(m-1)(4m+5)=0`

$⇔\left[\begin{array}{l}m-1=0\\4m+5=0\end{array}\right.$

$⇔\left[\begin{array}{l}m=1(T M)\\m=\dfrac{-5}{4}(TM)\end{array}\right.$

$\\$

Vậy `m\in {{-5}/ 4;1}`

$\\$

`c)` Với `m>0` hoặc `m< -1` phương trình `x^2-2mx-m=0` có hai nghiệm phân biệt `x_1;x_2`

`=>`$\begin{cases}x_1^2-2mx_1-m=0\\x_2^2-2mx_2-m=0\end{cases}$

$\\$

Ta có:

`[x_1-(2m-1)x_1-m-1].[x_2-(2m-1)x_2-m-1]=8`

`<=>[(x_1-2mx_1-m)+x_1-1].[(x_2-2mx_2-m)+x_2-1)=8`

`<=>(0+x_1-1).(0+x_2-1)=8`

`<=>(x_1-1).(x_2-1)=8`

`<=>x_1x_2-x_1-x_2+1-8=0`

`<=>x_1x_2-(x_1+x_2)-7=0`

`<=>-m-2m-7=0`

`<=>-3m=7`

`<=>m={-7}/3 (T M)`

Vậy `m={-7}/3` thỏa đề bài 

Để phương trình có hai nghiệm phân biệt thì $\Delta'>0\Leftrightarrow m^2+m>0\Leftrightarrow \left[ \begin{array}{l}m>0\\m<-1\end{array} \right.$

Theo định lý Viète ta có:
$\left\{ \begin{array}{l} {x_1} + {x_2} = \dfrac{{ - b}}{a} = 2m\\ {x_1}{x_2} = \dfrac{c}{a} =  - m \end{array} \right.$

Theo đề ta có: 
$\begin{array}{l} x_1^2 + 2m{x_2} + 1 + x_2^2 + 2m{x_1} + 1 = 12\\  \Leftrightarrow {\left( {{x_1} + {x_2}} \right)^2} - 2{x_1}{x_2} + 2m\left( {{x_1} + {x_2}} \right) - 11 = 0\\  \Leftrightarrow 4m{}^2 + 2m + 4{m^2} - 10 = 0\\  \Leftrightarrow 8{m^2} + 2m - 10 = 0\\  \Leftrightarrow (m - 1)(4m + 5) = 0\\  \Leftrightarrow \left[ \begin{array}{l} m = 1\\ m =  - \dfrac{5}{4} \end{array} \right. \end{array}$

Dựa vào điều kiện của $\Delta$ ta được \(\left[ \begin{array}{l}m=1\\m=-\dfrac{5}{4}\end{array} \right.\) 

c) Vì $x_1, x_2$ là nghiệm của phương trình nên 
$\left\{ \begin{array}{l} x_1^2 - 2m{x_1} - m = 0\\ x_2^2 - 2m{x_2} - m = 0 \end{array} \right.$

$\begin{array}{l} \left[ {x_1^2 - (2m - 1){x_1} - m - 1} \right]\left[ {x_2^2 - (2m - 1){x_2} - m - 1} \right] = 8\\  \Leftrightarrow \left[ {(x_1^2 - 2m{x_1} - m) + {x_1} - 1} \right]\left[ {(x_2^2 - 2m{x_2} - m) + {x_2} - 1} \right] = 8\\  \Leftrightarrow \left( {{x_1} - 1} \right)\left( {{x_2} - 1} \right) = 8\\  \Leftrightarrow {x_1}{x_2} - ({x_1} + {x_2}) + 1 = 8\\  \Leftrightarrow  - m - 2m + 1 = 8\\  \Leftrightarrow 3m =  - 7 \Rightarrow m = \dfrac{{ - 7}}{3} \end{array}$

Dựa vào điều kiện của $\Delta$ ta được $m=\dfrac{-7}{3}$ thỏa yêu cầu bài toán