Đáp án:

 a)

- Ptrinh có nghiệm duy nhất khi $m \neq \pm 1$

- Ptrinh có vô số nghiệm khi $m = 1$

- Ptrinh vô nghiệm khi $m = -1$

b) $m = 0$.

Giải thích các bước giải:

Xét ptrinh

$\begin{cases} x + my = m + 1,\\ mx + y = 3m - 1 \end{cases}$

a) - Để ptrinh có nghiệm duy nhất thì

$\dfrac{1}{m} \neq \dfrac{m}{1}$

$\Leftrightarrow m^2 \neq 1$

$\Leftrightarrow m \neq \pm 1$.

- Để ptrinh vô nghiệm thì ta phải có

$\dfrac{1}{m} = \dfrac{m}{1} \neq \dfrac{m+1}{3m-1}$

Dấu bằng đầu tiên chỉ ra rằng $m = \pm 1$. Nếu $m = 1$ thì ta có

$\dfrac{1}{1} \neq \dfrac{2}{2}$ (vô lý)

Nếu $m = -1$ thì ta có

$\dfrac{-1}{1} \neq \dfrac{0}{-4}$ (đúng)

Vậy ptrinh vô nghiệm khi $m = -1$

- Để ptrinh có vô số nghiệm thì

$\dfrac{1}{m} = \dfrac{m}{1} = \dfrac{m+1}{3m-1}$

hay $m = 1$

Kết luận:

- Ptrinh có nghiệm duy nhất khi $m \neq \pm 1$

- Ptrinh có vô số nghiệm khi $m = 1$

- Ptrinh vô nghiệm khi $m = -1$

b) Từ ptrinh đầu, ta suy ra $x = m + 1 - my$, thế vào ptrih sau ta có

$m(m+1-my) + y = 3m - 1$

$\Leftrightarrow (1 - m^2)y = 3m-1 - m^2 - m $

$\Leftrightarrow y = \dfrac{-m^2 +2m - 1}{1-m^2}$

$\Leftrightarrow y = \dfrac{m-1}{m+1}$

Thế vào ở trên ta có

$x = m + 1 - m . \dfrac{m-1}{m+1}$

$= \dfrac{m^2 + 2m + 1 - m^2 + m}{m+1}$

$= \dfrac{3m + 1}{m+1}$

Từ đó suy ra

$xy = \dfrac{3m+1}{m+1} . \dfrac{m-1}{m+1} = \dfrac{3m^2 -2m - 1}{m^2 + 2m + 1}$

Ta sẽ tìm $m$ sao cho biểu thức trên đạt min. Ta có

$A = \dfrac{3m^2 - 2m - 1}{m^2 + 2m + 1}$

$= \dfrac{3(m^2 +2m + 1) - 8(m+1) + 4}{m^2 + 2m + 1}$

$= 3 - \dfrac{8}{m+1} + \dfrac{4}{(m+1)^2}$

Đặt $t = \dfrac{1}{m+1}$, khi đó ta có $t \neq 0$ và

$A = 4t^2 - 8t + 3$

$= 4(t^2 - 2t + 1) -1$

$= 4(t-1)^2 - 1 \geq -1$ với mọi $t$

Dấu "=" xảy ra khi và chỉ khi $t = 1$ hay

$\dfrac{1}{m+1} = 1$

$\Leftrightarrow m = 0$

Vậy để $xy$ nhỏ nhất thì $m = 0$.