$\left\{\begin{matrix}x-y=2\\mx+3y=6\end{matrix}\right.$

Ta có $x-y=2\Rightarrow x=y+2$

Mà $x^2+y^2=100\Rightarrow (y+2)^2+y^2=100\\\Leftrightarrow 2y^2+4y-96=0\\\Leftrightarrow \left[\begin{matrix}y=-8\ (loại)\\y=6\ (t/m)\end{matrix}\right.\ (y>0)$

Với $y=6\Rightarrow x=8$

Thế vào $mx+3y=6$ ta được

$8m+18=6\Leftrightarrow 8m=-12\Leftrightarrow m=\dfrac{-3}{2}$

Vậy $m=\dfrac{-3}{2}$ là giá trị cần tìm

`{(x-y=2),(mx+3y=6):}`

`<=> {(3x-3y=6),(mx+3y=6):}`

`<=> {((m+3)x=12),(y=x-2):}`

`<=> {(x=12/(m+3)),(y=12/(m+3)-2):}`

`<=> {(x=12/(m+3)),(y=(6-2m)/(m+3)):}`

Để hệ pt đã cho có nghiệm duy nhất

`<=> 1/m \ne -1/3`

`<=> m \ne -3`

Để `x,y>0`

`=> m+3>0; 6-2m>0`

`<=> -3<m<3`

Lại có `x^2+y^2=100`

`<=> (x-y)^2+2xy=100`

`<=> 4+2xy=100`

`<=> xy=48`

Thay `x=12/(m+3)`; `y=(6-2m)/(m+3)` vào `xy=48` ta có:

`12/(m+3). (6-2m)/(m+3)=48` 

`<=> (12(6-2m))/(m+3)^2=(48(m+3)^2)/(m+3)^2`

`=> 72-24m=48(m^2+6m+9)`

`<=> 72-24m=48m^2+288m+432`

`<=> 48m^2+312m+360=0`

`<=> 2m^2+13m+15=0`

`\Delta=13^2-4.15.2`

`\Delta=49>0`

Do `\Delta>0` nên pt có 2 nghiệm phân biệt

`m_1=(-13+\sqrt{49})/4=-3/2` (tm)

`m_2=(-13-\sqrt{49})/4=-5`(ktm)

Vậy `m=-3/2`