Đặt $P(x,y)$ là phép thế của phương trình hàm

$f(xf(x)+2y) = f(x)^2+x+2f(y)$

$P(0,0) ⇒ f(0)=f(0)^2+2f(0)⇒\left[\begin{matrix} f(0)=0\\ f(0)=-1\end{matrix}\right.$

Trường hợp 1: $f(0)=0$

$P(x,0) ⇒ f(xf(x))= (f(x))^2+x$ $(1)$

$P(0,y) ⇒ f(2y)=2f(y)$ $(2)$

Từ $(1)$, thế $x\rightarrow \dfrac{x}{2} ⇒ f(\dfrac{x}{2}f(\dfrac{x}{2}))=(f(\dfrac{x}{2}))^2+\dfrac{x}{2}$

$\Leftrightarrow 4f(\dfrac{x}{2}f(\dfrac{x}{2}))=4(f(\dfrac{x}{2}))^2+4\dfrac{x}{2}$

Kết hợp với $(2)$, ta được: $f(xf(x))=(f(x))^2+2x$

$⇒x=0$ (vô lý)

Trường hợp 2: $f(0)=-1$

$P(x,0)\Rightarrow f(xf(x))=(f(x))^2+x-2$

$P(0,y)\Rightarrow f(2y)=2f(y)+1$

$\Rightarrow f(xf(x)+2y)=(f(x))^2+x+f(2y)-1$

Thế $y\rightarrow \dfrac{y}{2}$, ta được:

$\Rightarrow f(xf(x)+y)=(f(x))^2+x+f(y)-1$ $(3)$

Thế $x\rightarrow 2x, y\rightarrow -2x$ vào $(3)$, ta có:

$f(2xf(2x)-2x)=(f(2x))^2+2x+f(-2x)-1$

$\Leftrightarrow f(2x(2f(x)+1)-2x)=(2f(x)+1)^2+2x+2f(-x)+1-1$

$\Leftrightarrow f(4xf(x))=4(f(x))^2+4f(x)+2x+2f(-x)+1$ $(4)$

Mặt khác, ta lại có:

$f(4xf(x))=2f(2xf(x))+1=2(f(xf(x))+1)+1=4f(xf(x))+3=4(f^2(x)+x-2)+3=4f^2(x)+4x-5$ $(5)$

Từ $(4)$ và $(5)⇒4f(x)+2f(-x)+2x+1=4x-5$

$\Leftrightarrow 2f(x)+f(-x)=x-3$ $(6)$

Thế $y\rightarrow -xf(x)$ vào $(3)$ ta được:

$-1=(f(x))^2+x+f(-xf(x))-1$

$\Leftrightarrow f(-xf(x))=-(f(x))^2-x$

Kết hợp với $f(xf(x))=(f(x))^2+x-2$, ta có:

$f(xf(x))+f(-xf(x))=-2$ $(7)$

Thế $x\rightarrow xf(x)$ vào $(6)$, kết hợp với $(7)$ ta được:

$f(xf(x))=xf(x)-1$

$\Leftrightarrow (f(x))^2+x-2=xf(x)-1$

$\Leftrightarrow (f(x)-1)(f(x)-x-1)=0$

$\Leftrightarrow\left[\begin{matrix} f(x)=1\\ f(x)=x-1\end{matrix}\right.$

Dễ thấy $f(x)=1$ không thoả mãn $x\neq2$; thử lại thấy $f(x)=x-1$ thỏa mãn, $\forall x\in\mathbb{R}$

Vậy $f(x)=x-1$, $\forall x\in\mathbb{R}$

------------------------------------------------

P/S: Lời giải mò nên mới dài như này =="