Do biểu thức trên hoán vị, giả sử `b=mid{a;c}`, khi đó : `(b-a)(b-c)<=0`

`<=>b^2 +ac<=bc+ba`

`<=>b^2 c+c^2 a<=c^2 b+abc`

`<=>\sum_{\text{sym}}a^2 b<=a^2 b+c^2 b+abc=b(a^2 +c^2 +ac)`

`<=b(a+c)^2 <=1/2 . 2b.(a+c).(a+c)<=1/2 . ((2b+2a+2c)^3)/27=4`

Dấu "=" xảy ra `<=>(a;b;c)=(0;2;1),(2;0;1),(2;1;0)`

Đáp án + Giải thích các bước giải:

Vì `a,b,c>=0` và `a+b+c=3` nên `0<=a,b,c<=3`

Giả sử `b` nằm giữa `a` và `c`

Khi đó: `(b-a)(b-c)<=0`

`<=>b^2-bc-ab+ac<=0`

`<=>b^2c+ac^2<=bc^2+abc`

`<=>a^2b+b^2c+c^2a<=a^2b+bc^2+abc`

`<=>a^2b+b^2c+c^2a<=b(a^2+c^2+ac)`

Vì `ac>=0` nên `a^2b+b^2c+c^2a<=b(a+c)^2`

Mà: `b(a+c)^2=1/2 .2b(a+c)(a+c)<=1/2.(2b+a+c+a+c)^3/27=1/2 .(2.3)^3/27=4` (Bất đẳng thức Cosi)

Do đó: `a^2b+b^2c+c^2a<=4`

Dấu `'='` xảy ra `<=>(a,b,c)=(0;2;1)` cùng các hoán vị

Vậy `(a,b,c)=(0;2;1)` cùng các hoán vị thì GTLN của `a^2b+b^2c+c^2a` là `4`