Đề bài
Tìm giá trị lớn nhất của biểu thức $$P=\frac{{{x}^{3}}{{y}^{4}}{{z}^{3}}}{({{x}^{4}}+{{y}^{4}}){{(xy+{{z}^{2}})}^{3}}}+\frac{{{y}^{3}}{{z}^{4}}{{x}^{3}}}{({{y}^{4}}+{{z}^{4}}){{(yz+{{x}^{2}})}^{3}}}+\frac{{{z}^{3}}{{x}^{4}}{{y}^{3}}}{({{z}^{4}}+{{x}^{4}}){{(zx+{{y}^{2}})}^{3}}}$$ với $x,y,z$ là các số thực dương.

Lời giải
Ta có \[\frac{{{x}^{3}}{{y}^{4}}{{z}^{3}}}{\left( {{x}^{4}}+{{y}^{4}} \right){{\left( xy+{{z}^{2}} \right)}^{3}}}=\frac{{{y}^{4}}}{{{x}^{4}}+{{y}^{4}}}{{\left( \frac{xz}{xy+{{z}^{2}}} \right)}^{3}}=\frac{1}{\left( \frac{{{x}^{4}}}{{{y}^{4}}}+1 \right){{\left( \frac{y}{z}+\frac{z}{x} \right)}^{3}}}\] Đặt $\sqrt{a}=\dfrac{x}{y}, \ \sqrt{b} = \dfrac{y}{z}, \ \sqrt{c} = \dfrac{z}{a}$ thì ta có $abc = 1$ và P có thể viết lại dưới dạng \[P=\frac{1}{\left( {{a}^{8}}+1 \right){{\left( {{b}^{2}}+{{c}^{2}} \right)}^{3}}}+\frac{1}{\left( {{b}^{8}}+1 \right){{\left( {{c}^{2}}+{{a}^{2}} \right)}^{3}}}+\frac{1}{\left( {{c}^{8}}+1 \right){{\left( {{a}^{2}}+{{b}^{2}} \right)}^{3}}}.\] Sử dụng bất đẳng thức $AM-GM$, dễ thấy $$(b^2+c^2)^3 \ge 8(bc)^3 = \dfrac{8}{a^3},$$ do đó :$$P\le \frac{1}{8}\left[ \frac{{{a}^{3}}}{ {{a}^{8}}+1 }+\frac{{{b}^{3}}}{ {{b}^{8}}+1 }+\frac{{{c}^{3}}}{ {{c}^{8}}+1 } \right].$$ Bây giờ ta sẽ chứng minh rằng $$\frac{{{a}^{3}}}{{{a}^{8}}+1}\le \frac{3({{a}^{4}}+1)}{8({{a}^{8}}+{{a}^{4}}+1)}+\frac{1}{4}.$$

Thật vậy

$$\begin{align}
\frac{3({{a}^{4}}+1)}{8({{a}^{8}}+{{a}^{4}}+1)}+\frac{1}{4}-\frac{{{a}^{3}}}{{{a}^{8}}+1}
& ={{\left( a-1 \right)}^{2}}\frac{TS}{8\left( {{a}^{8}}+{{a}^{4}}+1 \right)\left( {{a}^{8}}+1 \right)} \\
& \ge 0. \\
\end{align}$$

Trong đó

$TS= {{a}^{14}}+4{{a}^{13}}+6{{a}^{12}}+8{{a}^{11}}+15{{a}^{10}}+14{{a}^{9}}+13{{a}^{8}}+12{{a}^{7}}+ \\
+18{{a}^{6}}+16{{a}^{5}}+14{{a}^{4}}+12{{a}^{3}}+15{{a}^{2}}+10a+5 >0$

Tương tự với $b, \ c$ và sử dụng bất đẳng thức quen thuộc của $\text{Vasc}$ $$\frac{{{a}^{4}}+1}{{{a}^{8}}+{{a}^{4}}+1}+\frac{{{b}^{4}}+1}{{{b}^{8}}+{{b}^{4}}+1}+\frac{{{c}^{4}}+1}{{{c}^{8}}+{{c}^{4}}+1}\le 2,$$ ta có

$$\begin{align}
P&\le \frac{3}{64}\left( \frac{{{a}^{4}}+1}{{{a}^{8}}+{{a}^{4}}+1}+\frac{{{b}^{4}}+1}{{{b}^{8}}+{{b}^{4}}+1}+\frac{{{c}^{4}}+1}{{{c}^{8}}+{{c}^{4}}+1} \right)+\frac{3}{32} \\
& \le \frac{3}{64}.2+\frac{3}{32} \\
& =\frac{3}{16}. \\
\end{align}$$

Đẳng thức xảy ra khi và chỉ khi $a=b=c=1$ hay $x=y=z$ nên giá trị lớn nhất của P là $\dfrac{3}{16} \ \blacksquare$

Lời giải (cách 2):
Đặt $\dfrac{x}{y}=a, \ \dfrac{y}{z}=b, \ \dfrac{z}{x}=c$ thì $abc=1$ và ta có
$$P=\frac{1}{(a^4+1)(b+c)^3}+\frac{1}{(b^4+1)(c+a)^3}+\frac{1}{(c^4+1)(a+b)^3}$$
Sử dụng bất đẳng thức AM-GM, ta có
$$(b+c)^3\geq 8bc\sqrt{bc}=\frac{8}{a\sqrt{a}}\geq \frac{16}{a^2+a}$$
Từ đó
$$P\leq \dfrac{1}{16} \left( \frac{a^2+a}{a^4+1}+\frac{b^2+b}{b^4+1}+\frac{c^2+c}{c^4+1} \right)$$
Ta sẽ chứng minh
$$\frac{a^2+a}{a^4+1}\leq \frac{3(a+1)}{2(a^2+a+1)}.$$
Thật vậy,
$$\frac{a^2+a}{a^4+1} – \frac{3(a+1)}{2(a^2+a+1)} = -\dfrac{(a-1)^2(a+1)(3a^2+4a+3)}{2(a^4+1)(a^2+a+1)} \le 0.$$
Sử dụng kết quả của $\text{Vasc}$, ta có
\[\frac{{{a}^{2}}+a}{{{a}^{4}}+1}+\frac{{{b}^{2}}+b}{{{b}^{4}}+1}+\frac{{{c}^{2}}+c}{{{c}^{4}}+1}\le \frac{3}{2}\left( \frac{{{a}^{2}}+1}{{{a}^{2}}+a+1}+\frac{{{b}^{2}}+1}{{{b}^{2}}+b+1}+\frac{{{c}^{2}}+1}{{{c}^{2}}+c+1} \right)\le \frac{3}{2}.2=3\]
Vậy $P\leq \dfrac{3}{16}$.
Đẳng thức xảy ra khi và chỉ khi $a=b=c=1$ hay $x=y=z$ nên giá trị lớn nhất của P là $\dfrac{3}{16} \ \blacksquare$

Cách 3 (Lời giải của bạn K.I.A bên mathscope).
Cách này rất hay !
Dễ chứng minh : $a^4+b^4 \ge \dfrac{2}{3}ab\left(a^2+b^2+ab\right)$ và $(a+b)^3 \ge 4ab(a+b)$
Áp dụng, ta được:

$\begin{align}
\frac{{{x}^{3}}{{y}^{4}}{{z}^{3}}}{({{x}^{4}}+{{y}^{4}}){{(xy+{{z}^{2}})}^{3}}} & \le \frac{3}{8}.\frac{{{x}^{3}}{{y}^{4}}{{z}^{3}}}{xy({{x}^{2}}+{{y}^{2}}+xy){{z}^{2}}xy({{z}^{2}}+xy)} \\
& =\frac{3}{8}.\frac{x{{y}^{2}}z}{({{x}^{2}}+xy+{{y}^{2}})({{z}^{2}}+xy)}\\&=\frac{3}{8}.\frac{x{{y}^{2}}z}{({{x}^{2}}{{y}^{2}}+{{y}^{2}}{{z}^{2}}+{{z}^{2}}{{x}^{2}})+xy({{x}^{2}}+{{y}^{2}}+{{z}^{2}})} \\
& \le \frac{3x{{y}^{2}}z}{32}.\left[ \frac{1}{{{x}^{2}}{{y}^{2}}+{{y}^{2}}{{z}^{2}}+{{z}^{2}}{{x}^{2}}}+\frac{1}{xy({{x}^{2}}+{{y}^{2}}+{{z}^{2}})} \right] \\
& =\frac{3}{32}.\left( \frac{xyz.y}{{{x}^{2}}{{y}^{2}}+{{y}^{2}}{{z}^{2}}+{{z}^{2}}{{x}^{2}}}+\frac{yz}{{{x}^{2}}+{{y}^{2}}+{{z}^{2}}} \right) \\
\end{align}$

Đánh giá tương tự ta thu được:

$$T \le \dfrac{3}{32}.\left[\dfrac{xyz(x+y+z)}{x^2y^2+y^2z^2+z^2x^2}+\dfrac{xy+yz+zx}{x^2+y^2+z^2}\right] \le \dfrac{3}{16}.$$

Bài viết của Short_list (anh NguyenHuyen_AG) bên mathscope :

Theo bất đẳng thức AM-GM, ta có
\[(xy+z^2)^2\ge 4xy\cdot z^2.\]
\[x^2+y^2 \ge \frac{(x^2+y^2)^2}{2} \ge 2xy\cdot \frac{x^2+y^2}{2}=xy(x^2+y^2).\]

Từ đó, suy ra
\[(x^4+y^4)(xy+z^2)^3 \ge 4xyz^2 \cdot xy(x^2+y^2)\cdot (xy+z^2)=4x^2y^2z^2[2x^2y^2+z^2(x^2+y^2)],\]
hay là
\[\frac{{{x}^{3}}{{y}^{4}}{{z}^{3}}}{({{x}^{4}}+{{y}^{4}}){{(xy+{{z}^{2}})}^{3}}} \le \frac{xy^2z}{2x^2y^2+z^2(x^2+y^2)}.\]
Đặt $a=xy,\;b=yz,\;c=zx.$ Ta được
\[P \le \frac{1}{4}\left (\frac{ab}{2a^2+b^2+c^2}+\frac{bc}{2b^2+c^2+a^2} + \frac{ca}{2c^2+a^2+b^2} \right ).\]
Theo bất đẳng thức AM-GM, thì
\[\frac{ab}{2a^2+b^2+c^2} \le \frac{ab}{\sqrt{2a^2(b^2+c^2)}}=\frac{1}{\sqrt{2}}\cdot \sqrt{\frac{b^2}{b^2+c^2}}.\]
Nên
\[P\le \frac{1}{4\sqrt{2}}\left ( \sqrt{\frac{a^2}{a^2+b^2}}+\sqrt{\frac{b^2}{b^2+c^2}}+\sqrt{\frac{c^2}{c^2+a^2}} \right ).\]
Mặc khác, ta có một kết quả quen thuộc
\[\sqrt{\frac{a^2}{a^2+b^2}}+\sqrt{\frac{b^2}{b^2+c^2}}+\sqrt{\frac{c^2}{c^2+a^2}} \le \frac{3}{\sqrt{2}}.\]
Nên $P \le \dfrac{3}{16}.$ Ngoài ra nếu $a=b=c$ hay $x=y=z,$ thì đẳng thức xảy ra. Điều này cho phép ta kết luận $P_{\max}=\dfrac{3}{16}.$

Nhận xét 1: Ngoài ra chúng ta có thể chứng minh
\[\frac{ab}{2a^2+b^2+c^2}+\frac{bc}{2b^2+c^2+a^2} + \frac{ca}{2c^2+a^2+b^2} \le \frac{3}{4},\]
bằng cách đưa bài toán về chứng minh về dạng đối xứng mạnh hơn là
\[\frac{ab}{a^2+b^2+2c^2}+\frac{bc}{b^2+c^2+2a^2} + \frac{ca}{2c^2+a^2+2b^2} \le \frac{3}{4},\]
rồi sử dụng bất đẳng thức Cauchy-Schwarz dạng cộng mẫu.

Ở đây mình có thêm một lời giải bằng khác. Sử dụng phân tích
$$\frac{2ab}{2a^2+b^2+c^2} =1-\frac{(a-b)^2+a^2+c^2}{2a^2+b^2+c^2},$$
ta viết bất đẳng thức trên lại như sau
\[ \sum \frac{(a-b)^2}{2a^2+b^2+c^2} +\sum \frac{a^2}{2a^2+b^2+c^2}+\sum \frac{c^2}{2a^2+b^2+c^2} \ge \frac{3}{2}.\]
Không mất tính tổng quát của bài toán, ta giả sử $b$ là số ở giữa $a$ và $c.$ Khi đó theo bất đẳng thức Cauchy-Schwarz inequality, ta có
\[\sum \frac{(a-b)^2}{2a^2+b^2+c^2} \ge \frac{\left[ (a-b)+(b-c)+(a-c)\right]^2}{(2a^2+b^2+c^2)+(2b^2+c^2+a^2)+(2c^2+a^2+b^2)}, \] \[\sum \frac{a^2}{2a^2+b^2+c^2} \ge \frac{(a+b+c)^2}{(2a^2+b^2+c^2)+(2b^2+c^2+a^2)+(2c^2+a^2+b^2)}, \]
và
\[ \sum \frac{c^2}{2a^2+b^2+c^2} \ge \frac{(c+a+b)^2}{(2a^2+b^2+c^2)+(2b^2+c^2+a^2)+(2c^2+a^2+b^2)}.\]
Như vậy, ta cần chứng minh được
\[\frac{4(a-c)^2+2(a+b+c)^2}{4(a^2+b^2+c^2)} \ge \frac{3}{2},\]
tương đương với.
$$(a-b)(b-c) \ge 0.$$
Bất đẳng thức cuối cùng đúng theo giả thiết của $b.$ Nên ta có điều phải chứng minh.

Nhận xét 2: Mình sẽ bàn một tí về xuất sứ của bài toán này (theo mình dự đoán) và những bài toán có hình thức “xấu xí” như vậy đã từng xuất hiện trước đó của kỳ thi. Thực sự thì đây là một bài toán quá dở của ngày thi thứ 2 nói riêng và của cả kỳ thi nói chung. Một bài toán cho đủ đội hình, mang tính đánh đố hơn là một bài toán của kỳ thi HSG quốc gia vì từ một bài toán rất đẹp, tác giả đã tìm cách biến đổi và sử dụng các đánh giá của mình để có được bài toán cồng kềnh như vậy. Sự xất hiện của quá nhiều $x,\;y,\;z$ làm bài toán trông không được đẹp đồng thời lũy thừa của biến quá cao làm nhiều bạn học sinh bị hoảng, vì thực tế thấy rằng các bạn học sinh thường tỏ ra bối khi đối với diện những bài toán có lũy thừa lớn hoặc bậc quá của bất đẳng thức quá lớn.

Ý tưởng giải bài toán quá rõ ràng, tử số có dạng tích còn mẫu số lại là tổng của các tích thì việc sử dụng bất đẳng thức AM-GM đã hiện ra ngay đó. Lại nói về việc ý tưởng của bài toán lỗ rõ ra trong bài, mình xin đề ra đây bài toán của kỳ thi TST năm 2010, một bài toán với ý tưởng tương tự

Bài toán 1 (Việt Nam TST 2010): Cho ba số dương $a,\;b,\;c$ thỏa mãn $16(a+b+c)\geq \frac{1}{a}+\frac{1}{b}+\frac{1}{c}.$ Chứng minh rằng
\[\sum_{cyc} \left( \frac{1}{a+b+\sqrt{2a+2c}}\right)^{3}\leq \frac{8}{9}.\]

Còn về bài toán số 6 của kỳ thi, mình đoán rằng tác giả bài toán đã đi từ bất đẳng thức sau của anh Trần Quốc Anh rồi chế biến lại thành bài toán số 6 này

Bài toán 2 (Trần Quốc Anh): Cho $a,\;b,\;c$ là ba số thực dương thỏa mãn $abc=1.$ Chứng minh rằng
\[\displaystyle \frac{1}{(a+1)^2(b+c)}+\frac{1}{(b+1)^2(c+a)} + \frac{1}{(c+1)^2(a+b)} \le \frac{3}{8}.\]
Bất đẳng thức này có hình thức rất đẹp, tuy nhiên nếu ta viết nó lại dưới dạng thuần nhất thì nó trông rất xấu xí, như sau
\[\sum \frac{xy^3z^3}{(x^2+yz)^2(y^3+z^3)} \le \frac{3}{8}.\]
Rõ ràng thì hai bài toán quá giống nhau, và cả hai đều có thể quy về chứng minh bất đẳng thức mạnh hơn
\[\sum \sqrt{\frac{a}{a+b}} \le \frac{3}{\sqrt{2}},\]
là một bất đẳng thức quen thuộc từng là bài thi của Trung Quốc năm 2005 và đề thi Olympic 30/4 năm (năm 2009 hay 2010 mình không nhớ rõ).

Việc những bài toán như vầy xuât hiện càng nhiều trong đề thi cho chúng ta thấy sự thiếu ý tưởng từ khâu ra đề. Việc này cần được khắc phục nhanh chóng để trả lại những bài toán hay, đẹp lại cho đề thi.