Сумма квадратов коэффициентов многочлена
$$
(a_kx^k+\ldots+a_1x+a_0)(b_mx^m+b_{m-1}x^{m-1}+\ldots+b_1x+b_0),\tag1
$$
т. е. сумма по всем $h\le m+k$ чисел
$$
(a_0b_h+a_1b_{h-1}+\ldots+a_hb_0)(a_0b_h+a_1b_{h-1}+a_hb_0)
$$
равна сумме чисел $a_ia_jb_rb_s$ всем $i$, $j$, $r$, $s$ таким, что $i-j=r-s$ (мы считаем равными 0 числа $a_i$ с индексами, не лежащими на отрезке $0\le i\le k$, и числа $b_r$ с индексами, не лежащими на отрезке $0\le r\le m$). Но точно такой же будет и сумма квадратов коэффициентов многочлена
$$
(a_kx^k+\ldots+a_1x+a_0)(b_0x^m+b_1x^{m-1}+\ldots+b_{m-1}x+b_m).\tag2
$$
Пусть теперь $a_k=b_m=1$. Сумма квадратов (2) при этом равна
$$
b_0^2+\ldots+a_0^2\ge a_0^2+b_0^2
$$
(слева выписаны квадраты первого и последнего коэффициентов).
Из этого решения нетрудно увидеть, в каких случаях неравенство задачи превращается в равенство: для этого необходимо и достаточно, чтобы многочлен (2) — произведение $P(x)$ на многочлен $x^mQ{\left(\dfrac1x\right)}$, полученный «обращением» $Q(x)$ ($m$ — степень $Q$), — имел вид $cx^{m+k}-d$. Например, это так для $P(x)=x^2-2x+4$ и $Q(x)=x+\dfrac12$. (Уже отсюда видно, что совсем «грубого» доказательства у этой задачи быть не может.)