а) Обозначим углы треугольника через $\alpha$, $\beta$, $\gamma$ (см. рисунок). По теореме синусов $a=2R\sin\alpha$, $b=2R\sin\beta$, $c=2R\sin\gamma$, а, как видно из рисунка,
$$
c=r\left(\ctg\dfrac\alpha2+\ctg\dfrac\beta2\right)=r\dfrac{\sin\dfrac{\alpha+\beta}2}{\sin\dfrac\alpha2\sin\dfrac\beta2},
$$
откуда
$$
r=\dfrac{2R\sin\gamma\sin\dfrac\alpha2\sin\dfrac\beta2}{\cos\dfrac\gamma2}=4R\sin\dfrac\alpha2\sin\dfrac\beta2\sin\dfrac\gamma2.
$$
Следовательно,
$$
\begin{gather*}
R+r=R\left(1+4\sin\dfrac\alpha2\sin\dfrac\beta2\sin\dfrac\gamma2\right)=\\
=R\left(1+2\left(\cos\dfrac{\alpha-\beta}2-\cos\dfrac{\alpha+\beta}2\right)\cos\dfrac{\alpha+\beta}2\right)=\\
=R\left(1-2\sin^2\dfrac\gamma2+\cos\alpha+\cos\beta\right)=R(\cos\alpha+\cos\beta+\cos\gamma),
\end{gather*}
$$
а доказываемое неравенство с учётом теоремы синусов принимает вид $$
(\cos\alpha+\cos\beta+\cos\gamma)^2-(\sin^2\alpha+\sin^2\beta+\sin^2\gamma)\le0.
$$
Преобразуем левую часть:
$$
\begin{gather*}
2\cos\alpha\cos\beta+2\cos\gamma\,(\cos\alpha+\cos\beta)+\cos2\alpha+\cos2\beta+2\cos^2\gamma-1=\\
=\cos(\alpha-\beta)-1+\cos(\alpha+\beta)+2\cos\gamma\,(\cos\alpha+\cos\beta)+2\cos(\alpha+\beta)\cos(\alpha-\beta)+2\cos^2\gamma=\\
=\cos(\alpha-\beta)-1-\cos\gamma\,(1-2\cos\alpha-2\cos\beta+2\cos(\alpha-\beta)+2\cos(\alpha+\beta))=\\
=(\cos(\alpha-\beta)-1)-\cos\gamma\,(1-2\cos\alpha-2\cos\beta+4\cos\alpha\cos\beta)=\\
=(\cos(\alpha-\beta)-1)-\cos\gamma\,(1-2\cos\alpha)(1-2\cos\beta).
\end{gather*}
$$
Не ограничивая общности, можно считать, что либо оба угла $\alpha$ и $\beta$ не меньше $60^\circ$, либо оба они не больше $60^\circ$, тогда $(1-2\cos\alpha)(1-2\cos\beta)\ge0$. Кроме того, очевидно, $\cos(\alpha-\beta)-1\le0$, $\cos\gamma\ge0$ (треугольник не тупоугольный). Следовательно, полученное выражение неположительно.
б) Ответ: равенство достигается только для равностороннего или равнобедренного прямоугольного треугольника. Действительно, из проведённых выше выкладок следует, что для достижения равенства необходимо и достаточно, чтобы $\cos(\alpha-\beta)=1$, т. е. $\alpha=\beta$, и либо $\cos\gamma=0$, т. е. $\gamma=90^\circ$, либо $\cos\alpha=\cos\beta=\dfrac12$, т. е. $\alpha=\beta=60^\circ$.
