а) Пусть $r$ — радиус, $O_1$ и $O_2$ — центры окружностей, вписанных в треугольники $AOB$ и $COD$; $P$, $Q$, $R$, $S$ — точки касания этих окружностей со сторонами $AO$, $BO$, $CO$, $DO$ этих треугольников (рис. 1).
Рис. 1
Докажем сначала, что четырёхугольник $ABCD$ — параллелограмм. Для этого достаточно установить, что его диагонали $AC$ и $BD$ делятся точкой $O$ пополам.
Предположим, что это не так. Пусть, например, $|AO|\gt|OC|$. Мы докажем, что из этого неравенства следуют неравенства $|BO|\lt|OD|$ и $|BO|\gt|OD|$, что невозможно.
Из неравенства $|AO|\gt|OC|$ следует, что $|AP|\gt|CR|$, поскольку $|OP|=|OR|$; из $|O_1P|=|O_2R|$ вытекает $\widehat{O_1AP}\lt\widehat{O_2CR}$, и поэтому $\widehat{BAO}\lt\widehat{DCO}$. Следовательно, $\widehat{ABO}\gt\widehat{CDO}$ и $|BQ|\lt|DS|$, но это значит, что $|BO|\lt|OD|$.
Повторяя проведённые рассуждения для треугольников $BOC$ и $AOD$ (рис. 2; проделайте это самостоятельно), получим, что $\widehat{DAO}\lt\widehat{BCO}$, откуда $\widehat{ODA}\gt\widehat{CBO}$, и, следовательно, $|DS_1|\lt|BQ_1|$, т. е. $|BO|\gt|OD|$.
Рис. 2
Полученное противоречие доказывает, что $|AO|=|OC|$. Так же доказывается, что $|BO|=|OD|$. Итак, четырёхугольник $ABCD$ — параллелограмм.
Из равенства площадей треугольников $AOB$ и $BOC$ (мы пользуемся известной формулой $S=pr$) получаем
$$
\dfrac12r(|AO|+|OB|+|AB|)=\dfrac12r(|OC|+|OB|+|BC|),
$$
откуда $|BC|=|AB|$, т. е. четырёхугольник $ABCD$ — ромб.
б) Первое решение. Пусть (рис. 3) $A_1$ и $A_2$, $B_1$ и $B_2$, $C_1$ и $C_2$, $D_1$ и $D_2$ — точки касания окружностей, вписанных в треугольники $ABD$, $ABC$, $BCD$, $CDA$, со сторонами четырёхугольника $ABCD$; $O_1$, $O_2$, $O_3$, $O_4$ — центры этих окружностей; $P$, $Q$, $R$, $S$ — точки касания окружностей с диагоналями $AC$ и $BD$; $r$ — радиус окружностей.
Рис. 3
Сначала мы докажем интересный и сам по себе факт: для произвольного выпуклого четырёхугольника $ABCD$ длины отрезков между точками касания, лежащими на противоположных сторонах четырёхугольника, равны, т. е. $|A_1B_2|=|C_1D_2|$ и $|B_1C_2|=|A_2D_1|$.
Убедимся сначала, что рисунок 3 «правильный», т. е. что расположение точек касания на сторонах четырёхугольника именно такое, как это показано на рисунке 3.
Рассмотрим, например, треугольники $ABD$ и $ACD$ и докажем, что точка $A_2$ лежит ближе к точке $A$, чем точка $D_1$.
Для этого достаточно доказать, что $|AA_2|+|DD_1|\lt|AD|$.
Легко видеть, что $$
|AA_2|=\dfrac{|AB|+|AD|-|BD|}2
$$
и $$
|DD_1|=\dfrac{|AD|+|CD|-|AC|}2.
$$
Сложив эти равенства, получим
$$
|AA_2|+|DD_1|=|AD|+\dfrac{|AB|+|CD|-|BD|-|AC|}{2}.
$$
Но $|AB|+|CD|\lt|BD|+|AC|$ (докажите это!) и, следовательно,
$$
|AA_2|+|DD_1|\lt|AD|.
$$
Теперь докажем, что $|A_2D_1|=|B_1C_2|$ и $|D_2C_1|=|A_1B_2|$.
С другой стороны,
$$
\begin{gather*}
|BD|=|BR|+|RD|=|BB_1|+|B_1C_2|+|DD_2|+|D_2C_1|=\\
=|BB_2|+|B_1C_2|+|DD_1|+|D_2C_1|.\tag2
\end{gather*}
$$
Приравнивая выражения (1) и (2), получаем
$$
|A_1B_2|+|A_2D_1|=|B_1C_2|+|D_2C_1|.\tag3
$$
Проведя точно такие же вычисления для диагонали $AC$, получим
$$
|A_2D_1|+|D_2C_1|=|A_1B_2|+|B_1C_2|.\tag4
$$
Сложив теперь равенства (3) и (4), получим
$$
|A_2D_1|=|B_1C_2|.
$$
Следовательно, и $|D_2C_1|=|A_1B_2|$.
До сих пор мы не пользовались равенством радиусов вписанных окружностей, так что полученный нами результат справедлив для произвольного выпуклого четырёхугольника.
Теперь завершим решение задачи.
Так как центры окружностей одинаково удалены от соответствующих сторон, получаем $(O_1O_2)\parallel(AB)$ и $(O_3O_4)\parallel(CD)$; а так как $|O_1O_2|=|A_1B_2|$ и $|O_3O_4|=|C_1D_2|$, получаем $|O_1O_2|=|O_3O_4|$.
Аналогично, $|O_2O_3|=|O_1O_4|$ и, значит, четырёхугольник $O_1O_2O_3O_4$ — параллелограмм, а так как стороны четырёхугольника $ABCD$ параллельны сторонам этого параллелограмма, четырёхугольник $ABCD$ — тоже параллелограмм.
Приравняв выражения для площадей треугольников $ABD$ и $ABC$, получим
$$
\dfrac12r(|AB|+|BD|+|AD|)=\dfrac12r(|CD|+|AD|+|AC|),
$$
откуда $|BD|=|AC|$.
Таким образом, диагонали параллелограмма $ABCD$ равны по длине, а это значит, что $ABCD$ — прямоугольник.
Второе решение. Как и в первом решении, мы докажем сначала, что четырёхугольник $ABCD$ — параллелограмм.
Для этого проведём через точки $B$ и $D$ прямые, параллельные стороне $AC$ (рис. 4), и отложим на них по одну стороны от прямой $BD$ отрезки $BB'$ и $DD'$ длины $|AC|$.
Четырёхугольник $BB'DD'$, очевидно, — параллелограмм. Легко видеть, что треугольники $BCB'$, $B'CD'$, $CD'D$ конгруэнтны треугольникам $ABC$, $ABD$ и $ACD$ соответственно, так что радиусы окружностей, вписанных во все четыре треугольника, на которые параллелограмм $BB'DD'$ разбит отрезками $CB$, $CB'$, $CD$ и $CD'$, равны.
Докажем, что точка $C$ совпадает с точкой $E$ пересечения диагоналей параллелограмма $BB'D'D$.
В самом деле, если это не так, то точка $C$ принадлежит одному из треугольников, на которые параллелограмм разбивается своими диагоналями (на рисунке 4 это треугольник $DED'$). В этом случае радиус окружности, вписанной в треугольник $DED'$, будет больше $r$, а радиус окружности, вписанной в треугольник $BEB'$ — меньше $r$, что противоречит конгруэнтности треугольников $DED'$ и $BEB'$.
Рис. 4
Таким образом, точка $C$ совпадает с точкой $E$ пересечения диагоналей параллелограмма $BB'D'D$ и, следовательно, $[DC]\parallel[AB]$ и $[AD]\parallel[BC]$, т. е. четырёхугольник $ABCD$ — параллелограмм.
Для завершения этого решения достаточно провести рассуждения, уже проведённые в конце первого решения.