Пусть прямая $l$, по которой складывается квадрат, образует с его горизонтальной стороной угол $\alpha$ ($0\le\alpha\le45^\circ$), длина стороны квадрата — $2q$.
а) Если фигуру, полученную складыванием квадрата по прямой $l$, дополнить симметричной (относительно центра квадрата $O$ или относительно прямой $l$ — всё равно!), то получится изображённый на рисунке 1 многоугольник — объединение квадрата с повёрнутым на угол $2\alpha$. Он имеет четыре оси симметрии. Чтобы выяснить, когда его площадь максимальна, заметим, что его можно получить, дополнив исходный квадрат $2q\times2q$ четырьмя одинаковыми розовыми прямоугольными треугольниками. Гипотенузу $c$ и катеты $a$, $b$ каждого из них легко найти, заметив, что $a+b+c=2q$, $a=c\sin2\alpha$, $b=c\cos2\alpha$, откуда
$$
c=\dfrac{2q}{1+\sin2\alpha+\cos2\alpha}=\dfrac{2q}{1+\sqrt2\cos(45^\circ-2\alpha)};
$$
площадь треугольника равна $q(q-c)$ и максимальна при $\alpha=22{,}5^\circ$, когда гипотенуза $c$ минимальна. Таким образом, 16-угольник на рисунке 1 имеет максимальную площадь $8q^2(2-\sqrt{2})$, когда он имеет форму «звёздочки» с 8 осями симметрии; при том же угле $\alpha=22{,}5^\circ$ наибольшую площадь имеет и его половинка.
Рис. 1Рис. 2Рис. 3
б) Ответ: наибольшая окружность в сложенном квадрате помещается при $\alpha_0=2\arctg2-90^\circ\approx36{,}87^\circ$; её радиус $r_0$ равен $\dfrac{5q}8$, а соответствующая прямая $l$ делит сторону квадрата в отношении $1:7$. Подтвердить этот ответ помогает геометрический эксперимент: если через каждые $2^\circ$ или $3^\circ$ (от $\alpha=0^\circ$ до $\alpha=45^\circ$) поточнее построить соответствующий чертёж (удобно вырезать из картона большой квадрат, проткнуть его в центре кнопкой и использовать для построения основного и повёрнутого квадрата, а наибольшую окружность — для каждого $\alpha$ — строить «циркулем и линейкой»), можно достаточно точно построить график зависимости радиуса наибольшей окружности $r$ от $\alpha$ (рис. 3). На графике этой функции выделяется несколько особых точек $\alpha_i$ — отрезок $0^\circ\le\alpha\le45^\circ$ делится на 5 кусочков, на каждом из которых наибольшая окружность определяется разными геометрическими условиями, так что её радиус выражается разными (иногда — весьма громоздкими) формулами. Одной из этих особых точек является и $\alpha_0$, поэтому в точке $\alpha_0$ функция $r=r(\alpha)$ не имеет производной, и приходится оценивать её отдельно на разных кусочках.
На рисунках 2, 4—7 показаны некоторые этапы «эволюции» наибольшей окружности при изменении $\alpha$ от $0^\circ$ до $45^\circ$. Глядя на них, нетрудно представить и остальные: при $\alpha=0^\circ$ годится любая окружность, касающаяся длинных сторон прямоугольной половины квадрата; при $0^\circ\lt\alpha\lt\alpha_1$ окружность касается прямых $l=(MN)$, $MB$ и $CK$, точка $L$ лежит вне её; при $\alpha=\alpha_1$ точка $L$ попадает на окружность; случай $\alpha_1\lt\alpha\lt\alpha_2$ показан на рисунке 4; при $\alpha_2\le\alpha\le\alpha_3$ окружность касается $l$ и проходит через точки $L$ и $K$, причём при $\alpha=\alpha_2$ она касается $(CK)$ в точке $K$, а при $\alpha=\alpha_3$ — касается $(MC)$ в точке $L$; сюда относится и «звёздочка» (рис. 2); остальные случаи показаны на рисунках 5, 6 и 7.
Докажем, что радиус окружности всегда не больше $\dfrac{5q}8$, причём равенство имеет место только при $\alpha=\alpha_0$. Некоторые подробности рассуждений мы опустим, но их нетрудно восстановить по надписям на рисунках.
При $\alpha_0\le\alpha\le45^\circ$ всё просто: наибольшая окружность касается прямой $l$ в точке $O$ и касается двух сторон девятиугольника, симметричных относительной прямой $OK$; её радиус $r$ равен (рис. 7)
$$
r=\dfrac{q\tg\left(45^\circ-\dfrac{\alpha}2\right)}{\cos\alpha}=\dfrac q{2\cos^2\left(45^\circ-\dfrac{\alpha}2\right)}=\dfrac q{\cos(90^\circ-\alpha)+1}
$$
и, очевидно, при уменьшении $\alpha$ от $45^\circ$ до $\alpha_0$ увеличивается $\Big($от $(2-\sqrt2)q$ до $\dfrac{5q}8\Big)$; значения $\alpha_0$ и $r_0$ можно определить из треугольников $ONQ$ и $ONK$ на рисунке 6.
Случай малых $\alpha$ также не вызывает трудностей: ясно, что, пока наибольшая окружность касается $(CK)$, её диаметр не превосходит $|MC|$ (рис. 4). Если $|MC|\lt\dfrac{5q}4$, то есть $\alpha\lt\arctg\dfrac14\approx14{,}43^\circ$, то тем более
$r\le\dfrac12|MC|\lt\dfrac{5q}8$.
Для значений $\alpha$, при которых наибольшая окружность проходит через точку $L$, т. е. для $\alpha_1\le\alpha\le\alpha_3$, в качестве оценки для её радиуса можно взять радиус окружности, проходящей через точки $K$, $L$ и $O$ (см. рис. 4), равный
$$
\dfrac{|KL|}{2\sin\widehat{KOL}}=\dfrac c{2\sin45^\circ}=\dfrac q{\dfrac{\sqrt2}2+\cos(45^\circ-2\alpha)}
$$
(см. решение пункта а)). Этот радиус не превосходит $\dfrac{5q}8$ при $\cos(45^\circ-2\alpha)\ge\dfrac85-\dfrac{\sqrt2}2\approx0{,}8929$, т. е. $9{,}12^\circ\lt\alpha\lt35{,}88^\circ$. Поскольку этот интервал перекрывается с предыдущим, тем самым проверены все значения $\alpha$ от $0^\circ$ до, по крайней мере, $\alpha_3$.
Рис. 8. $\alpha_0\gt\alpha\gt0^\circ$.
Осталось доказать, что $r\le r_0=\dfrac{5q}8$ на участке $[\alpha_3;\alpha_0]$, где наибольшая окружность расположена так, как показано на рисунке 5. Зафиксируем окружность радиуса $r_0$ и докажем, что если пристроить к ней наш сложенный квадрат так, чтобы она оказалась вписанной в угол $CMO$, то точка $K$ окажется внутри окружности (или на ней при $\alpha=\alpha_0$). Это и значит, что поместить в нашу фигуру окружность большего радиуса невозможно.
Сторону $MO$ мы будем рисовать горизонтальной и касающейся окружности радиуса $r_0$ в её нижней точке $T$ (рис. 8). Для того, чтобы построить точку $K=K(\alpha)$, нужно от точки $T$ отложить влево отрезок $TM$ длины $r_0\tg\left(45^\circ+\dfrac\alpha2\right)$ (напомним, что $\widehat{OMC}=90^\circ-\alpha$) и затем вправо-вверх — отрезок $MK$ длины $\dfrac{q\sqrt2}{\cos\alpha}$ под углом $45^\circ$ к $MO$ $\Big(\triangle OMK$ — прямоугольный равнобедренный, а $|OM|=\dfrac q{\cos\alpha}\Big)$. При $\alpha=\alpha_0$ точка $K$ попадает в верхнюю точку круга; при уменьшении $\alpha$ она совершает движение со скоростью, равной векторной сумме двух скоростей: одна — вдоль прямой $MO$ — направлена вправо и имеет величину
$$
u=r_0\left|\tg\left(45^\circ+\dfrac\alpha2\right)'\right|=\dfrac{r_0}{2\cos^2\left(45^\circ+\dfrac\alpha2\right)}=\dfrac{r_0}{1-\sin\alpha},
$$
другая — вдоль прямой $K(\alpha)M(\alpha)$ — направлена влево-вниз и равна по величине
$$
v=q\sqrt2\left|\left(\dfrac1{\cos\alpha}\right)'\right|=\dfrac{q\sqrt2\sin\alpha}{1-\sin^2\alpha}
$$
(роль времени играет величина $\alpha_0-\alpha\ge0$). Нас интересует лишь небольшой участок значений $\alpha$ вблизи $\alpha_0$; но даже если продолжить это движение точки $K$ до $\alpha=0^\circ$, она не выйдет за пределы круга, поскольку (при $\alpha=0^\circ$) $\sqrt2q=|MK|\lt r_0(\sqrt{2}+1)$. Если ещё заметить, что отношение $\dfrac uv$ возрастает при уменьшении $\alpha$ от $\alpha_0$ до $0^\circ$, то становится ясным, что вектор скорости точки $K$ поворачивается против часовой стрелки, т. е. траектория обращена выпуклостью вниз и, значит, никак не может попасть на границу круга. С подобным «кинематическим» подходом к решению геометрических задач (заменяющим в данном случае довольно громоздкие аналитические оценки) можно познакомиться подробнее в книжке Ю. И. Любича и Л. А. Шора «Кинематический метод в геометрических задачах» (М.: Наука, 1966) из серии «Популярные лекции по математике».