а), б) Пусть $O$ — центр данной окружности (сферы), $X_1$, $X_2$, $\ldots$, $X_n$ — данные точки, $\overrightarrow{x_i}=\overrightarrow{OX_i}$ ($i=1$, 2, $\ldots$, $n$), $s$ — сумма квадратов попарных расстояний между точками. Тогда, поскольку $|X_iX_j|^2=(\overrightarrow{x_j}-\overrightarrow{x_i})^2$, имеем:
$$
\begin{gathered}
2s=(\overrightarrow{x_1}-\overrightarrow{x_1})^2+(\overrightarrow{x_1}-\overrightarrow{x_2})^2+\ldots+(\overrightarrow{x_1}-\overrightarrow{x_n})^2+{}\\
{}+(\overrightarrow{x_2}-\overrightarrow{x_1})^2+(\overrightarrow{x_2}-\overrightarrow{x_2})^2+\ldots+(\overrightarrow{x_2}-\overrightarrow{x_n})^2+\ldots\\
\ldots+(\overrightarrow{x_n}-\overrightarrow{x_1})^2+(\overrightarrow{x_n}-\overrightarrow{x_2})^2+\ldots+(\overrightarrow{x_n}-\overrightarrow{x_n})^2=\\
=2n(\overrightarrow{x_1}{}^2+\overrightarrow{x_2}{}^2+\ldots+\overrightarrow{x_n}{}^2)-{}\\
{}-2[(\overrightarrow{x_1}\cdot\overrightarrow{x_1}+\overrightarrow{x_1}\cdot\overrightarrow{x_2}+\ldots+\overrightarrow{x_1}\cdot\overrightarrow{x_n})+{}\\
{}+(\overrightarrow{x_2}\cdot\overrightarrow{x_1}+\overrightarrow{x_2}\cdot\overrightarrow{x_2}+\ldots+\overrightarrow{x_2}\cdot\overrightarrow{x_n})+\ldots\\
\ldots+(\overrightarrow{x_n}\cdot\overrightarrow{x_1}+\overrightarrow{x_n}\cdot\overrightarrow{x_2}+\ldots+\overrightarrow{x_n}\cdot\overrightarrow{x_n})]=\\
=2n(\overrightarrow{x_1}{}^2+\overrightarrow{x_2}{}^2+\ldots+\overrightarrow{x_n}{}^2)-2\overrightarrow{x}\cdot\overrightarrow{x},
\end{gathered}
$$
где $\overrightarrow{x}=\overrightarrow{x_1}+\overrightarrow{x_2}+\ldots+\overrightarrow{x_n}$. Поэтому
$$
s=n^2-|\overrightarrow{x}|^2\le n^2,
$$
причём равенство достигается в том и только в том случае, когда
$\overrightarrow{x_1}+\overrightarrow{x_2}+\ldots+\overrightarrow{x_n}=\overrightarrow{0}$.
Полученная нами формула для суммы квадратов попарных расстояний между точками $X_i$ является очень частным случаем формулы Лагранжа для так называемого «момента инерции» системы точечных масс. Подробнее о моменте инерции, формуле Лагранжа и их применении в геометрии можно прочитать в статьях
М. Балка и Н. Григорьева «Механика помогает геометрии» («Квант», 1973, № 11) и З. Скопеца «Расстояние между центроидами двух систем точек» («Квант», 1975, № 3).