Пусть $a$ и $b$ — натуральные числа и $$
\dfrac{a^2+b^2}{1+ab}=k.
$$
Тогда $b$ — корень уравнения
$$
x^2-kax+a^2-k=0.
$$
Если $c$ — второй корень этого уравнения, число $k$ целое и $a\le b$, то
1) $\dfrac{a^2+c^2}{1+ac}=k$ (следует из уравнения);
2) $c$ — целое, так как $c=ka-b$ (теорема Виета);
3) $c\lt a$, так как $bc=a^2-k\lt a^2$ и $b\gt a$;
4) $c\ge0$, так как $$
\begin{gather*}
\left(\dfrac1a+c\right)\left(\dfrac1a+b\right)=\left(-\dfrac1a-c\right)\left(-\dfrac1a-b\right)=\\
=\left(-\dfrac1a\right)^2-ka\left(-\dfrac1a\right)+a^2-k=\dfrac1{a^2}+a^2\gt0,
\end{gather*}
$$
и, следовательно, целое число $c$ удовлетворяет неравенству $c\gt -\dfrac1a$.
Если $c=0$, то $b=a^3$. Это — «основная серия» пар $(a,b)$, удовлетворяющих условию; для них $k=a^2$. Если $c\gt0$, то пару $(a,b)$ можно заменить на пару $(c,a)$ с тем же отношением $k$, к которой снова применимо наше рассуждение, и т. д. В процессе «спуска» наибольшее число пары каждый раз уменьшается, поэтому он должен закончиться на некоторой паре $(0,n)$, которой предшествует пара $(n,n^3)$ «основной серии»; тогда $k=n^2$. Наконец, если числа исходной пары $(a,b)$ равны между собой, то отношение $k$ может быть целым только при $a=b=1$; тогда $k=1$.
Наше рассуждение позволяет построить бесконечную последовательность пар, удовлетворяющих условию, начиная с любой пары $(0,n)$. Например, при $n=2$, $k=4$ получим пары $(0,2)$, $(2,8)$, $(8,30)$, $(30,4\cdot30-8)=(30,112)$, $\ldots$
