В доказательстве обоих утверждений можно использовать следующую основную идею. Уравнение
$$
x^2-qxy+y^2+q=0\tag{1}
$$
при фиксированных $q$ и $y$ — квадратное относительно $x$. Если при целых $q$ и $y$ оно имеет один целый корень $x$, то должно иметь и ещё один целый корень (согласно теореме Виета, равный $qy-x$). Подобная идея не раз встречалась в задачах про уравнения в целых числах.
a) Мы должны доказать, что если уравнение (1) имеет решение $(x,y)$ в целых положительных числах, то $q=5$. Отметим сразу, что при $q=1$ и $q=2$ таких решений очевидно нет:
$$
\begin{gather*}
x^2-xy+y^2+1=(x-y)^2+xy+1\gt1,\\
x^2-2xy+y^2+2=(x-y)^2+2\gt1.
\end{gather*}
$$
Далее, при $q\gt2$ нет целых решений таких, что $x=y$ (если $x^2(2-q)+q=0$, то $x^2=\dfrac q{q-2}=1+\dfrac2{q-2}$, а это число не превосходит 3 и больше 1). Наконец, заметим ещё, что уравнение (1) рассматриваемое как квадратное относительно $x$ при целых $q\gt2$ и $y\gt0$ не может иметь кратных корней. В самом деле, если его дискриминант равен $0$, т. е. если $y^2q^2-4(y^2+q)=0$, то $y^2=\dfrac{4q}{q^2-4}$, а это число при $q\gt2$ не превосходит $\dfrac{12}5$ и не равно 1, поскольку уравнение $q^2-4q-4=0$ не имеет целых корней.
Теперь вспомним основную идею: из каждого решения $(x,y)$ можно получить ещё одно решение с тем же $y$. Среди всех решений $(x,y)$ уравнения (1) с данным $q$, для которых $x\gt y$, рассмотрим решения с наименьшим $y$. Пусть это будут решения $(v,y)$ и $(w,y)$. Тогда $y\lt v\lt w$, так что $v\ge y+1$, $w\ge y+2$.
По теореме Виета, поскольку $x=v$ и $x=w$ — корни уравнения (1), $vw=y^2$, $v+w=qy$. Поэтому
$$
y^2+q-qy=vw-v-w=(v-1)(w-1)-1\ge y(y+1)-1=y^2+y-1,
$$
откуда $1-y+q-qy\ge0$, или $(1-y)(1+q)\ge0$. Но это возможно лишь если $y=1$ и все неравенства обращаются в равенства, т. е. $v=2$, $w=3$, $q=5$.
Последнее рассуждение можно заменить более наглядным, если воспользоваться геометрической интерпретацией уравнений (1). Каждое из них (при $q=3$, 4, 5, 6, $\ldots$) на плоскости $Oxy$ задаёт гиперболу, симметричную относительно прямой $x=y$, вершина которой лежит на отрезке $1\le x\le2$ этой прямой. Если прямая, параллельная одной из осей, пересекает гиперболу в «целой» точке, то и вторая её точка пересечения с гиперболой — целая. Пользуясь этим, легко показать, что если гипербола содержит хоть одну целую точку, то такая точка есть и вблизи вершины — на участке, расположенном ниже неё (ещё ближе к оси $Ox$). Так дело сводится лишь к решениям с $y=1$, с которыми уже легко разобраться.
б) Итак, осталось рассмотреть уравнение с $q=5$:
$$
x^2-5xy+y^2+5=0.\tag2
$$
Два его решения — $(1,2)$ и $(1,3)$ — очевидны. Из каждого решения $(x,y)$, кроме симметричного $(y,x)$, можно получить ещё одно решение с тем же $y$: $(5y-x,y)$; действительно,
$$
(5y-x)^2-5(5y-x)y+y^2=x^2-5xy+y^2=-5.
$$
Заметим, что если $y\gt x$, то $5y-x\gt4y\gt y$. Таким образом, любые два соседних члена последовательностей
$$
\begin{gather*}
1,~2,~9,~43,~206,~987,~\ldots,\\
1,~3,~14,~67,~321,~1538,~\ldots,
\end{gather*}
$$
где каждый член получается из двух предыдущих $x$, $y$ по формуле $5y-x$, дают новое решение уравнения (2).
