Ответ: только для $m=n=0$
Мы должны доказать, что исходное равенство
$$
(a+b\sqrt{d})^m=(b+a\sqrt{d})^n\tag1
$$
не может выполняться при положительных целых $m$ и $n$. (В круглых скобках стоят числа, большие 1, поэтому $m$ и $n$ — одного знака; если $m$ и $n$ отрицательны, то, перейдя к обратным числам, мы получим равенство, аналогичное (1) с показателями $|m|$ и $|n|$.) Заметим, что в условиях задачи число $\sqrt{d}$ (в частности, $\sqrt2$) — иррациональное. Раскроем в данном равенстве скобки и представим его в виде
$$
x+y\sqrt{d}=z+t\sqrt{d},\tag2
$$
где $x$, $y$, $z$, $t$ — натуральные числа. Равенство (2) может выполняться только, если $x=z$ и $y=t$ (иначе $\sqrt{d}$ — рациональное число), поэтому вместе с данным равенством (1) должно выполняться и равенство для «сопряжённых» чисел (полученных подстановкой $-\sqrt{d}$ вместо $\sqrt{d}$):
$$
(a-b\sqrt{d})^m=(b-a\sqrt{d})^n,\tag3
$$
эквивалентное равенству $x-y\sqrt{d}=z-t\sqrt{d}$.
Это соображение сразу даёт решение задачи a): поскольку $|5-3\sqrt2|\lt1$, а $|3-5\sqrt2|\gt1$,
равенство
$$
(5-3\sqrt{2})^m=(3-5\sqrt{2})^n
$$
не может выполняться при $m\gt1$, $n\gt1$: слева стоит число, по модулю меньшее 1, а справа — большее 1.
Приведём теперь два решения задачи б).
Первое основано на соображениях делимости. Заметим сначала, что в равенстве (1) показатели $m$ и $n$ можно считать взаимно простыми (если они имеют наибольший общий делитель $q\gt1$, то, извлекая корень степени $q$, мы получим аналогичное равенство со взаимно простыми $m$ и $n$). Значит, одно из этих чисел, скажем, $n$ — нечётно. Тогда после раскрытия скобок в (1) все члены, не содержащие $\sqrt{d}$, кроме $a^m$, будут иметь множитель $b$. Приравнивая их суммы в левой и правой частях ($x=z$), получим, что $a^m$ делится на $b$. А поскольку $a$ и $b$ взаимно просты, это возможно лишь при $b=1$. Подставляя в (3) $b=1$ и учитывая, что $1-a\sqrt{d}<0$, видим, что обе части (3) отрицательны, следовательно, число $m$ также нечётно. Отсюда точно так же выводится, что $b^n=1$ делится на $a$, так что и $a=1$, в противоречии с условием $a\ne b$.
Второе решение б) ближе к решению задачи a) — в нём используются лишь переход к сопряжённым числам (3) и оценки и не используется условие взаимной простоты натуральных чисел $a$ и $b$.
Пусть $a\gt b$, тогда $1\lt a+b\sqrt{d}\lt b+a\sqrt{d}$ и поэтому из (1) следует (при $m\gt1$, $n\gt1$), что $m\gt n$. С другой стороны, должно выполняться равенство
$$
\left(\dfrac{a-b\sqrt{d}}{a+b\sqrt{d}}\right)^m=\left(\dfrac{b-a\sqrt{d}}{b+a\sqrt{d}}\right)^n.\tag4
$$
Сравним величины
$$
\mu=\left|\dfrac{a-b\sqrt{d}}{a+b\sqrt{d}}\right|\quad\text{и}\quad
\nu=\left|\dfrac{a\sqrt{d}-b}{b+a\sqrt{d}}\right|\tag5
$$
(во второй знак модуля можно и не писать, поскольку $a\sqrt{d}\gt b$). Заметим, что если $p\gt q\gt0$, то величина
$$
\dfrac{p-q}{p+q}=\dfrac{1-\dfrac qp}{1+\dfrac qp}=\dfrac2{1+\dfrac qp}-1
$$
тем больше (ближе к 1), чем меньше отношение $\dfrac qp$. Поскольку, очевидно,
$$
\dfrac b{a\sqrt{d}}\lt\dfrac ba\lt\dfrac{b\sqrt{d}}a\quad\text{и}
\quad\dfrac b{a\sqrt{d}}\lt\dfrac a{b\sqrt{d}},
$$
в любом из двух случаев $a\gt b\sqrt{d}$ и $a\lt b\sqrt{d}$ будет $\mu\lt\nu$ и тем более $\mu^n\lt\nu^n$, ибо $0\lt\mu\lt\nu\lt1$, а $m\gt n$. Это противоречит равенству $\mu^m=\nu^n$, вытекающему из (4).
