Ответ: $1001b-\dfrac{b(b-1)}2$.
Если в наборе использовались хотя бы $b$ монет по $a$ дублонов, мы можем заменить их на $a$ монет по $b$ дублонов. При этом сумма номиналов не изменится, а общее количество монет уменьшится. Таким образом, из любого набора такими заменами можем получить набор с той же суммой, в котором не более $(b-1)$ монет по $a$ дублонов. Итак, далее рассматриваем только наборы, в которых от $0$ до $b-1$ монет по $a$ дублонов.
Заметим, что варианты с разным количеством монет по $a$ дублонов дают заведомо разные суммы, так как у них разные остатки при делении на $b$. (Действительно, если $0\le i\lt j\le b-1$ — количества монет по $a$ дублонов, то соответствующие суммы при делении на $b$ дают такие же остатки, как $ia$ и $ja$. Но $ja-ia=(j-i)a$ не делится на $b$, поскольку $a$ и $b$ взаимно просты, а $0\lt j-i\lt b$.)
Зафиксируем количество $k$ монет по $a$ дублонов. Тогда к ним можно добавить 0, 1, $\ldots$, $1000-k$ монет по $b$ дублонов, и, очевидно, все получаемые при этом суммы будут различны. Видим, что для данного $k$ у нас есть $(1001-k)$ вариантов.
Суммируя по $k=0$, 1, $\ldots$, $b-1$, получаем итоговое количество вариантов:
$$\begin{gather*}
1001+(1001-1)+(1001-2)+\ldots+\big(1001-(b-1)\big)=\\
=1001b-\big(1+2+\ldots+(b-1)\big)=1001b-\dfrac{b(b-1)}2.
\end{gather*}$$
