Шаг 1
Первое уравнение $(x^2 - 5x - y + 3) \cdot \sqrt{x - y + 3} = 0$ равносильно совокупности:
1) $x - y + 3 = 0$
2) $x^2 - 5x - y + 3 = 0$ и $x - y + 3 \ge 0$.
1) $x - y + 3 = 0$
2) $x^2 - 5x - y + 3 = 0$ и $x - y + 3 \ge 0$.
Шаг 2
Подставляем $y = ax + a$ из второго уравнения системы.
Случай A: $x - y + 3 = 0$.
Подстановка даёт $x - (ax + a) + 3 = 0 \Rightarrow x(1 - a) = a - 3$.
При $a = 1$: $0 = -2$, решений нет.
При $a \ne 1$: $x_A = \frac{a-3}{1-a}$, $y_A = a \cdot \frac{a-3}{1-a} + a = \frac{-2a}{1-a}$.
Получаем одно решение.
Случай B: $x^2 - 5x - y + 3 = 0$ и $x - y + 3 \ge 0$.
Подстановка даёт $x^2 - (5+a)x + (3-a) = 0$.
Дискриминант: $D = (5+a)^2 - 4(3-a) = a^2 + 14a + 13 = (a+1)(a+13)$.
Уравнение имеет два корня при $D > 0$ ($a < -13$ или $a > -1$), один корень при $D = 0$ ($a = -13$ или $a = -1$), ни одного при $D < 0$ ($-13 < a < -1$).
Для каждого корня $x$ условие $x - y + 3 \ge 0$ эквивалентно $x(1-a) \ge a-3$.
Случай A: $x - y + 3 = 0$.
Подстановка даёт $x - (ax + a) + 3 = 0 \Rightarrow x(1 - a) = a - 3$.
При $a = 1$: $0 = -2$, решений нет.
При $a \ne 1$: $x_A = \frac{a-3}{1-a}$, $y_A = a \cdot \frac{a-3}{1-a} + a = \frac{-2a}{1-a}$.
Получаем одно решение.
Случай B: $x^2 - 5x - y + 3 = 0$ и $x - y + 3 \ge 0$.
Подстановка даёт $x^2 - (5+a)x + (3-a) = 0$.
Дискриминант: $D = (5+a)^2 - 4(3-a) = a^2 + 14a + 13 = (a+1)(a+13)$.
Уравнение имеет два корня при $D > 0$ ($a < -13$ или $a > -1$), один корень при $D = 0$ ($a = -13$ или $a = -1$), ни одного при $D < 0$ ($-13 < a < -1$).
Для каждого корня $x$ условие $x - y + 3 \ge 0$ эквивалентно $x(1-a) \ge a-3$.
Шаг 3
Проверим совпадение решений A и B.
Решение A удовлетворяет уравнению B при $(a-3)(7a-9)=0$, т.е. при $a=3$ или $a=\frac{9}{7}$.
Решение A удовлетворяет уравнению B при $(a-3)(7a-9)=0$, т.е. при $a=3$ или $a=\frac{9}{7}$.
Шаг 4
Анализ количества решений в зависимости от $a$.
1) $a < -13$: $D>0$, два корня B. Неравенство $x(1-a) \ge a-3$ при $a<1$ означает $x \ge x_A$. При $a<-13$ число $x_A$ больше большего корня, поэтому оба корня B не удовлетворяют неравенству. Решение A одно. Итого 1 решение.
2) $a = -13$: $D=0$, один корень B $x=-4$, $y=39$, но $x-y+3=-40<0$ — не подходит. Решение A одно. Итого 1 решение.
3) $-13 < a < -1$: $D<0$, решений B нет. Решение A одно. Итого 1 решение.
4) $a = -1$: $D=0$, один корень B $x=2$, $y=-3$, условие $x-y+3=8\ge0$ выполнено. Решение A: $x_A=-2$, $y_A=2$. Различны. Итого 2 решения.
5) $-1 < a < 1$: $D>0$, два корня B. Неравенство $x \ge x_A$ ($a<1$). При этих $a$ оба корня B удовлетворяют неравенству, и решение A отлично от них. Итого 3 решения.
6) $a = 1$: Случай A не даёт решений. Случай B: $x^2-6x+2=0$, два корня, неравенство $0 \ge -2$ верно всегда. Итого 2 решения.
7) $1 < a < \frac{9}{7}$: $D>0$, два корня B. Неравенство $x \le x_A$ ($a>1$). При этих $a$ число $x_A$ больше большего корня B, поэтому оба корня B удовлетворяют неравенству. Решение A отлично от них. Итого 3 решения.
8) $a = \frac{9}{7}$: $D>0$, корни B: $x=6$ и $x=\frac{2}{7}$. Неравенство $x \le 6$ верно для обоих. Корень $x=6$ совпадает с решением A. Итого 2 решения.
9) $\frac{9}{7} < a < 3$: $D>0$, два корня B. Неравенство $x \le x_A$. Здесь $x_A$ меньше большего корня, поэтому неравенству удовлетворяет только меньший корень B. Решение A отлично от него. Итого 2 решения.
10) $a = 3$: $D>0$, корни B: $x=0$ и $x=8$. Неравенство $x \le 0$ выполняется только для $x=0$, который совпадает с решением A. Итого 1 решение.
11) $a > 3$: $D>0$, два корня B. Неравенство $x \le x_A$ не выполняется для меньшего корня (так как $x_1 > x_A$). Решений B нет. Решение A одно. Итого 1 решение.
1) $a < -13$: $D>0$, два корня B. Неравенство $x(1-a) \ge a-3$ при $a<1$ означает $x \ge x_A$. При $a<-13$ число $x_A$ больше большего корня, поэтому оба корня B не удовлетворяют неравенству. Решение A одно. Итого 1 решение.
2) $a = -13$: $D=0$, один корень B $x=-4$, $y=39$, но $x-y+3=-40<0$ — не подходит. Решение A одно. Итого 1 решение.
3) $-13 < a < -1$: $D<0$, решений B нет. Решение A одно. Итого 1 решение.
4) $a = -1$: $D=0$, один корень B $x=2$, $y=-3$, условие $x-y+3=8\ge0$ выполнено. Решение A: $x_A=-2$, $y_A=2$. Различны. Итого 2 решения.
5) $-1 < a < 1$: $D>0$, два корня B. Неравенство $x \ge x_A$ ($a<1$). При этих $a$ оба корня B удовлетворяют неравенству, и решение A отлично от них. Итого 3 решения.
6) $a = 1$: Случай A не даёт решений. Случай B: $x^2-6x+2=0$, два корня, неравенство $0 \ge -2$ верно всегда. Итого 2 решения.
7) $1 < a < \frac{9}{7}$: $D>0$, два корня B. Неравенство $x \le x_A$ ($a>1$). При этих $a$ число $x_A$ больше большего корня B, поэтому оба корня B удовлетворяют неравенству. Решение A отлично от них. Итого 3 решения.
8) $a = \frac{9}{7}$: $D>0$, корни B: $x=6$ и $x=\frac{2}{7}$. Неравенство $x \le 6$ верно для обоих. Корень $x=6$ совпадает с решением A. Итого 2 решения.
9) $\frac{9}{7} < a < 3$: $D>0$, два корня B. Неравенство $x \le x_A$. Здесь $x_A$ меньше большего корня, поэтому неравенству удовлетворяет только меньший корень B. Решение A отлично от него. Итого 2 решения.
10) $a = 3$: $D>0$, корни B: $x=0$ и $x=8$. Неравенство $x \le 0$ выполняется только для $x=0$, который совпадает с решением A. Итого 1 решение.
11) $a > 3$: $D>0$, два корня B. Неравенство $x \le x_A$ не выполняется для меньшего корня (так как $x_1 > x_A$). Решений B нет. Решение A одно. Итого 1 решение.
Шаг 5
Система имеет ровно два различных решения при:
$a = -1$, $a = 1$, $a = \frac{9}{7}$, $a \in \left( \frac{9}{7}, 3 \right)$.
Объединяя: $a = -1$; $a = 1$; $a \in \left[ \frac{9}{7}, 3 \right)$.
$a = -1$, $a = 1$, $a = \frac{9}{7}$, $a \in \left( \frac{9}{7}, 3 \right)$.
Объединяя: $a = -1$; $a = 1$; $a \in \left[ \frac{9}{7}, 3 \right)$.
Окончательный ответ:
$\{-1\} \cup \{1\} \cup \left[\frac{9}{7}, 3\right)$