Шаг 1
Докажем подобие треугольников.
Углы $\angle AB_{1}C_{1}$ и $\angle ABC$ равны, так как они опираются на одну дугу $B_{1}C$ вписанного четырёхугольника $BB_{1}C_{1}C$. Аналогично, $\angle AC_{1}B_{1} = \angle ACB$. Следовательно, $\triangle AB_{1}C_{1} \sim \triangle ABC$ по двум углам.
Углы $\angle AB_{1}C_{1}$ и $\angle ABC$ равны, так как они опираются на одну дугу $B_{1}C$ вписанного четырёхугольника $BB_{1}C_{1}C$. Аналогично, $\angle AC_{1}B_{1} = \angle ACB$. Следовательно, $\triangle AB_{1}C_{1} \sim \triangle ABC$ по двум углам.
Шаг 2
Найдём коэффициент подобия $k = \frac{AB_{1}}{AB} = \frac{AC_{1}}{AC} = \frac{B_{1}C_{1}}{BC}$.
Из условия: $S_{\triangle AB_{1}C_{1}} = \frac{1}{5} S_{BCB_{1}C_{1}}$. Так как $S_{BCB_{1}C_{1}} = S_{\triangle ABC} - S_{\triangle AB_{1}C_{1}}$, то $S_{\triangle AB_{1}C_{1}} = \frac{1}{5}(S_{\triangle ABC} - S_{\triangle AB_{1}C_{1}})$. Отсюда $6 S_{\triangle AB_{1}C_{1}} = S_{\triangle ABC}$, поэтому $k^{2} = \frac{S_{\triangle AB_{1}C_{1}}}{S_{\triangle ABC}} = \frac{1}{6}$ и $k = \frac{1}{\sqrt{6}}$.
Из условия: $S_{\triangle AB_{1}C_{1}} = \frac{1}{5} S_{BCB_{1}C_{1}}$. Так как $S_{BCB_{1}C_{1}} = S_{\triangle ABC} - S_{\triangle AB_{1}C_{1}}$, то $S_{\triangle AB_{1}C_{1}} = \frac{1}{5}(S_{\triangle ABC} - S_{\triangle AB_{1}C_{1}})$. Отсюда $6 S_{\triangle AB_{1}C_{1}} = S_{\triangle ABC}$, поэтому $k^{2} = \frac{S_{\triangle AB_{1}C_{1}}}{S_{\triangle ABC}} = \frac{1}{6}$ и $k = \frac{1}{\sqrt{6}}$.
Шаг 3
Найдём $BC$.
Из подобия: $\frac{B_{1}C_{1}}{BC} = k = \frac{1}{\sqrt{6}}$. Так как $B_{1}C_{1} = 5$, то $BC = 5\sqrt{6}$.
Из подобия: $\frac{B_{1}C_{1}}{BC} = k = \frac{1}{\sqrt{6}}$. Так как $B_{1}C_{1} = 5$, то $BC = 5\sqrt{6}$.
Шаг 4
Найдём радиус $R$ описанной окружности четырёхугольника $BB_{1}C_{1}C$.
Центр $O$ этой окружности лежит на серединном перпендикуляре к хорде $BC$. Угол $\angle BAC = 30^{\circ}$ является вписанным в окружность треугольника $ABC$, опирающимся на дугу $BC$. Для четырёхугольника $BB_{1}C_{1}C$ точка $A$ — внешняя точка, из которой проведены секущие. Угол между хордами $BB_{1}$ и $CC_{1}$ равен $\angle BAC = 30^{\circ}$. Тогда центральный угол $\angle BOC$, опирающийся на ту же дугу $BC$, равен $180^{\circ} - 30^{\circ} = 150^{\circ}$.
Центр $O$ этой окружности лежит на серединном перпендикуляре к хорде $BC$. Угол $\angle BAC = 30^{\circ}$ является вписанным в окружность треугольника $ABC$, опирающимся на дугу $BC$. Для четырёхугольника $BB_{1}C_{1}C$ точка $A$ — внешняя точка, из которой проведены секущие. Угол между хордами $BB_{1}$ и $CC_{1}$ равен $\angle BAC = 30^{\circ}$. Тогда центральный угол $\angle BOC$, опирающийся на ту же дугу $BC$, равен $180^{\circ} - 30^{\circ} = 150^{\circ}$.
Шаг 5
По теореме синусов для треугольника $BOC$: $BC = 2R \sin\left( \frac{\angle BOC}{2} \right) = 2R \sin 75^{\circ}$.
Подставляем $BC = 5\sqrt{6}$: $5\sqrt{6} = 2R \sin 75^{\circ}$.
Так как $\sin 75^{\circ} = \sin(45^{\circ}+30^{\circ}) = \frac{\sqrt{6} + \sqrt{2}}{4}$, получаем:
$R = \frac{5\sqrt{6}}{2 \cdot \frac{\sqrt{6} + \sqrt{2}}{4}} = \frac{10\sqrt{6}}{\sqrt{6} + \sqrt{2}} = \frac{10\sqrt{6}(\sqrt{6} - \sqrt{2})}{6 - 2} = \frac{10(6 - \sqrt{12})}{4} = \frac{10(6 - 2\sqrt{3})}{4} = \frac{60 - 20\sqrt{3}}{4} = 15 - 5\sqrt{3}$.
Подставляем $BC = 5\sqrt{6}$: $5\sqrt{6} = 2R \sin 75^{\circ}$.
Так как $\sin 75^{\circ} = \sin(45^{\circ}+30^{\circ}) = \frac{\sqrt{6} + \sqrt{2}}{4}$, получаем:
$R = \frac{5\sqrt{6}}{2 \cdot \frac{\sqrt{6} + \sqrt{2}}{4}} = \frac{10\sqrt{6}}{\sqrt{6} + \sqrt{2}} = \frac{10\sqrt{6}(\sqrt{6} - \sqrt{2})}{6 - 2} = \frac{10(6 - \sqrt{12})}{4} = \frac{10(6 - 2\sqrt{3})}{4} = \frac{60 - 20\sqrt{3}}{4} = 15 - 5\sqrt{3}$.
Окончательный ответ:
$BC = 5\sqrt{6}$, $R = 15 - 5\sqrt{3}$.