Изучить понятие кросс-энтропии и Softmax. Исследовать нейронную сеть при заданных начальных параметрах

Лабораторная работа №8 по дисциплине “Теория информации, данные, знания” Вариант 8.

1. Изучить понятие кросс-энтропии и Softmax.

2. Исследовать нейронную сеть при заданных начальных параметрах:

· Метод оптимизации: SGD

· Число нейронов в скрытом слое n_hidden_neurons: 40

· Шаг градиентного спуска lr: 0.01

Найти минимальное значение n_hidden_neurons, при котором сеть дает неудовлетворительные результаты, т.е. обучение невозможно.

3. Исследовать зависимость точности распознавания от количества нейронов в скрытом слое, количества слоев, метода активации.

4. При каком значении test_size сеть предсказывает хуже, чем Base Rate (BaseRate – это вероятность самого многочисленного класса в исходных данных)? И какой Base Rate у датасета вин? Примечание: самый многочисленный класс датасета – первый.

BaseRate = len(wine.target[wine.target == 1]) / len(wine.target)

5. Исследовать зависимость времени обучения от размера батча.