Генератор контента от самого... Google

Приветствую. Давно хотел рассказать, и видимо, пришел час, поехали.

Будем генерировать контента для доров на основе машинного обучения с помощью мощнейшего инструмента Google Tensorflow.

Что такое машинное обучение
Что такое Google Tensorflow

Пруф что это работает
Второй пруф

Примеры доров на таком контенте:
http://www.kvn2000.ru/
http://www.nepi.su/
Это мои доры, по своей невнимательности, закупился доменам уже после доров, так что им ничего не светит.

Размер текстов под обучение 80 МБ, размер модели после обучения, 5,6Гб. Время обучения 10 дней на древнем ПК i5 Первого поколения+6Гб оперативки

От себя: не стоит сильно переживать, если не поняли каких то технических деталей, мы будет, просто брать и использовать.

Плюсы такой варианта создания контента:
- Не нужно думать о том будет это работать или нет, берем контент, который уже "работает" в ПС и (пробуем) обучаем сеть писать такой же.
- Качество полученного контента зависит только от качества исходных текстов, так же время обучения.
- Нет предела совершенству: взяли 100 МБ ру текста, обучили, получили Говнотекст, но вероятно он будет работать. Но если взяли 4 ГБ тематического текста - обучили неделю вторую, то качество будет намного выше.

Минусы:
- Мы не решаем полной СЕО составляющей, такой как "войдет не войдет" в силу еще кучи аспектов от ПС
- Это дорого или долго, см системные требования

Требования для СЕОшника
- владение основами(установить Python из консоли) администрирования Linux системами, хотя и на Windows 10 это работает
- владение основами работы с командной строкой

Системные требования для генератора
- Чем выше ваша Видеокарта в списке тем лучше
- Если нету ее в списке, смотрим чтобы количество попугев было выще чем на моем. ПС у всех новых ПК их будет намного больше))))
На видеокартах скорость обучения иногда в 10 раз быстрее чем на процессорах.
- Ubuntu 16 в идеале, можно Windows 10
- Python 3.5 и выше

Установка:
Установка на Windows
На Ubuntu 16 уже стоит Python 3.5.1

Установите Pip
Установка на Windows
Установка на Ubuntu:
sudo apt-get update
sudo apt-get -y install python3-pip

Установите Google Tensorflow под вашу ОС:
https://www.tensorflow.org/install/


Генератор контента
Отступление:
Сам скрипт - это более продвинутая версия такой шутки как Char RNN
Супер статья на эту тему на английском и пару слов на русском
Char RNN - Учится воспроизводить последовательность символов. Но к сожалению, кирилица ей дается плохо(кучи ошибок допускает).
Более продвинутая версия(Word RNN) умеет воспроизводить цепочки слов, грубо говоря тексты. Это как раз то что нам нужно.

Установка самого генератора текста:

Идем сюда:
- https://github.com/hunkim/word-rnn-tensorflow

- Кто умеет работать с Git клонируем репозиторий, кто нет, просто качайте архив, и распакуйте в удобном для вас месте.
Мануал лежит там же, но давайте обучим ее писать тексты на русском.

- Парсим текст под вашу тематику, любым знакомым вам способом. Объем чем больше тем лучше, для теста, пойдет 20-30 Мб. У кого мощная Nvidia видеокарта, можно начинать с 100 Мб.

Внимание: для более менее читаемого текста, размер файла под обучение, должен значительно превышать 1ГБ. На обучение, уйдут недели на дорогих 1080. Я же говорил что это дорого)))

- Чистим текст от запятых и других спец символов, кроме знаков конца предложения.

Обучение первой модели

- В папке data создаем свою папку, например "ru_download_text"
- В папке "ru_download_text" создаем файл input.txt и туда кладем наш текст

В консоли пишем так:
python3 train.py --data_dir="./data/ru_download_text"

Ждем, минуты, часы и возможно недели, если оборудование позволяет.

Все параметры для скрипта train.py:
--data_dir - "путь к файлу с данными для обучения"
--input_encoding - "кодировка файла с текстом для обучения"
--log_dir - "путь куда записывать логи обучения"
--save_dir - "путь куда сохранять модель для обучения"
--rnn_size
--num_layers
--model
--batch_size
--seq_length
--num_epochs
--save_every - "Через сколько итераций сохранять модель"
--grad_clip
--learning_rate
--decay_rate
--gpu_mem - "какой процент оперативки видеокарты использовать для обучения"
--init_from - "путь к файлу с которого продолжить обучение"

В консоли будет нечто похожее на :


Так вот самое главное, чем меньше train_loss или weight_loss тем лучше, читай так "тем ближе по качеству наш текст к тем, на которых мы обучались."

Генерируем первую статью
python3 sample.py --n=200 --prime="тут ключевик"
где
--n=200 - сколько слов генерировать
--prime="Ключ" - по какому ключу генрировать

Все параметры для скрипта sample.py:
--save_dir - "путь к модели для генерации текста"
--n - "сколько слов генерировать"
--prime - "ключевое слово с которого начать генерацию"
--pick
--width
--sample

 

Можно попробовать поставить версию под видеокарты. У меня на убунте тоже intel графика и тензорфлов пишет, что предпочтительнее использовать версию под видуху, но я ещё не ставил

 

Да, должно работать.

 

На какую ОС хотите ставить?

 

А чего пишет, куда ставите?