Генератор контента от самого... Google

Тема в разделе "Генерация Контента", создана пользователем Firestarter, 8 май 2017.

  1. KMiNT21

    KMiNT21 Новичок

    14 май 2017
    7
    1
    Мужской
    Вот именно, что всего чуток настроек и - погнали.
    Рекуррентные нейронные сети сейчас много где начали использоваться. Генерация текстов - это одна из подходящих областей применения. А TensorFlow от Гугла - как раз делает возможность не теоретизировать, а экспериментировать на практике. :)
     
  2. KMiNT21

    KMiNT21 Новичок

    14 май 2017
    7
    1
    Мужской
    Жестяк. Решил разобраться с входными данными. Написал на питоне скриптик подсчета вхождения слов и т.п..


    Если регистр разный, то это разные слова (так как сеть именно так это воспринимает). Итого:

    Всего слов: 3308144
    Уникальных: 97352
    Из них встречаются только раз: 45669

    Т.е. всего 97 тысяч слов, с которыми алгоритм работает. И из них почти половина встречается там только 1 раз.
    Уверен, что с такими данными никогда сеть не обучить. :)

    И это с англ. текстом. С русским еще тяжелее все, так как он более вариативный в плане словообразования.
     
  3. amness

    amness Активный Участник

    11 апр 2016
    240
    83
    Мужской
    Фигнёй какой-то занимаетесь, столько ресурсов и времени потратить чтоб получить сгенеренный текст ради сгенеренного текста. Какой толк от него без сео составляющей? 3-х хостовики делать?
     
  4. KMiNT21

    KMiNT21 Новичок

    14 май 2017
    7
    1
    Мужской
    Не буду говорить за всех, но для некоторых это удовлетворение исследовательского интереса в первую очередь. :)
    А что во вторую - это у кого как. И сеошная составляющая, кстати говоря, тут присутствует.
    Мало того, что тематику мы просто задаем входными данными, так еще и можно задавать нужные ключи при генерации.
     
  5. amness

    amness Активный Участник

    11 апр 2016
    240
    83
    Мужской
    Взять готовый код на гитхаб и уд-ть и.и. как-то не комильфо, по поводу "сео текста" если у кого терпения и ресурсов хватило скинте плиз пример, "декомпилим" его и посмотрим как далеко он ушёл от марковки и подобных алгов, тебя/вас KMiNT21 приглашаю поучаствовать в складчине, материал стоящий но жаба душит 300$ отдать.
     
  6. CoolFox

    CoolFox Новичок

    7 апр 2017
    1
    1
    Мужской
    #26 CoolFox, 15 июн 2017
    Последнее редактирование: 15 июн 2017
    На debian ругается "UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5:" на русский текст, как быть, кто уже пробовал ?

    Всё получилось, установил локали, и убрал параметр --input_encoding

    http://62.109.4.149/test.php?prime=какой-то ключ - обучаю на 4 книгах Пелевина)
     
    amness нравится это.
  7. Vodka

    Vodka Новичок

    2 сен 2017
    1
    0
    Мужской
    Ребят, кто поможет за $ настроить систему как у ТС? 3 дня уже мучаюсь.
    Скиньте в ЛС контакт пожалуйста