Предлагайте функционал.

Тема в разделе "Thunder 3.X", создана пользователем Firestarter, 17 июн 2016.

  1. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.165
    530
    Легко, сделаю ман.
     
    GrafMK нравится это.
  2. GrafMK

    GrafMK Активный Участник

    27 окт 2015
    282
    52
    Мужской
    И тебе меньше проблем сразу станет.
    Если конечно там все просто и легко))))
     
  3. bestadaptor

    bestadaptor Участник

    2 дек 2015
    33
    11
    Мужской
    SEO в чистом виде
    #43 bestadaptor, 11 окт 2016
    Последнее редактирование: 11 окт 2016
    Продолжая тему разговора, хотелось бы видеть:

    - опять рабочие шабы Poker, Casino и тех, что пока ещё не было - Dating, BinaryOptions, VideoTubes, MusicPortal
    - Adult парсеры, хотя бы те, которые ещё работали в версиях 2.5
    - VK парсер для mp3 (кто-то уже раньше просил)
    - RSS иморт из других социальных сетей, в первую очередь из Инстаграмм
    - парсеры зарубежных сервисов вопросов и ответов, типа answers.yahoo.com, quora.com еtс.
     
    GrafMK нравится это.
  4. ddn128

    ddn128 Опытный Пользователь

    31 дек 2015
    433
    210
    Мужской
    #44 ddn128, 21 окт 2016
    Последнее редактирование: 21 окт 2016
    1. Можно "прилепить" shuffle по-умолчанию? Оч. хочецца перемешивание переменных :)

    2. Парсер html стр. "по границам" (т.е. спарсить "от" и "до")
    По аналогии с - http://simplehtmldom.sourceforge.net/manual.htm
    Или как-то по-другому.
    Например. Есть стр. - https://auto.ria.com/auto_skoda_superb_18395495.html
    Я хочу спарсить все параметры - т.е. всё, что лежит от "<dd>" до "</dd>" и положить всё в массив\массивы
    Или например в массив 1 - всё, что лежит от "<span class="label">" до "</span>"
    в массив 2 - всё, что лежит от "<span class="argument">" до "</span>"
    и т.д.
    Код:
    <div class="technical-characteristics line-argument" id="description">
    <dl class="unstyle">
    <dd> <span class="label">Тип транспорта:</span>&#32;<span class="argument">Легковые, Седан</span></dd>
    <dd><span class="label"></span> &#32;<span class="argument">4 дверей | 5 мест</span></dd>
    <dd> <span class="label">Пробег:</span>&#32;<span class="argument">168 тыс. км</span></dd>
    <dd> <span class="label">Двигатель:</span>&#32; <span class="argument">1.4 л. (125 л.с. | 92 кВт), Бензин</span></dd>
    <dd> <span class="label">Коробка передач:</span>&#32;<span class="argument">Ручная / Механика</span></dd>
    <dd> <span class="label">Привод:</span>&#32;<span class="argument">Передний</span></dd>
    <dd> <span class="label">Цвет:</span>&#32;<span class="argument">Черный металлик</span></dd>
    <dd> <span class="label" title="Город продажи">Город:</span>&#32;<span class="argument" title="Город продажи">Хмельницкий</span></dd>
    <dd><span class="label"></span> &#32; <span class="argument"><span class="state _blue">VIN</span> &#32;-&#32; TMBAA73T7C9015174</span></dd>
    <dd><span class="label"></span> &#32; <span class="argument"><span class="state _blue">Первая регистрация</span></span></dd>
    <dd class="show-line" data-group="condition" data-title="Показать состояние" data-hide="Скрыть"> <span class="label" title="Скрыть">Состояние:</span> &#32; <span class="argument"><span js-textWrap>Гаражное хранение, Сервисная книжка, Первый владелец, Не бит, Не крашен, Ручное управление, Индивидуальная комплектация</span> <span class="element-select fl-r _open"><a class="el-selected open">Читать еще</a></span> <span class="element-select fl-r _close"><a class="el-selected close">Скрыть</a></span></span></dd>
    <dd class="show-line" data-group="security" data-title="Показать безопасность" data-hide="Скрыть"> <span class="label" title="Скрыть">Безопасность:</span> &#32; <span class="argument"><span js-textWrap>Центральный замок, Подушка безопасности (Airbag), ABS, Иммобилайзер, Сигнализация, ABD, ESP, Галогенные фары, Серворуль</span> <span class="element-select fl-r _open"><a class="el-selected open">Читать еще</a></span> <span class="element-select fl-r _close"><a class="el-selected close">Скрыть</a></span></span></dd>
    <dd class="show-line" data-group="comfort" data-title="Показать комфорт" data-hide="Скрыть"> <span class="label" title="Скрыть">Комфорт:</span> &#32; <span class="argument"><span js-textWrap>Усилитель руля, Эл. стеклоподъемники, Бортовой компьютер, Кондиционер, Сенсор дождя, Датчик света, Омыватель фар, Подогрев зеркал, Электропакет, Мультируль</span> <span class="element-select fl-r _open"><a class="el-selected open">Читать еще</a></span> <span class="element-select fl-r _close"><a class="el-selected close">Скрыть</a></span></span></dd>
    <dd class="show-line" data-group="multimedia" data-title="Показать мультимедиа" data-hide="Скрыть"> <span class="label" title="Скрыть">Мультимедиа:</span> &#32; <span class="argument"><span js-textWrap>Магнитола, Акустика, CD, MP3</span> <span class="element-select fl-r _open"><a class="el-selected open">Читать еще</a></span> <span class="element-select fl-r _close"><a class="el-selected close">Скрыть</a></span></span></dd>
    <dd class="show-line" data-group="other" data-title="Показать прочее" data-hide="Скрыть"> <span class="label" title="Скрыть">Прочее:</span> &#32; <span class="argument"><span js-textWrap>Длинная база</span> <span class="element-select fl-r _open"><a class="el-selected open">Читать еще</a></span> <span class="element-select fl-r _close"><a class="el-selected close">Скрыть</a></span></span></dd>
    <dd class="additional-data show-line"><span class="label"></span> <span class="argument" itemprop="description">
                    БЕЗ ПОДКРАСОВ!ОРИГЕНАЛЬНЫЙ ПРОБЕГ-подтвержден отметками в СЕРВИСНОЙ КНИЖКЕ!Богатый,роскошный автомобиль класса«ЛЮКС»-ПРЕДСТАВИТЕЛЬСКИЙ,просторный салон как в лимузинах.Высочайший уровень-КОМФОРТА,надежности и самых современных,передовых технологий!Каждая деталь,от материалов отделки салона до многочисленных систем безопасности,говорит о ВЫСОКОМ статусе автомобиля.Отвечает самым высоким стандартам ПРЕДСТАВИТЕЛЬСКОГО класса:солидный,импозантный внешний вид,ОГРОМНЫЙ салон,современное техническое оснащение и соответствие самым строгим нормам безопасности!МОЩНЫЙ,ДИНАМИЧНЫЙ и СУПЕР ЭКОНОМИЧНЫЙ-6л/100км,запас хода 1000км.!20;10;2016г-прошел ПОЛНОЕ техническое обслуживание в автоцентре,заменили ВСЕ что нужно,по всем узлам и агрегатам,электронике,КОМП.диагностике,диагностике стоек на стенде,ВСЕГО!-по заключению специалистов-МАШИНА В ОТЛИЧНОМ СОСТОЯНИИ!На руках заключение сервисного центра,есть ВСЕ акты,сертификаты!Шикарный,ухоженный салон.Багажник-ТРАНСФОРМЕР!Сочетается-ПРЕСТИЖ,КАЧЕСТВО,ЦЕНА!*По ТП-2011г.в.!MIN ТОРГ!                </span></dd>
    </dl>
    </div>
     
    Firestarter и bestadaptor нравится это.
  5. Григорий

    Григорий Участник

    6 авг 2016
    60
    13
    Мужской
    Я думаю тут отдельный парсер под свои нужды плагинов делать. Что то универсальное которое будет подходить всем не получиться сделать либо это будет монстр который будет трудно настраиваемый( пока все параметры для парсинга укажешь - задолбаешься, а потом еще будешь бороться с глюками парсинга Потому Что где то на странице не хватает блоков или криво оформили)
     
  6. ddn128

    ddn128 Опытный Пользователь

    31 дек 2015
    433
    210
    Мужской
    Нет. Всё гораздо проще. Это уже есть в доргене - просто не реализовано. Чтобы реализовать - это 2 строчки кода
     
  7. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.165
    530
    @ddn128 , можно пример что он должен брать на вход и что выводить, приделаю.
     
  8. ddn128

    ddn128 Опытный Пользователь

    31 дек 2015
    433
    210
    Мужской
    #48 ddn128, 21 окт 2016
    Последнее редактирование: 21 окт 2016
    Я "вижу" 2 варианта.
    1. "Спец." плаг. (тот же HTML DOM Parser или что-то другое ХЗ)
    Возьмём для примера - http://parsing.valemak.com/ru/php/library/php-simple-html-dom-parser/search-html-element/
    В шабе указываю
    (Получаю url (например тем же парсером) с каталога получаю ссылки и перехожу или указываю вручную)
    {% set url = "https://auto.ria.com/auto_skoda_superb_18395495.html" }
    Получаю DOM (или исх. код страницы)
    Парсю DOM и получаю содержимое от <span class="label"> до </span>
    {% set pars_label = find('<span class="label">','</span>') }
    или паршу все span с классом label
    {% set pars_label = find( 'span[class@label]' ) }
    и кладу всё это добро в массив.
    Парсю и кладу в другой массив pars_data все span с классом argument
    {% set pars_data = find( 'span[class@argument]' ) }

    В итоге
    в pars_label лежат (их там больше, напишу 5 шт. (кол-во дверей пропущу, так понятнее) ) -
    ["pars_label"]=> array(5) { [0]=> "Тип транспорта:" [1]=> "Пробег:" [2]=> "Двигатель:" [3]=> "Коробка передач:" [4]=> "Привод:" }

    в pars_data лежат
    ["pars_data"]=> array(5) { [0]=> "Легковые, Седан" [1]=> "168 тыс. км" [2]=> "1.4 л. (125 л.с. | 92 кВт), Бензин" [3]=> "Ручная / Механика" [4]=> "Передний" }

    Теперь вывожу:
    {% for pars in pars_label %}
    <li>{{ pars_label[pars] }}{{pars_data[pars]}}</li>
    {% endfor %}

    Получаецца:
    • Тип транспорта: Легковые
    • Пробег: 168 тыс. км
    • Двигатель: 1.4 л. (125 л.с. | 92 кВт), Бензин
    • Коробка передач: Ручная / Механика
    • Привод: Передний
    А если "подмандеть" shuffle (перемешать) :) , то:
    • Привод: Передний
    • Двигатель: 1.4 л. (125 л.с. | 92 кВт), Бензин
    • Пробег: 168 тыс. км
    • Тип транспорта: Легковые
    • Коробка передач: Ручная / Механика

    2. То же самое, только код можно получить с помощью "get_embed"
    Пример сделал "живьём" - http://xcase.top/

    Понятно, что левые ГС так парсить геморно, т.к. там на разных стр. может быть разный код, но для крупных сайтов (Vk, Avito, Fb, Y.Маркет, Кинопоиск и т.д.) вполне норм. Если учитывать, что редизайны обычно редко бывают :)
    Например можно получать данные (аватарки, имена и т.д.) из Вк и делать из них профили "комментаторов" \ юзеров и т.д.

    Не знаю поможет это или нет - http://aftamat4ik.ru/kak-nastroit-aftparser/
    "Подготовка границ контента"
     
  9. ddn128

    ddn128 Опытный Пользователь

    31 дек 2015
    433
    210
    Мужской
  10. amness

    amness Активный Участник

    11 апр 2016
    240
    83
    Мужской
    Добавте возможность указывать в шаблоне путь для кеширования изображениий, или мануал - что нужно поправить в файле плагина. Не очень удобно всё в одну папку складывать и скорость работы снижается когда в одной директории около 100K картинок.
     
  11. Glokken

    Glokken Участник

    26 окт 2015
    144
    32
    Мужской
    Я у себя в config.php так прописал.
    Код:
            'images'=>[
                'cache' => __DIR__ .DIRECTORY_SEPARATOR.'cache'. DIRECTORY_SEPARATOR.'images'. DIRECTORY_SEPARATOR. $_SERVER['HTTP_HOST']. DIRECTORY_SEPARATOR,
            ],
    Теперь создаю в папке cache/images/ папку сайт.ру и туда картинки кэшируются.
    Для каждого сайта своя папка.
    Неудобно конечно в ручную их создавать когда много сайтов.... но я не умею по другому. :)
     
  12. Григорий

    Григорий Участник

    6 авг 2016
    60
    13
    Мужской
    Тут в либе кеширования бага, папка не создаеться если ее нет, по идее должна создаваться или ругаться если прав нет
     
  13. amness

    amness Активный Участник

    11 апр 2016
    240
    83
    Мужской
    В данном случае пути к изображениям будут site.com/cache/images/site.com/img.jpg - что есть не очень хорошо.
    Да-и бывают случаи когда в рамках одного домена нужно использовать несколько папок для картинок.
     
  14. Григорий

    Григорий Участник

    6 авг 2016
    60
    13
    Мужской
    В прниципе можно немного допилить функцию кэширования изображений и передавать в нее папку куда изображения будут складыаться
    в \www\plugins\Images.php
    есть метод cacheImage($url = null, $keyword = null, $rotate = null, ........)
    необходимо дописать параметр $cachePath = null - что бы выглядело так cacheImage($url = null, $keyword = null, $cachePath = null, $rotate = null, ........)
    и заменить строчку кода

    $cache_path = $this->container->settings['images']['cache'];

    на
    if ($cachePath != null) {
    $cache_path = $cachePath;
    } else {
    $cache_path = $this->container->settings['images']['cache'];
    }

    и теперь при вызове, если после ключа, указать полный путь до папки, то туда и будет сохранена.

    Как то так, еще до конца не отдебажился, так что 100процентной гарантии работоспособности не дам, пробуйте сначала на тестовых доменах, в прод не выкидывайте пока не проверите.
     
    Firestarter нравится это.
  15. Shtrix1

    Shtrix1 Новичок

    31 май 2016
    8
    2
    Мужской
    Парни, можно как-то присобачить к доргену автоподтверждение в Вебмастере (без заливки файла подтверждения на хост) ?
    Что имеем:
    1. htacess с : RewriteRule ^yandex_(.*)\.html$ yandex.php?id=$1
    2. yandex.php c :

    <?php
    $id = @trim(strip_tags($_GET['id']));

    echo '<html>
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
    </head>
    <body>Verification: '.$id.'</body>
    </html>';

    Если просто закинуть в корень, то не отрабатывает, т.к. в Thunder несуществующие страницы упираются в vendor/slim/slim/Slim/Handlers/NotFound.php (изменен у меня в 301 на / )
     
  16. Firestarter

    Firestarter Администратор
    Команда форума

    26 окт 2015
    1.165
    530
    В субботу приеду домой, покажу как это сделать. Там ничего сложного.
     
  17. ddn128

    ddn128 Опытный Пользователь

    31 дек 2015
    433
    210
    Мужской
    Так, вдруг будет апдейт :) - заметки

    1. POST! POST!! POST!!! я всё жду-жду-жду...
    2. C включённым ЧПУ не работает парсинг RSS (если надо объясню подробнее)
    3. добавить чё-то типо get_html_content для "тыринга" в том числе и html (т.е. без очистки от тегов)
     
  18. heyner

    heyner Участник

    25 янв 2016
    218
    43
    Прошу сделать клоаку по кнопке. Было бы очень удобно .
    В админке поставить ссылку и нажать кнопку клоака. Это очень нужно. т.к. руками пройтись и перезалить по 20 сайтов проблематично.
    Причем бывает нужно поставить клоаку на 1 -2 дня а потом снова включить обычный дор.
    Каждый раз делать это на хостинге проблематично. Если это возможно прошу сделать. Если что -то не понятно спрашивайте поясню.
     
  19. Seomatik

    Seomatik Новичок

    11 июл 2016
    17
    0
    У меня есть прога парсер поисковых подсказок яндекса. Есть ли смысл внедрять такую же фичу в дорген или всё таки целесообразнее парсить по другому ключевики для генерации контента?