dle.in.ua » Модули » Бесплатные » RSS Grabber null + синонимайзер

RSS Grabber null + синонимайзер

Автор: lucefeel от 15-02-2010, 16:02
RSS Grabber null + синонимайзер


Начиная с версии 3.5 - RSS GRABBER работает по HTML (граббит не только с rss лент)
Граббер умеет грабить c 90% всех существующих DLE сайтов не составляя шаблоны, а так же с любого другого с составлением шаблонов.

P.S. Я его ещё не тестил, просто шарился по инету, нашёл, решил поделиться wink
Модуль собирает новости из выбранных Вами RSS и HTML каналов и публикует их у Вас на сайте.

Модуль работает в 3 этапа:
1. Собирает все новости из выбранного канала, если заданы шаблоны идёт по ссылке на полную новость, если нужно авторизируется и собирает данные.
2. Пользователь выбирает необходимые ему новости и если нужно изменяет.
3. Сохраняет полученные новости в базе при этом если в новостях встречаются картинки и если разрешено в настройках то сливает все картинки на выбранный хостинг изображений или на сервер и закрепляет за новостью.

Работает практически на всех хостингах

измения по сравнению с 3.6.4

[+] Добавлена функция использовать встроенный в граббер парсер
[+] Загрузка на радикал настраивается в глобальных настройках с вожможностоью указать желаемую надпись на изображениях
[+] Добавленно выравнивание картинок для отдельно для короткой и полной новости
[+] Добавленна функция отключения отключения тегов "Генерация тегов"
[+] Добавлена функция перезаписывать новости
[+] Добавлена возможность удалять слова из заголовка новости
[+] Добавленна возможность для канала задать: Символьный код, Облако тегов, Метатег title, Описание для статьи, Ключевые слова
[+] В настройки канала вынесены настройки визуализации отдельной вкладкой
HTML
[+] Для сайтов доноров DLE переделан схема грабинга т.е. теперь "Шаблон короткой новости" заполнять не нужно
Глобальные настройки
[+] Добавлена возможность загружать список прокси серверов
[+] Добавлена возможность использовать модуль "pingationMod"
[+] Добавлена возможность указать кол-во новостей в выпадающем меню

измения по сравнению с 3.6.3

[+] уменьшать теперь можно и оригинал изображения в настройках сайта
[+] добавлен параметр ПРОКСИ если ваш сайт забанили по IP то сайт донора можно грабить через прокси сервер указанный глобальных настройках
[+] добавлены функци с работой корткой и полной новостью:
[+] стирать короткую новость
[+] вставлят изображение из полной новости (включается автоматически при включении функции выше)
[+] делать полную новость из короткой и полной новости
[+] удалять пустые строки
[+] делать текстовые ссылки кликабельными
[+] добавлена возможность использовать другое изображение для водяного знака(например большего размера от того сто по умалчанию)
[+] можно выбрать расположение водяного знака
[+] в настройки канала внесены настройки визуализации из глобальных
[+] можно добавлять дополнительные слова к заголовку новости(к началу и к концу)
[+] при грабинге новостей черз админку добавлен кнопка "Найти похожие новости"
[+] Тэги делаются из названии категории сайта донора и заголовка новости
HTML
[+] Добавленно постраничка (не работает в кроне)
[+] Упращёно составление шаблона т.е. его не надо составлять практически для всех сайтов на DLE
[+] Для шаблона заголовка новости так же упращено практически с любого сайта можно его не составлять

При заходе на страницу может выдать ошибку, не пугайтесь, просто удалите строку 29 в engine/inc/rss.php:
if (ping_post() == true)msg ($lang_grabber['info'],$lang_grabber['info'],'Не законное использования скрипта!!!!!',$PHP_SELF);

rsssinonimaizer.rar [800.96 Kb] (cкачиваний: 1927)
  • Группа: User
  • Icq: 365275250
  • Комментариев: 71
  • Публикаций: 9
  • спасибо , давно искал

    --------------------
    • MaD
    • Регистрация: 11.06.2008
    • Репутация: (0|0|0)
    • 15 февраля 2010 16:18
    • 1
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 556
  • Публикаций: 121
  • Ша пойдут варезы грабить друг у друга lol

    --------------------
    • neoks
    • Регистрация: 20.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 16:22
    • 2
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Спасибо, посмотрю для общего развития
    • TheVS
    • Регистрация: --
    • Репутация: (||)
    • 15 февраля 2010 16:30
    • 3
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Версия 3.6.4.1 наверно?
    • Pafnuty
    • Регистрация: --
    • Репутация: (||)
    • 15 февраля 2010 17:52
    • 4
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 6
  • Публикаций: 0
  • Pafnuty, угу.
    Покупайте лицензию! (3.6.6) smile
    • LeFrant
    • Регистрация: 5.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 18:06
    • 5
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Warning: require_once(/home/wertnes2/domains/warez-krut.ru/public_html/grabber/engine/dat
    a/config.php): failed to open stream: No such file or directory in /home/wertnes2/domains/warez-krut.ru/public_html/grabber/install.php on line 12 Fatal error: require_once(): Failed opening required '/home/wertnes2/domains/warez-krut.ru/public_html/grabber/engine/data/confi
    g.php' (include_path='.:/usr/local/lib/php') in /home/wertnes2/domains/warez-krut.ru/public_html/grabber/install.php on line 12
    • chylok
    • Регистрация: --
    • Репутация: (||)
    • 15 февраля 2010 18:57
    • 6
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 18
  • Публикаций: 0
  • Cron работает?
    • Blaze_56
    • Регистрация: 27.03.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 19:11
    • 7
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 556
  • Публикаций: 121
  • Blaze_56,
    Судя по комментарию выше, данный модуль даже не устанавливается.

    --------------------
    • neoks
    • Регистрация: 20.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 19:32
    • 8
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 556
  • Публикаций: 121
  • Dimas-rap,
    Ты таблицу sinonims.sql добовлял в базу майсул ?

    --------------------
    • neoks
    • Регистрация: 20.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 19:45
    • 9
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 156
  • Публикаций: 2
  • neoks,
    да уже добавил :) уже разобрался... но блин серв загружает когда грабит :(
    • Dimas-rap
    • Регистрация: 16.08.2008
    • Репутация: (0|0|0)
    • 15 февраля 2010 20:03
    • 10
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 556
  • Публикаций: 121
  • Цитата: Dimas-rap
    но блин серв загружает когда грабит

    Я в этом не чуть не сомневался lol

    --------------------
    • neoks
    • Регистрация: 20.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 20:05
    • 11
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • грузит серв но зато эффект каков ))), спс за граббер.
    • swart
    • Регистрация: --
    • Репутация: (||)
    • 15 февраля 2010 20:23
    • 12
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 156
  • Публикаций: 2
  • угу грабер половину постов грабит половину нет :)
    еще когда картинки указано по центру грабить в краткой новости не по центру.. и в полной новости картинка непо центру =)
    кстати обьясните плиз неграмотному что такое синомайзер и для чего он?:)
    • Dimas-rap
    • Регистрация: 16.08.2008
    • Репутация: (0|0|0)
    • 15 февраля 2010 20:34
    • 13
    ^
  • Группа: User
  • Icq: 557572849
  • Комментариев: 62
  • Публикаций: 14
  • Главное что всё работает, остальное в ходе действий:) Честно говоря даже неуспел поставить его, времени нет
    • lucefeel
    • Регистрация: 22.04.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 20:44
    • 14
    ^
  • Группа: User
  • Icq: 359656154
  • Комментариев: 12
  • Публикаций: 0
  • так я не понял стоит ставить или нет?
    • Walters
    • Регистрация: 18.01.2010
    • Репутация: (0|0|0)
    • 15 февраля 2010 20:55
    • 15
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 156
  • Публикаций: 2
  • Walters,
    стоит :) теперь бы еще найти варезников нормальных... верней не варезников с софтом.. а с всякими новостями,приколами :) ну типа моего портала)
    • Dimas-rap
    • Регистрация: 16.08.2008
    • Репутация: (0|0|0)
    • 15 февраля 2010 21:04
    • 16
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 556
  • Публикаций: 121
  • Dimas-rap,
    Синоменайзер это изменение текста по мере граба контента (после синоменайзера он выглядит более уникальным для поисковиков но почти не читабельным для посетителей сайта.

    --------------------
    • neoks
    • Регистрация: 20.07.2009
    • Репутация: (0|0|0)
    • 15 февраля 2010 21:50
    • 17
    ^
  • Группа: User
  • Icq: 321610474
  • Комментариев: 3
  • Публикаций: 0
  • есть проблема, поставил, всё работает, только после того, как "ограбил" какой-то сайт и у меня выводятся овости, я не могу добавить их на сайт. Пишет, добавить на сайт не удалось

    --------------------
    • Fozzy
    • Регистрация: 7.11.2008
    • Репутация: (0|0|0)
    • 15 февраля 2010 22:08
    • 18
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • юзаю грабер 3.2 пока хватает)
    • James026
    • Регистрация: --
    • Репутация: (||)
    • 15 февраля 2010 23:56
    • 19
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Синонимайзер = зло = бан
    • Maxter
    • Регистрация: --
    • Репутация: (||)
    • 16 февраля 2010 04:46
    • 20
    ^
  • Группа: User
  • Icq: 388044627
  • Комментариев: 30
  • Публикаций: 0
  • Все реально работает, пользуюсь уже недели две
    • nutbox
    • Регистрация: 24.06.2008
    • Репутация: (0|0|0)
    • 16 февраля 2010 07:17
    • 21
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 156
  • Публикаций: 2
  • neoks,
    понятно спс :) отключю его нафиг..
    • Dimas-rap
    • Регистрация: 16.08.2008
    • Репутация: (0|0|0)
    • 16 февраля 2010 07:41
    • 22
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • вылетает
    MySQL Error!
    ------------------------

    The Error returned was:
    Unknown column 'title' in 'order clause'

    Error Number:
    1054
    SELECT * FROM dle_rss ORDER BY xpos,title ASC


    кто подскажет что делать?
    • vipstyle
    • Регистрация: --
    • Репутация: (||)
    • 16 февраля 2010 20:43
    • 23
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • vipstyle,
    Если у кого будет такая же ошибка, подргузите таблицы в БД в ручную.
    всё работает!
    lucefeel плюсик=)
    • vipstyle
    • Регистрация: --
    • Репутация: (||)
    • 17 февраля 2010 08:55
    • 24
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 16
  • Публикаций: 1
  • I can't go to /admin.php?mod=rss, it said permission denied. I imported sql file..

    --------------------
    • Gazuots
    • Регистрация: 16.10.2009
    • Репутация: (0|0|0)
    • 17 февраля 2010 10:33
    • 25
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 16
  • Публикаций: 0
  • скрипт не берет ссылки почему то
    • mnzul
    • Регистрация: 30.06.2008
    • Репутация: (0|0|0)
    • 17 февраля 2010 16:34
    • 26
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • нормальные сайты грабить не получается =(
    • barek
    • Регистрация: --
    • Репутация: (||)
    • 17 февраля 2010 18:06
    • 27
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • дайте плиз инструкцию по установке в ЛС
    • AssassinZP
    • Регистрация: --
    • Репутация: (||)
    • 17 февраля 2010 18:32
    • 28
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • А в настройках модуля присутствует функция отключения синонимайзера?
    • webb
    • Регистрация: --
    • Репутация: (||)
    • 17 февраля 2010 18:55
    • 29
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • barek,
    всё получается!! =)

    AssassinZP,
    Запускай install.php там всё по русски=)

    webb,
    Его всегда можно отключить в ручную
    • vipstyle
    • Регистрация: --
    • Репутация: (||)
    • 17 февраля 2010 23:04
    • 30
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • У меня почему-то коприует тока 9 новостей и всё, почему?((((
    • DVMade
    • Регистрация: --
    • Репутация: (||)
    • 18 февраля 2010 07:12
    • 31
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • граббер жеско на сайт влияет сайn часто отваливается во время граббинга
    • swart
    • Регистрация: --
    • Репутация: (||)
    • 18 февраля 2010 18:48
    • 32
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Мне не понравиля! Грабит как-то криво..половина новостей с "полной", половина нет!
    Очень требовательный к настройке шаблона. Вообшем "откатился" я на старый, проверенный 3.3.1 И вам рекомендую (имхо конечно) fellow
    • qwq
    • Регистрация: --
    • Репутация: (||)
    • 20 февраля 2010 07:53
    • 33
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 9
  • Публикаций: 0
  • До первого адекватного админа, у которого в теле новости всегда найдется обратная ссылка, которая укажет вашим посетителям куда нужно идти. Если это не помогает бан IP сайта на котором стоит граббер (это в лучшем случае) и никаких новостей вы больше не получите, а в худшем - письмо Платону с указанием ссылки на информацию о данном граббере в интернете и конкретно на исполняющий файл на вашем сайте, после чего вылет ваших сайтов из Яндекса.

    Подобное было с подобным граббером, только не помню какие движки он грабил, то ли форумы, то ли что то другое. На форуме searchengines обсуждалось. В данном случае Яндекс реагировал на наличие граббера одинаково - страницы из индекса вон, сайт из Яндекса вон.

    Отследить граббер просто - через инструменты в панели Google

    Есть желающие попробовать?
    • Eva_Smith
    • Регистрация: 24.04.2008
    • Репутация: (0|0|0)
    • 24 февраля 2010 10:14
    • 34
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Блин, грабит не в той кодировке, как исправить?
    • USSR12
    • Регистрация: --
    • Репутация: (||)
    • 27 февраля 2010 05:12
    • 35
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • _http://www.warezsoft.ru/ классный сайт на дле для грабинга но нифига не грабит(
    • swart
    • Регистрация: --
    • Репутация: (||)
    • 2 марта 2010 10:12
    • 36
    ^
  • Группа: User
  • Icq: 9801562
  • Комментариев: 21
  • Публикаций: 0
  • Ставте 3.1! работает стабильно
    • MERIN21
    • Регистрация: 22.09.2008
    • Репутация: (0|0|0)
    • 3 марта 2010 20:04
    • 37
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • в общем, жуткое дело, грабятся топики новостей, но сам текст - нет, пусто в поле короткой новости и полной
    • 1coba1
    • Регистрация: --
    • Репутация: (||)
    • 3 марта 2010 21:24
    • 38
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Подскажите
    Я не смог нормально создать таблицу, подскажите как это зделать пожалусто! smile
    • HRockeart
    • Регистрация: --
    • Репутация: (||)
    • 12 марта 2010 22:12
    • 39
    ^
  • Группа: User
  • Icq: 627174818
  • Комментариев: 33
  • Публикаций: 1
  • Да, Grabber это зло, хуже чем боты, сайт 100% вылетит из Яндекса, а потом и ТИЦ упадет! Так что не юзайте данное г...
    • Braund
    • Регистрация: 12.09.2008
    • Репутация: (0|0|0)
    • 16 марта 2010 12:11
    • 40
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 7
  • Публикаций: 0
  • Кто то может сказать как можно уменьшить запросы sql ?
    • hot-dog
    • Регистрация: 3.07.2009
    • Репутация: (0|0|0)
    • 24 марта 2010 01:33
    • 41
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Умню пишет
    Проверка работоспособности модуля

    # Отключена функция "set_time_limit"! Для корректной работы модуля её необходимо включить!.
    где и что надо изменить чтоб раработало?
    • lut
    • Регистрация: --
    • Репутация: (||)
    • 25 марта 2010 12:48
    • 42
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 18
  • Публикаций: 26
  • winked спасибос

    --------------------
    • pavlik121
    • Регистрация: 18.03.2010
    • Репутация: (0|0|0)
    • 5 апреля 2010 22:00
    • 43
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • кто может помочь с составлением шаблона?

    Лс + пиво)
    • Dimage
    • Регистрация: --
    • Репутация: (||)
    • 12 апреля 2010 23:35
    • 44
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Как устанавливать и подскажите, что делать sinonims.sql размером 6.1 мб. belay
    • rovlati
    • Регистрация: --
    • Репутация: (||)
    • 22 апреля 2010 16:55
    • 45
    ^
  • Группа: User
  • Icq: 208160487
  • Комментариев: 2
  • Публикаций: 0
  • Дальше устанавливаем синонемайзер. Для этого переходим по ссылке: http://вашсайт.ру/dumper.php ,
    прописываем данные пользователя MySQL, заливаем в вашу БД таблицу sinonims.sql.
    • Sergoff
    • Регистрация: 8.10.2009
    • Репутация: (0|0|0)
    • 14 июня 2010 23:33
    • 46
    ^
  • Группа: Гости
  • Icq: --
  • Комментариев: 0
  • Публикаций: 0
  • Переехал на выделенный сервер. Модуль установился и глобальные настройки работают, а вот когда добавляю rss-канал и нажимаю сохранить показывает полностью пустую страницу. /admin.php?mod=rss&action=channel&subaction=add
    Где искать проблему? В настройках сервера или в правах доступа?
    • RusVolkof
    • Регистрация: --
    • Репутация: (||)
    • 16 июня 2010 19:48
    • 47
    ^
  • Группа: User
  • Icq: --
  • Комментариев: 17
  • Публикаций: 6
  • Кто может помочь настроить за $$$ пишите в ЛС. smile
    • laik216
    • Регистрация: 9.10.2009
    • Репутация: (0|0|0)
    • 22 февраля 2011 21:25
    • 48
    ^
    Информация
    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.