Многопоточный парсер на 1С #681942

Добрый день пишу обработку для парсинга сайта, не получается реализовать многопоточность, нашел одну статью на ифостарте, но не совсем понял код приведенный там. Рассмотрим процедуру проверки списка прокси-серверов (ее тоже хочу сделать многопоточной): 1) Есть: ТЗ тзПрокси - состоит из колонок: "Сервер", "Порт", "Использовать" ПроверитьПрокси - возвращает истина если прокси рабочий и анонимный Необходимо в несколько потоков запусить процедуру проверки прокси по тзПрокси и заполнить результатами колонку "Использовать", подскажите как сие реализовать?

создаёшь пул фоновых заданий, в каждом проверяешь конкретный прокси. Проблема с получением результата выполнения фоновых, погугли, описано в статьях

вот примерно так должно быть если делать по статье... вопрос, как из фонового задания получить результат и собственно пометить его в тзПрокси?

спасибо, хм, а со времен 8.1 ничего не поменялось? толко писать в базу/вызывать исключение?

в 8.2 не поменялось епним, а в 8.3 незнаю

Нашел способ для 8.2 через ПоместитьВоВременноеХранилище, хотя по сути те же костыли, но можно добавить в книгу знаний:

да те же йайца, только сбоку

благодарю, вроде бы все получилось... Еще бы теперь понять сколько будет кушать ресурсов каждый поток и определить их оптимальное число...

Еще вопрос, как задать время жизни рег. заданию, чтоб оно убивалось если не успело отработать за этот промежуток времени? ИЗ СП так и не понял этом коде задания грохнутся через 20 сек или нет??:

что-то у меня висят фоновые задания и не удаляются даже через консоль кластера :(.

Внешние процессы можно запускать. А по приходу файла-результата его ловить и считывать.

смирись

с чем? я над этим вариантом параллельно работаю, там как свои плюсы (меньше памяти кушает, быстрей отрабатывает..) так и свои минусы есть...

А не проще использовать любые языки поддерживающие многопоточность и написать СОМ сервер?

смотри

А в чем минусы?

Если тебе нужно запустить несколько потоков а потом дождаться выполнения и выдать результат то достаточно и обычного СОМ. Если нужно возвращать результат из отличного от потока приложения, тогда нужна ВК. Которая просто делается например Исходник ВК которая загружает Объект Автоматизации поддерживающий ITypeInfo и выполняет все его свойства и методы через IlanguageExtender.

COM не больше ресурсов будет жрать чем рег. задачи?

Надо что-то учить, кроме 1С

Рег задачи выполняются на сервере. Да и парсинг на 1С не сильно быстрая операция. На компилируемом языке все можно решить намного проще и быстрее. Хоть на том же C#. А почему СОМ должен жрать больше?

переносимость решения например

Добавил на форму обработчик ожидания который проверяет сколько времени выполняется фоновая задача и если больше указанного интервала то убивает фоновую задачу, правда уже запущенные задания не завершаются :( ни программно ни через консоль сервера, в чем может быть проблема?

прежде, чем продолжить эксперименты, рестартани сервер 1с

еще нельзя =)

А чем проблема переносимости?

ну написал я парсер на php, работает он то быстрей, 600 потоков и памяти не много жрет, но серверная часть должна на хостинге стоять + определенные параметры сервера нужны как то cURL, ну и реализовывать обмен между скриптом на php и 1С надо + еще реализовывать оповещение о ходе выполнения парсинга.

Вот 600 потоков как раз и жрут ресурсы. Обычно используют пул потоков в 2 раза больше чем ядер, а то и по количеству ядер. Про опвещение как в Ты наример на C# можешь запустить потоки, дождаться их выполнения и возвратить результат. Если нужны ассинхронные сообщения то ВК

ну в данном случае на потоки разбивается процесс получения страниц через прокси, и в парсере на пхп для запуска 600 потоков с головой хватает 200 Мб оперативной памяти и одного проца, в 1С не знаю как замерить, но думаю что надо намного больше ресурсов, но пусть даже в 30-100 потоков хочу попробовать. C# у меня на уровне лабораторок университетских, но надо будет попробовать разобраться, думаю что использовать ВК удобней чем веб-сервис на пхп.

есть

еще буквально вчера появился , сильно давит на диск