Проблемы при конвертации данных из 7.7,Не хватает памяти для конвертации больших спра #431445

Здравствуйте.. Настроил конвертацию данных из 7.7 в 8.1 Использую "Типовая конфигурация Конвертации данных, редакция 2.0 Релиз 2.0.28.1" При выгрузке из 7.7 столкнулся с проблемой больших справочников или документов. Если в обработке выгрузки включаю в выгрузку небольшие справочники (примерное количество объектов выгрузки, до 30 тыс.) все походит. Если выгружаемых объектов больше, начинаются тормоза, и система почти приходит в останов. Смотрел в диспетчере на использование памяти, 1С всю ее использовала, причем даже увеличенного файла подкачки не хватает. Если снимаю задачу, то вижу, что файла обмена не сформировалось, такое впечатление, что система при выгрузке в XML сначала все выгружает в память, а затем пишет в файл. Пробовал на компах с ОЗУ 2гб - непроходит, Пробовал делить выгрузку на несколько этапов, все равно затык на большом справочнике, Установить отбор в выгружаемом справочнике нет возможности да и это не удобно для пользователя, конвертация будет рассылаться пользователям, которые сами будут ее запускать. Есть ли какой выход? Заранее благодарен за консультацию...

В вин32 2Г на процесс - ограничение. Ищи обходные пути. Кстати, выгрузка через хмл - самый неоптимальный путь :-)

+1 (

Можно поизвращаться (попробовать! Сам не) на 64-бит состеме. Но не факт, что спасёт.

парсер там, вроде, 32-х битный ( хотя попробовать надо

У меня просто негде... Поэтому это только предположение.

Я делал поэтапную выгрузку. Т.е. сперва справочники основные, потом зависмые, потом доки основные и зависимые. Правила настраиваются так, что при выгрузке основных выгружается справочник или док целиком. А в зависимых идут уже как по ссылке, ничего с собой не выгружая. Выгрузки получаются легкие и сабжа нет.

неспасет... пробывал уже

Такой хороший инструмент для конвертации, главное все легко настраивается, а оказывается, что в платформе видимо недоработки, зачем держать всю обработку в памяти, скидывайте постепенно на диск, ан наверное придется искать другие методы...

не в платформе проблемы а в парсере XML который виндовый.. там в экспорте вроде можно было поиграться с настройкой количества объектов в транзакции - вроде есть такой слух что помогает использования этого ограничения... хотя у меня терпения не хватило играться и я через оле перетащил то что мне нужно было.

а это пусть автор поговорит с теми, кому xml нравится до безобразия - от вам и бьезобразие...

хмл тут ни при чем, парсер глючит действительно на больших объемах. нет ли зацикливания в справочниках?

Транзакции не в экспорте , а в импорте... ПРОБЛЕМА!!!

Конвертирую документ один к одному,Документов 4000, строк табл. части 40000(10 у каждого) ВИСНЕТ!!!

угу.. это ка кпримерно - автомобиль здесь не причем - бензин плохой - какая мне польза от авто тогда? собственный нефтеперегонный завод строить? . если парсер глючит на больших объемах (я вот не считаю их большими) - где экзист альтернативный парсер? АААААААААА?????????

нету такого..напиши в мелкософт пожалуйста. грузи ТЧ структурами. порциями. потом при загрузке соберешь

+конечно с csv попроще было бы.. но ведь и разбор данных там посложнее.

скулайта хватило бы заглазоньки..

я не спец, но полагаю, что XML - достаточно формализован. И проблема наличия альтернативного парсера - в чем?

хватило бы.. текущая реализация обмменов имеет свои минусы. напиши=) или ссылку дай на написанное.

просто мне проверить есть на чем..и парсер и механизмы работы с ним

Посмотрел код выгрузки - файл обмена создется командой, DOMDocument = CreateObject("Msxml2.DOMDocument.4.0"); тут я погорячился насчет платформы... Immortal - подготовлю отправку, куда выслать...

у меня и так ..хватает. это я в свете утверждений в . базы твои я анализировать не буду.могу посоветовать либо грузить структурами, либо порциями документов.

на самом деле после 10000 строк в ТЧ наблюдал такое же поведение.

Лишний раз убеждаюсь как рулит SQL :))))))

вот что ты будешь делать.. есть у Софтпойнта решения по обмену на скл, да что с них толку..

реляционные структуры - рулят!!!!

Лень-матушка раньше человека родилась, не хочется терять наработки, да искать , что-то другое... Есть одна идея по переделке конвертора, о результатах обязательно сообщу...

простите, а это к чему?

А вот что: Проделана большая работа по настройке конвертора из довольно большого комплекса на 7.7 в 8.1, Тем более опробована на 2-х годичной базе - все проходило, но там, где пользователи работали более 4-х лет возникали, собственно, эти "самые проблемы". Заменил виндовый парсер DOMDocument = CreateObject("Msxml2.DOMDocument.4.0"); на DOMDocument = СоздатьПоследовательноЗаписываемыйДокумент, естественно заменил все методы создания узлов, присвоения атрибутов и т.д. там все не так сложно на методы для этого объекта... Но самое главное у него есть метод: Сбросить(<?>) Синтаксис: Сбросить Назначение: Записывает содержимое в выходной файл и очищает память !!!!!!!! Выгружает в тот же XML, но работает метод Сбросить, виртуалка хоть и растет, но не такими темпами, и ее хватает на загрузку довольно больших документов... Конечно скорость загрузки постепенно уменьшается, но все же даже такая скорость позволяет довести ее до конца... Там можно порегулировать сброс через количество выгружаемых объектов, я поставил через 1000, по-экспериментирую может результат будет лучше...

то есть по твоему addin.xmlparser или как его там работает быстрее и стабильнее msxml? гм. апну, мне это тоже интересно

Была тоже такая проблемма, по минимуму подрехтовал обработки выгрузки и загрузки, чтобы выгрузка шла не в один хмл, а в несколько, т.е. если выгрузка идет за большой период, то файл хмл создавался на каждый день

дело то в другом..в том что там msxml..либо там утечки прямо в обработке, либо на дерево DOM не хватает просто места в памяти. у кого нибудь есть опыт работы с sax?

Диск - ИТС - Методическая поддержка 1С:Предприятия 7.7 - Универсальная технология обмена "Конвертация данных" - Введение..., там все написано (не смог скопировать цитаты), ХОТЬ И ПОЛУЧИЛОСЬ у меня с загрузкой больших файлов, но эта тема требует исследований в этой области, не все устраивает,(в частноти загрузка идет медленней, в МсПарсер)- надо экспериментировать...

автор - явный гигантоман :) у него даже название топика невлезло :)))

где-то будет выложено для доступа?

Не плохая идея, если ложить в XML по 15-20 тыс. объектов , то это наверное выход!!! Все-таки msxml, работат на много быстрее...

можно попробовать Release после работы с узлами в msxml, я пробовал , мне не помогло.. или поработать с sax, объем отжираемой памяти должен снизится в десятки раз.

по поводу пакетной выгрузки-идея хорошая, но костыль по сути.

Оставил всё как есть, т.е. использовал исходную выгрузку, установил фильтры, на выгрузку, 10-макс15 тыс. объктов.то что писал в проблеме - переделал на возможность разбиения выгрузки, пока это самый оптимальный вариант и лучшее решение.