Загрузка из оч. большого CSV #720907

Подскажите в чем беда, файл - 630 Мб, строк 7 430 000, наблюдается просто ОЧ. СИЛЬНОЕ падение скорости загрузки где то после 40 000 обработанных строк, в файле инфа из внешней системы НЕ 1С. При загрузке создаются сведения и их значения, все это соответственно привязывается к НаборамДополнительныхРеквизитовИСведений, далее привязывается к конкретной номенклатуре.

Не попадаешь в индекс.

:-)

Как читаешь?

память выжирается

Что то мне подсказывает, что через текстовыйдокумент :)

НаборЗаписей.ОбменДанными.Загрузка=Истина;

Читаю построчно, иначе по любому нехватка ОЗУ, Строку в массив подстрок (Все данные массива строкимассив на сервер

Уже неплохо.

погляди счетличи в винде, не распухает ли клиент по памяти... завернуть все в транзакцию по 1000 позиций

Бессссполезно.

Читаешь "по строчно" - это как? ПолучитьСтроку(й) или ПолучитьСледующуюСтроку ? - разница ОГРОМНА!

скорость то поди на записи падает а не чтении

На запись скорость постоянна.

вот еще, может поможет

Если 1С на скуле  - парсите импортом данных скуля

в таблицу

в коде в каком месте скорость то падает? чтение?

Вангую - на чтении. Т.к. это предполагается и без открытия третьего глаза. Опровержения пока не видим...

а чтению то с чего падать?

если только там нет кривого цикла и "нечто" забивает собой всю память

А что его побайтно читать ? 630 мегабайт - это немалый файл, но построчно может читаться на ура. А вот если данные каждой строки или их часть потом куда-то в память складываются, то память всё равно кончится. Нужно не только читать построчно, но и обрабатывать также, чтобы после обработки блока память освобождалась.

отладчик с замером производительности ничего не говорит? например выполняется строка N раз, хотя она должна отрабатывать 1 раз - запихнута в цикл по невнимательности

запороц не предлагать?

разбейте задачу на подзадачи если хотите управлять производительностью абстрагируйтесь от источников данных. разделите методы чтения, обработки, вывода при профилеровке сразу станут понятны медленно работающие методы программы. будет возможность изменить метод доступа и источник данных ((oledb,odbc)*(ado,ado+GameWithFire), тескт, ado.stream,FSO,+ разбиение ра части + конвертация в промежуточный формат ) - те для csv вариантов 20 чтения будет возможность распараллеливания по фоновым заданиям в РС можно писать порциями в транзакции, адаптивно подбирая количество записей в транзакции.

вангую если оставить цикл с одной операцией чтения для теста такого не будет

Похоже, в 18:00 у ТС закончился рабочий день... Завтра перечитает и развангует гадания на кофейной гуще.

Как читаешь? +1 как читаем то? ЗагружаемыйФайл.Прочитать(ИмяФайлаВ630Мб); ?

Пиши через булки используя Merge

Не густо.. С транзакциями пробовал, не помогает, ед что помогает считывать по 25000 позиций, заново открывать файл, и с позиции на которой закончил, но это уже ручки, пока на этом стал. Память и загрухзка сервера приблизительно в одном состоянии так и читаю...

Открой для себя ЧтениеТекста

Для набора записей ставь ОбменДанными.Загрузка=Истина, это заставит сервер 1С не слать к ms sql запрос о наличии данных.

, Спасибо попробую... правда уже только завтра

Загружу файл - дорого.

У файла же фиксированная структура. Напиши короткую обработку делящую файл на более мелкие части. Пусть их будет много но при закрытии они будут очищать память и читаться должны быстро

я также вчера думал позабыв про

Нарезать один большой файл на несколько маленьких уже предлагали?

+100

Юзай чтение текста ЧтениеТекста (TextReader) ЧтениеТекста (TextReader) Методы: Конструкторы: По имени файла Формирование неинициализированного объекта Описание: Предназначен для последовательного чтения текстовых файлов (большой длины). Доступность: Тонкий клиент, сервер, толстый клиент, внешнее соединение. Пример: См. также: ЗаписьТекста ЧтениеТекста, конструктор По имени файла

А что вы думаете о рекурсивном вызове? Метод обращения к теккту тот же, через Текстовый документ по причине того что я могу начать читать текст с нужной мне позиции а по достижению опред. значения, скажем 10К обработанных записей помещать номер новой строки в реквизит формы обработки и уничтожению объекта текст, а цикл всегда стартует с позиции указанной в реквивите формы ?

Я думаю - это херовый вариант. Чем не нравится чтение текста?

Почему ? На данный момент не наблюдается падения производительности, а не нравится тем что я не могу начать чтение с той позиции на которой произошло падения (Если таковое случится, например нет электричества, причем у нас это скорее норма), а загрузка без перерыва по прибл. подсчетам займет до 3.5 суток

"а загрузка без перерыва по прибл. подсчетам займет до 3.5 суток" У вас что то явно не то

если все данные уникальны нет пересекающихся то советую разбить файл на несколько и грузить его многопоточно

630 мег / 3,5 суток ~ 2,1 килобайт в секунду раз в 1000 ускорить можно . те минут за 5-6 загрузиться должно.

Ок, файл содержит Ид - ВидаНоменлатуры, Ид - Номенклатуры, Ид - Свойтсва, Ид - ЗначенияСвойства (Если не примитивный тип данных), ЗначениеСвойства, ТипСвойства, НаименованиеСвойства: Виды загружены - но Виды выгруженны из внешней системы не 1С и загруженыв через РС Синхронизация: Измрения:   ВнешнийИд - Строка Использую для поиска вида. С номенклатурой проще, Артикул и есть Ид Номенклатуры, по нему происходит поиск номенклатуры.... ( Поиск также используется по Номенклатура ЗначенияСвойствОбектов ПВХ.ДополнительныеРеквизитыИСведения ) все по регистрам сведений синхронизации расскидано, кроме номенклатуры Сопоставляю ТипСвойства с ПВХ для создания, типа MultiPle, Select, Number - это оказывается строка, Bit - это Булево, Date - Дата, У некотjрых есть Ил, у некоторых нет, у тех что нет это не ЗначенияСвойствОбъектов и т.д. Все это создается, связывается и записывается в регистры синхронизации Как то так....

без "метрик" чего сколько занимает и где начинает проседать - разговор ни о чем

Кэширование тебе поможет. Даже без запихивания всех ID номенклатур в запрос и пакетного получения ссылок.

В базе ничего кроме номенкалтуры и видов нет, а собственник именно захотел, хотя его убеждали в том что это не совсем целесообразно, стоит связываться только с тем что есть в наличии или были движения за последние полгода

У меня в данной области явный пробел, нельзя ли подробнее или ссылки на методики ?

Так и непонял .... база на скуле ?

см

Не понимаю. В чём проблема записывать сколько раз было вызвано чтение текста?

ну ладно в 7.7 были проблемы - текст глотался весь сразу, начинались пляски с fso/ado а в 8.2 чему тормозить?

блин..

в скуль 2000 через dts подобный объем запихивается в плоскую таблицу за несколько минут максимум...

Это, типа, вам сюда -

Ни в чем, как начнеш с нужной позиции ?

Наверное, пропустив необходимое количество ненужных, не?

ЧтениеТекста работает быстро - поверь. И проверь.