Чем загрузить "сложный" CSV ? #667239

Есть вот такой CSV, в котором встречаются такие штуки: разделитель в поле и перевод строки (LF) в поле. Excel умудряется такой файл корректно  прочитать. Чем его можно загрузить в таблицу значений ? Файл довольно большой - 140000 строк. пробовал через ADODB: несмотря на то что заявлено что "Файлы с кавычкими и вложенными запятым обрабатываются верно" - у меня поле с разделителем раскидывает в два поля, ну и перевод строки считает за новую строку. Мучался, мучался - так и не получилось изменить поведение. Мутить чтение через excel? долго наверное будет, да и муторно. Может есть у кого работающий код?

Код не сохранился, делал это на регулярных выражениях, вся соль в самом регулярном выражении, правда у меня перевода строки не было в полях, так что копай в строну регулярок.

а если конвертнуть его в ексель. а дальше читать через адо ?

См Есть переписанный вариант

регулярки... не доводилось щупать, но попробую если не найду способа попроще думаю долго будет, сперва он будет в эксель грузится, потом его оттуда читать построчно. хотя он сразу читает всё верно. щас зачту

не отлавливает чтото разделитель и LF в поле ( попробую этот код из книги если не взлетит - приедтся наверное браться за регулярки

А как пишешь? ExtractFields(S,aList,Delimiter,QuoteChar) ? Ты должен подать на вход строку S, массив aList. Функция заполнит массив

мда, невнимательно скопипастил. Теперь разделитель правильно находит и колнки делит правильно. А вот с переводом строки выдает ошибку "Нет закрывающей скобки" (

щас или вечером попробую допилить

Ты должен подать на вход строку без перевода строки. Обычно это делается через чтение файла.

что-то у меня не распознает конец строки (( Стр = ЧтениеТекста.ПрочитатьСтроку(Символы.ВК+Символы.ПС); считывает весь оставшийся текст. ,а Стр = ЧтениеТекста.ПрочитатьСтроку; разбивает строку с LF (он же Символы.ПС) на несколько

То есть у тебя LF это разделитель колонок?

не - разделитель колонок точка с запятой - ";" сама колонка порой представляет многострочный текст - внутри строки разделяются LF, в то время как строки таблицы отделяются CR+LF вот и я не могу заставить ЧтениеТекста разделять строки друг от друга по CR+LF

Можно попробовать двумя способами справится Либо СтрЗаменить(ИсходныйТекст,Символ.ПС,"") или Сейчас алгоритм посмотрю

Что выдает СтрДлина(S) для строки содержащей LF?

щас попробую у меня не получается ее получить - либо он ее обрезает по LF, либо в строке весь текст файла.

А у тебя точно разделитель  CR+LF? Я обчно в таких ситуация в Попытке исключение ловлю исключение и склеиваю строки

не успел на работе, буду дома пробовать

вот примерно так выглядит

Тип: Строка. Определяет разделение строк в файле для конвертации в стандартный перевод строк ПС. Значение по умолчанию: ВК + ПС. Разделитель задается в КонвертируемыйРазделительСтрок А разделитель строк ПС. Можно Ради интереса попробовать Новый ЧтениеТекста(ИмяФайла, Кодировка,Символы.ВК, Символы.ВК+Символы.ПС, <МонопольныйРежим>) Просто получается внутри переводом строки уже является ПС. Вообще замутили они с этими переносами. Без пол литра не обойтись.

>>Без пол литра не обойтись. это еще упрощенный пример. сам файл настолько долбанутый, что у меня чуть руки не опустились. ладно бы один раз надо было грузануть - я бы его поконвертировал в чтото удобное, а надо постоянную загрузку написать. вот шапка так вылядит ;Прайс-лист;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;В валютах цен.;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;Цены указаны на 22.05.2013;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;; ;Ценовая группа/ Номенклатура/ Характеристика номенклатуры;Номенклатура.Код;Номенклатура.Артикул;Номенклатура.Наименование;Номенклатура.Полное наименование;Номенклатура.Группа;Номенклатура.Бренд;Номенклатура.Группа.Код;Номенклатура.Группа.Группа;Номенклатура.Группа.Группа.Код;Номенклатура.Группа.Группа.Группа;Номенклатура.Группа.Группа.Группа.Код;Номенклатура.Группа.Группа.Группа.Группа;Номенклатура.Группа.Группа.Группа.Группа.Код;Номенклатура.Группа.Группа.Группа.Группа.Группа;Номенклатура.Группа.Группа.Группа.Группа.Группа.Код;Номенклатура.Группа.Группа.Группа.Группа.Группа.Группа;Номенклатура.Группа.Группа.Группа.Группа.Группа.Группа.Код;Номенклатура.Группа.Группа.Группа.Группа.Группа.Группа.Группа;Номенклатура.Группа.Группа.Группа.Группа.Группа.Группа.Группа.Код;Номенклатура.Единица хранения остатков;Номенклатура.Единица хранения остатков.Объем;Номенклатура.Количество в упаковке;Номенклатура.Количество на паллете;Номенклатура.Единица хранения остатков.Длина;Номенклатура.Единица хранения остатков.Высота;Номенклатура.Единица хранения остатков.Ширина;Розничная; ;;;;;;;;;;;;;;;;;;;;;;;;;;;;Цена;Ед. причем в "описании" структуры количество колонок из-за какой-то ошибки меньше чем в структуре, в конце должно быть Розничная Цена;Ед. я аж прифигел когда такой "csv" увидел

CSV - файл не правильный, сделай без переносов и все пойдет. CSV (от англ. Comma-Separated Values — значения, разделённые запятыми) — текстовый формат, предназначенный для представления табличных данных. Каждая строка файла — это одна строка таблицы.

в самой вики кстати в первом же примере csv с переносами и запятыми в полях.

ну я например пишу импорт, только из правильных CSV, а если какойто прогер, тот что например мне хочеть втулить "свой" вариант реализации CSV идет или лесом, или сам меняет свою программу. Без вариантов. А ложиться под чужие кривые форматы просто глупо.

вики правят добровольцы, как видишь неудачно, тут уж ничего не поделаешь Ищи оригинал RFC, для стандарта CSV, его и покажи автору твоего CSV, пусть правит.

и самое главное: 1.  Each record is located on a separate line, delimited by a line break (CRLF)

задача пока поставлена грузить из чего есть - и прогера там нет, это похоже на какую-ту стандартную конвертацию отчета  "прайс-лист" из УТ, ее манагеры делают и ничео другого, окромя mxl прислать не могут.

6.  Fields containing line breaks (CRLF), double quotes, and commas       should be enclosed in double-quotes.  For example:       "aaa","b CRLF у меня правда не CRLF а просто LF

прикольно, я так далеко не читал ))), ну дай им рфс без 6-го пункта :) Значит не повезло тебе с файлом, уменя такие ниразу не попадались, придется писать.

>> пробовал через ADODB Покажь свой schema.ini

Примерно так: [222.csv] ColNameHeader=False Format=Delimited(;) TextDelimiter=none CharacterSet=ANSI

заменить перевод строки на пробел

как бы этот перевод строки отличить от возврата каретки. чтото у меня пока не получается.

СтрЗаменить(СтрЗаменить(Стр,Символы.ПС," "),Символы.ВК,Символы.ВК+Символы.ПС);

хотя х.з. как это в объекте текст

ну в принципе можно - эт получается что сначала надо весь 50мегабайтный файл считать, заменить символы, записать, а потом снова распарсить уже как нормальный csv. янадо по времени замерить

в чтении текста пока не получается (

Внезапно получилось так: ЧтениеТекста  = Новый ЧтениеТекста(ПутьКФайлу, КодировкаТекста.ANSI,Символы.ВК, Символы.ПС - тут может быть любой символ кроме Символы.ВК); правда каждая строка, получаемая из файла теперь впереди с переводом каретки (или строки, я пока не понял), но СокрЛ это правит то есть первая строка считывается как: а вторая как

млииин - все же в написано, вот я балда

а нет - как раз так у меня не получилось Новый ЧтениеТекста(ИмяФайла, Кодировка,Символы.ВК, Символы.ВК+Символы.ПС, <МонопольныйРежим>) вместо Символы.ВК+Символы.ПС надо любое другое указать но без Символы.ВК

Чесно говоя я такие файлы на C# обработываю

А если ничего не указываь?

балда ты, давай файл

То есть что получается при Новый ЧтениеТекста(ИмяФайла, Кодировка,Символы.ВК) Там по умлчанию  Символы.ВК+Символы.ПС При указании Символы.ПС она отработывает только Символы.ПС. То есть если символ идет сначала строки то у тебя Символы.ПС+Символы.ВК

нет спереди у тебя стоит как раз Символы.ПС

А что делается если указать Символы.ВК+Символы.ПС

ага. правда я вот понимаю что разделить получилось только потому что у меня перенос идет только одним символом LF, в то время как по RFC двумя и все  задается только кавычками   -типа так весь файл в одну строку сваливается

вот так получилось клиент;адрес  "ИП Ив анов А.А.";"Москва;ул.Ленина;53"

Ну до к этому и здесь пришли

Убери или закомментируй строку "TextDelimiter=none" и всё.

55+ TextDelimiter - определяет символ, которым отделяется текст. По умолчанию "

56 + но при этом часто бывает, что файла не всегда корректные и приходится их дорабатывать своими парсерами

посимвольное чтение ? это ж я поседею в процессе. бинго! ну еклмн, как все просто.... вроде бы 40 мегабайт csv загрузились корректно, на первый взгляд, щас напишу обработку таблицы и там видно будет. Всем большое спасибо! не оставили в беде )))

вот готовое - гарантируем работу Читайет эксель и CSV напрямую - своя суперкомпонента. Скорость считывания 100 000 за 1 минуту.

что за суперко

и что за 500 придурков, которые вечно что-то грузят из эксель  ?

;))

100 000 на Это менее 1 секунды Минута это очень много.