Перевод большой базы в SQL. #651791

Всем доброго дня. Появилась задача перевести в SQL БП8 2.0 Сейчас база файловая, объем 20гб! При попытке загрузить в SQL пишет, что не уникальное значение пытается записаться в уникальную колонку и все валится. Сделали ТИИ, все пункты кроме пересчета итого и реструктуризации прошли. На этих пунктах валится по нехватки памяти. Чекбд ошибок не находит. Мы в тупике. Что делать?

Попробуйте создать РБД, в которой второй узел на SQL, а потом через их синхронизацию (желательно не через файл, а какой-нибудь COM) проведите первоначальный обмен.

реструктуризацию надо бы всё таки. делайте на мощном компе с большим количеством мозгов

обрезать...

какое значение большая она или нет? если была маленькой и такая же ошибка - как бы тему назвал?

2) кол-во мозгов значения не имеет. запускали на сервере >15гб ОЗУ. Когда процесс !С съедает более 1.5 гб памяти вылетает ошибка.

делай ВСЁ на х64

2 и что случится?

Текст ошибке в студию!

6+ было ТАКЖЕ - помогло...

пробовали свернуть. зависает на регистре РАСХОДЫУСН и так же по памяти валится. причем сворачиваем первые 2 месяца учета.

не поможет попробуйте найти эти неуникальные значения

делать на х64.  64 винда или 1С или все вместе? :)

а где и как их искать?

Мы бы сказали, если бы ты хотя бы текст ошибки написал, поклонник телепатов хренов.

в скуле найти можно, а вот в файловой я хз как)

винда

даже обработку писал под это дело.

16+ ГДЕ ж ты клиента ТАКОГО(х64) возьмёшь...

на линупсе) 8.3

создать новую базу на скуле. Через выгрузку-загрузку xml перенести данные.

сколько будет весть такая XML'ка?  нереально!

Бугага. Товарищь неосиливает переписать текст ошибки. Спасибо, пошел писать код в хорошем настроении.

если с скл разбираетесь, вот заготовка ddl триггера для отмены индекса

да успокойся ты умник. сейчас заливается и будет скрин ошибки.

на этапе загрузки у них, базы как таковой на скуле нету...

Я спокоен. Спасибо за заботу.

кусками.

база есть. таблиц нету

т.е. сначала перенести доки, потом еще их проводить же надо?

можно отдельно движения потом перенести

ну это нереальная история.

Ребята, вот текст ошибки Ошибка загрузки информационной базы. В информационную базу загружены не все данные по причине: Попытка вставки неуникального значения в уникальный индекс: Microsoft OLE DB Provider for SQL Server: The CREATE UNIQUE INDEX statement terminated because a duplicate key was found for the object name 'dbo._AccRgAT2495' and the index name '_AccRgA2495_ByPeriod_TRRRRRRN'. The duplicate key value is (Jan  1 2001 12:00AM, 0x00000000000000000000000000000000, 0x00000000000000000000000000000000, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, 0).

Можно попробовать взять это: и ковырять файл базы данных, по таблице AccRgAT2495, искать, где дубли. Исправить.

Тупо найти этот регистр накопления и отключить по нему итоги.

Сначала справочники. Потом доки. Видами и периодами. Сразу с движениями.

20 gb файловая? и она ещё не загнулась?

Как видишь, уже загибается :-)

вообще она еще жива  и работает, но ооооооочень медленно )

а как определить какой это регистр?

может вообще выключить итоги во всех и так переносить, а в sql  е уже включить. О! идея! :) что скажете?

Или так Что-то вроде получитьструктурухраненияБД

Новости с фронта: отключил итоги во всех регистрах попробовал сделать реструктуризацию, вышла ошибка переполнения памяти сделал сжатие - прошло нормально, база стала 15гб. выгрузил dt и при попытке залить в SQL опять вышла ошибка Ошибка загрузки информационной базы. В информационную базу загружены не все данные по причине: Попытка вставки неуникального значения в уникальный индекс: Microsoft OLE DB Provider for SQL Server: The CREATE UNIQUE INDEX statement terminated because a duplicate key was found for the object name 'dbo._AccRgAT2495' and the index name '_AccRgA2495_ByPeriod_TRRRRRRN'. The duplicate key value is (Jan  1 2001 12:00AM, 0x00000000000000000000000000000000, 0x00000000000000000000000000000000, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, 0).

Я могу подключиться и глянуть.

АААА, знакомая ошибка. У тебя в регистре бухгалтерии неправильные субконто стоят. Нужно сделать приведение типов

держи с барского плеча

спасибо :)  запустил, что-то обрабатывает.  как будут новости сообщу :)

вообще ТИИ должно было помочь. учу как делать такую ошибку в бухе. берем бухию 20, где нет учета по складам. делаем документы с движениями по счетам ТМЦ. Включаем склады. Теперь если выгрузить ДТ и попробовать загрузить в скуль будет писать ошибку не уникальности индекса, но ТИИ нормально спасает

ТИИ валится на пересчете итогов и реструктуризации. хотя когда итоги отключил, один фиг ошибка.

привел типы твоей обработкой и один фиг ошибка Ошибка загрузки информационной базы. В информационную базу загружены не все данные по причине: Попытка вставки неуникального значения в уникальный индекс: Microsoft OLE DB Provider for SQL Server: The CREATE UNIQUE INDEX statement terminated because a duplicate key was found for the object name 'dbo._AccRgAT2495' and the index name '_AccRgA2495_ByPeriod_TRRRRRRN'. The duplicate key value is (Jan  1 2001 12:00AM, 0x00000000000000000000000000000000, 0x00000000000000000000000000000000, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, <NULL>, 0).

настораживает в этой ошибке дата "Jan  1 2001 12:00AM" это запись такая где то в базе или документ на этой дате?

Давай подключусь

пересчитайте итоги перед выгрузкой

(имхо) Вообще-то это проблема даже не в индексах, или в  итогах... Это "пустые" записи. Фича файловой - неуникальные значения в индексах не рушат базу, как в SQL. PS: вон, в соседней ветке сижу, подсказываю как определить что за таблица глючная -

ТИИ при проверке логической и физической целостности, даже если оставить "не изменять" исправляет данную ошибку.

давай. лучше завтра днем. через что амми или тим?

Лучше Тим, стучи в аську ICQ#: 374-881-272

Вячеслав, я уже писал, что пересчет не работает. Падает по нехватке памяти. Правда я отключил потом итоги и все равно заливка в SQL падает.

возможно загрузиться в бд2, там отличия возможно данные загрузились целиком уже, но не построились индексы из-за не уникальности, тогда нужно просто удалить дубль

ВЫБРАТЬ Подзапрос.Период, Подзапрос.Регистратор, (ВЫБРАТЬ Хозрасчетный.Период КАК Период, Хозрасчетный.Регистратор КАК Регистратор, <измерения>, 1 КАК КоличествоЗаписей ИЗ РегистрБухгалтерии.Хозрасчетный КАК Хозрасчетный) КАК Подзапрос Подзапрос.Период, Подзапрос.Регистратор, попробуйте найти такие записи

хочешь сказать что проверка логической и ссылочной целостности не выдала тебе никаких сообщений? у тебя стояло "только тестирование" или "тестирование и исправление" ???

тестирование и исправление. ошибки были, но они поправились. загрузка все равно не проходит.

сейчас запустил ТИИ снова, поставил все галки кроме реинд и пересчет итогов.  посмотрим, может что-то напишет про пустые графы.

классификатор адресов предлагали очистить?

))

утилиту для теста файловых баз не пробовали запускать? ChkDBF или как-то так. Давно уже не доводилось файловые ковырять

в данном случае не помогает у меня в базе на скуле склады не включались, база была не маленькой, вот и пришлось извращаться. Проверка целостности мне помогла.

ТИИ со всеми галками кроме Сжатия и Рестр прошло без ошибок, ТИИ с реструктуризацией сразу валится в ошибку. значения NULL на каком этапе очищаются? может выгрузку загрузку в файл еще сделать, а потом уже в SQL?

у тебя итоги и реструктуризацию не сделает. можешь не париться

щас попробую в демке сделать

в демке ситуацию не получилось смоделировать. нашел журнал регистрации. вот что мне ТИИ писало Субконто регистров бухгалтерии. Хозрасчетный. Проверка уникальности записей    В таблице AccRgED509 обнаружены неуникальные записи со значениями полей:    Неуникальность записей устранена

это такой подробный отчет ТИИ дает? это при какой галке он такие неуникальности чистит?

при 2х галках проверки целостности. фишка в том что на демке модуляция проблемы не работает. я позже попробую еще. я бы предложил тебе создать узел плана обмена и выгружать кусками с разделением по метаданным

Здорово всем.

привет. сейчас доеду до офиса и можно будет посмотреть.

H A D G E H O G s я на связи как будет возможность стучи.

+ с учетом, что ошибка может быть в нескольких таблицах проще отключить создание всех уникальных индексов. при этом сохранить в таблицу tsql команды создания индексов. затем исполнить скрипты из таблицы с теми, которые не исполнятся разбираться персонально. тк в некоторых случаях записи нужно сгруппировать или удалить дубли или удалить совсем. в любом случае  потребуется только 1 загрузка из dt

т.е. идея такая - при загрузке отключить формирование индексов и потом их сформировать отдельно? но как отключить это процесс во время загрузки?

а можешь не смотря на ошибку загрузки запустить базу и узнать какая таблица парит мозг через ПолучитьСтруктуруХраненияБазыДанных. может его выгрузить в файл, потом очистить, потом загрузить?

вообще эта SQL база после такой глючной загрузки запускается и даже документы вроде все на месте. Оборотки сравнить не получается, т.к. итоги отключил. Сейчас в SQL запустил процесс включения итогов, посмотрим чем закончится. Если включение итогов пройдет нормально, может так и оставить? Как можно проверить базу на пригодность к работе после такого перехода на SQL?

логика подсказывает что регистр у тебя не мог весь загрузиться, вопрос были ли в очереди на загрузку еще какие-нибудь регистры или только этим обойдется...

ну оборотка это и покажет, опять же ТИИ можно сделать может где битые ссылки остались. так?

там еще нужно лишние субконто удалять. моя обработка этого не делает. Вот код из кд Для каждого СтрокаТаблицы Из Объект.Движения.Хозрасчетный Цикл

а вообще крайняя идея это РИБ. надо будет сегодня ночью попробовать запустить.

пример в надо изменить для создания индекса. + логировать

вообще можно попробовать на копии переписать все движения по глючному регистру. может не много времени займет если в транзакции.

это регистр бух хозрасчетный )))) 99% времени

через внешнее соединение долго будет перегружать движения? не пробовал. может так будет проще всего?

У меня падала загрузка в 7-й базе, пока я не создал пустую конфу с константой и не загрузил поверх нее.

"пустую конфу с константой" это как?

это это ромикс приивсем моем уважении не угадал.