Найти все двойники в справочнике Номенклатура #792970

УТ 10.3. В справочнике номенклатуры куча задвоенных товаров. Названия могут быть не идентичны. Например Велосипед STELS Navigator 600 V 26 Велосипед  Navigator 600V 26 Stels Какие у кого есть идеи, как найти такие товары?

УТ 10.3. В справочнике номенклатуры куча задвоенных товаров. Названия могут быть не идентичны. Например Велосипед STELS Navigator 600 V 26 Велосипед  Navigator 600V 26 Stels Какие у кого есть идеи, как найти такие товары?

Ручками.

"Названия могут быть не идентичны" - тогда только глазами.

В конфигурации есть штатная обработка по поиску дублей в справочниках

Неужели больше никак? Там около 40000 наименований

"Названия могут быть не идентичны. Например Велосипед STELS Navigator 600 V 26 Велосипед  Navigator 600V 26 Stels" вряд ли такое она найдёт.

есть ещё вариант. Написать ИИ

я полагаю, что надо наименование разбить на слова и уже слова сравнивать. Если есть схожесть 90% слов, то это одна и та же номенклатура.

В обработке "ПоискИЗаменаДублирующихсяЭлементов" есть ползунок "Настройка уровня сходства слов", можно с ним поэкспериментировать.

Это извечная проблема, для аптек вообще крутяк.

можно нанять программиста (с)

А может быть еще такое: Ноутбук HP (английские буквы "h" и "p") Ноутбук НР (НР - русские буквы "н" и "р") И даже Ноутбук НP, где h английская, а р - русская

А сам как думаешь? Твой пример ещё куда ни шло (там все буквы совпадают). Но если будет такой: "Велосипед STELS Navigator 600 V 26 Велосипед  Navigator 600V 26 СТЕЛС"  или вообще "СТЭЛС" - то никакой ИИ не поможет :))

Это можно сначала своей обработкой сделать замену.

в примере совпадение только 80% и это без учета и прочего

Посадить за справочник пару-тройку бабороботов, пусть разгребают. Всяко быстрее будет, чем ИИ написать.

серьезно? всегда самый лучший ответ

а может правда программиста нанять? и он сделает, а то тут все непрограммисты никто не знает как

Нечёткое сравнение строк разиуливает это с высокой эффективностьюЯ таких поисков дублей и загрузок новых прайсов по написал столько, что уже тошнит.

а тут форумчане-тролли.

Универсальные таблетки я только в армии у прапорщика видел.

Программист тут не поможет. Тут много тупой однообразной работы. Тут нужен грамотный управленец, способный правильно организовать людей.

это в ответ на

ок

Без оператора не обойтись , но его работа буде очень сильно облегчена. Два человека за два дня с таким инструментом выявят все дубли

срезать остатки на начало года и удалить нах.. все лишнюю наменклатуру.

В приведенных примерах не дубли. Если их так заводили, значит так нужно. И как программа узнает что является дублем, а что нет? Кроме как разбора вручную, ничего не сделаешь. Можно немного оператору упростить жизнь сгруппированы похожие, но это все равно не автоматически. И да. Оператор должен знать весь товар.

Может проще сразу все удалить и начать поновой?

Тогда уж инвентаризацию сначала сделать, а то скорее всего в остатках такой же бардак как в номенклатуре.

хорошо облегчит задачу структурирование номенклатуры. Если всё распихать по правильным папкам

есть готовая обработка. ищет "похожие" строки. твои две карточки найдет точно. есть один нюанс - работает медленно.

+

+++

Можно попытаться нормализовать наименование перед поиском дублей. Разделить на слова, отсортировать внутри списка по этим словам и сформировать некий индексированный реквизит.

Можно товар, который не имеет остаток переименовать нахрен. Это также уменьшит список

>> Разделить на слова В примере ТС      600 V - два слова, а в другой строке 600V - одно слово

Масло Лукойл Люкс 10w40 1л Масло Лукойл Люкс 10w40 4л Схожесть более 95% - Это одно и тоже Ароматизатор на веревочки банан оран. Ароматизатор на веревочки банан крас. Схожеть явно более 90% Можно свернуть? Красовки мужские разм. 42 Красовки мужские разм. 35

в общем я понял, что надо сначала найти все схожие, а дальше только глазами смотреть

Спасибо всем!)

Заблокировать всю номенклатуру (выделить префиксом) и назначить ответственных на разблокирование и ввод новых.

Ну и наплодят они ещё больше дублей таким образом :))

при правильной мотивации не наплодят) По-другому вообще никто ничего делать не будут, только плакаться и проклинать "программиста" ).

можешь вычислить типа "веса строки", например, сумма всех кодов символов (можешь и более хитрый алгоритм применить типа среднеквадратичного отклонения), а дальше собираешь в группы всё что близко, например, 70%. Показываешь оператору и оный принимает решение что есть дубль, а что нет

42+ идея именно в получении некой цифры, а дальше, хочешь кластерный анализ, хочешь просто статистические методы

неправильно ты понял. начинать надо с причины - почему появилось столько дублей. если не решить настоящую проблему то даже после того как разгребешь бардак он появится снова. надо выявить откуда появляются новые элементы, организовать процесс таким образом чтобы исключить дубли, назначить ответственного. а дальше уже устранять бардак в полуавтоматическом режиме. обработок которые ищут похожие наименования море, а дальше ответственный определяет какие дубли а какие реально разная номенклатура.

Потому что у каждого поставщика своя номенклатура.

Необходим общероссийский справочник номенклатуры!

то, что уже есть в справочнике - ручками. Причем, продуктивнее (хотя и дороже), если ручки будут из программиста расти, при этом предметного специалиста рядом посадить на короткий поводок, чтобы быстро консультации давал, что одно и то же, а что - нет. Дальше - забрать у кого попало права, чтобы новые элементы создавали только хорошие, правильно заряженные позитивом сотрудники, которые понимаю, что и как и зачем надо делать, чтобы дублей не было. У правильно заряженных сотрудников должна быть ответственность за эту деятельность.

в этой теме как раз-таки и есть следующий этап после описанных тобой. кто, когда и почему создавал дубли выявлено и меры предприняты. теперь надо найти дубли, которые есть

для этого еще 15 лет назад в 77 существовали прайсы поставщиков. примерно в те времена мы и решали схожую проблему с наведением порядка в 45к контрагентов и 80к материалов. ничего, навели, система работала как часы.

это уже сделано)

тогда пишите обработки или ищите которые будут выводить кладовщику похожие названия с возможностью ему в один клик решить одно это или разное. автоматические замены - чреваты. МОЛы потом накатят на вас такую телегу когда вы им остатки перекосите...

сделано то, на сколько я понимаю, что у меня описано в "далее". Теперь делай то, что перед этим написано. Бери, то есть, notepad++, эксель, молоток, зубило и того, кто за номенклатуру отвечает и - вперёд на баррикады. За день, я думаю, управитесь.

Заходите на какой-нибудь ресурс с обработками. Ищете "нечеткий поиск по наименованию". Находится миллион алгоритмов, от простейших, реализуемых средствами 1С, до готовых библиотек.

Ты не понял о чём я. Я не говорю что каждый раз заводят позиции. Я пока что просто о разных прайсах. Пришел новый поставщик со своим наименованием, девочка тупо завела новую позицию. И тут твой прайс поставщика никак не поможет

у тупой девочки не должно быть прав на это. Права надо давать только умным девочкам. Ну, или - не удивляться потом

Ну у меняпозиции заводит сам менеджер, но когда приходит старый товар от другого поставщика ему лень искать старую позицию и он тупо заводит новую

есть обработка как под обычные формы так и под управляемые где можно регулировать чувствительность поиска и под различные реквизиты, куда тебе их скинуть?

вот же он и пока бесплатен )

"Какие у кого есть идеи, как найти такие товары?" - неявный поиск с StrMatch.dll

Чукча не читатель

Сначала разделить все на гарантированно непересекающиеся группы типа "Велосипеды", "Телевизоры", "Штанги", а уже потом только руками, потому что может быть и и и и и еще куча всякой хрени

Не, не читатель. Это я так проголосовал за "Если хочешь что-то сделать хорошо - сделай это сам!"(цы) :)

"Тупой девочке" предъявили сертификат товара, откуда она ввела его наименование в справочник. Ее то в чем вина? А то, что в справочнике куча подобных позиций.... А инвентаризацию как проводить по справочнику или по документам?

(уже уходя) Поддержу а насчет тупых и умных девочек. Если проанализировать "источники" формирования новых позиций номенклатуры, то всегда их можно ограничить до разумного числа. Например: менеджер, заведующая складом, конструктор, технолог. Если неприемлемо ограничение по каким либо причинам, то дарю идею: Сформировать триумвират ответственных по номенклатуре и рег.заданием им сообщать обо всех новых наименованиях - пусть оперативно контролируют и решают вопрос с наименованием (да и нужна ли новая позиция номенклатуры как таковая).

инвентаризацию проводить по складским карточкам учёта. Для предотвращения "Предъявили - ввела" - садится человек, который точно знает что и где находится (в смысле в утверждённой структуре - велосипеды с велосипедами, бумага с бумагой и т.д.) по сути ему вменяется в обязанность соотнести новая финтиплюшка - соответствует у нас вот этой записи справочника. Проблему "не знаю чему соответствует" в своё время решал в виде 2-х полей "запись из справочника" и "текст как в накладной" - "тупая девочка" в бивала всё что находила, чего не знала, то просто писала как называется и инженер проставлял "что сие есть" (работало для завода)

у меня есть готовые инструменты могу помочь. но стоит денег. Могу даже видео снять. Но тут главный вопрос - а что дальше?

Жаль, что вы уходите. Жизнь показала, что для зав.склада главное-принять товар, а как он пропишется в проге-не его дело. Триумверат по номенклатуре не реально. Склад работает круглосуточно.

А приходные накладные из воздуха появились, без счета-фактуры, заказа поставщику и т.п.

Даже на отпущенные дабл позиции разными накладными? А что в случае возврата будете делать, если дубли в справочнике уже удалены?

Бюджет какой? Можно тестовую выборку для эксперимента?

А дальше простая доработка УТ чтобы "ПередЗаписью" предлагал уже имеющиеся варианты и все...

Если орг методами не ликвидировать возможности у "тупых девочек" и "завскладами" снова запомоить номенклатурный справочник, то выполняемая ТС работа будет полностью подобна сизифовой. Т.е. такое нужно решать только сверху, оргметодами, прямыми запретами (как программными, так и административными) на ввод позиций-дублей. И только после этого заниматься разгребанием существующей помойки. Руками.

Приходная от поставщика обязана быть. А представь, организация должна предоставить мат.помощь по этой накладной кому-то. Какие счет-фактуры? Вообще торговля это не купи-продай, а намного шире.

"как найти такие товары?" // Зачем?

Смешно, со своими понятиями в чужой огород. Пример хоть приведите "перевоспитания"

Чтобы списывалось по тому же названию, что и приходуется, нужно оклеивать товары кодами или штрихкодами. Сами дубли (например, когда одну партию назвали так, другую - этак) не играют особой роли, если будет выяснено, что товары в точности одинаковые, то их можно схлопнуть обработкой.

Вот вот. Поэтому добавь еще сопроводительные документы. + сертификаты качества Входной контроль. Слыхал, нет.

надо забрать у этого лентяя права и продать с аукциона. Лень ему, блеать... Лень дома на диване может быть, а не на работе. вина - ни в чем. Про вину ни кто не говорит.

сейчас модно для таких задач использовать нейронные сети с глубоким обучением

Удобная Обработка для сабжа пишется за день на основе стрматч, никаких предварительных делений по группам не надо.У меня такая есть подобная, писал для практически такойже задачи по сведению дублей в базе дисков фильмов, примерно столько же номенклатур

При перестановке слов и разнице между разной номенклатурой тока в циферках этот стрматч идет лесом-полем ))

+ Как минимум лучше метод Nграмм, еще лучше (но сложнее) разделение на параметры-признаки и сравнение по ним - кластеризация/классификация.

вот готовое хз только пашет ли

Как вы не поймете, если была отгрузка по этим дублям, нельзя их удалять, поскольку возврат может быть на этот дубль. А вот на будущее, да, всех проинструктировать, а непонятливым настучать по одному месту с привлечением руководства.

идите лесом самиПерестановка слов отрабатывается на ураОтличие номенклатуры только ф циыерках труднее, но тожеив целом нормально отрабатывается, тем более стрматч позволяет увеличить вес цифрПолностью автомат делать рискованно - да и не видел я полностью таких автоматов - а супермена помогал кв работает на ураПоверь, я этот стрматч не на одно проекте гонял, представляю о чем говорю

Я не отрицают что проблемы могут быть и скорее всего будут, но они несмертельные

Аспирин таблетки Для примера.

артикулы есть в базе? если есть - то ваще легко найти все наименования разные с один артикулом

Третий случай с "аналогом" только кластеризация/классификация - это самый дорогой вариант. Нужны спецы по т.н. DataMining, в принципе ничего особо сложного там нету но знания и опыт нужны.

Если артикулов нет в базе - ЛЕГКО взять какие то ключевые слова из наименований и впихнуть в артикул. Далее сделать запрос по артикулам и покажутся все двойники. Я легко такое обработаю своей загрузкой и дополнительно марафетом номенклатуры. Вот сегодня задача как раз стояла в базе определить артикулы из товара, потому что чел не могу прайсы загружать. Это однотипная задача. Одной обработкой сначала обрабатываем ключевые слова. Далее можем свой справочник выгрузить в эксель - просто сохранить тупо список. Загрузив - сказать обработке - найти всех двойников. По каждой строке отобразятся. Вот как я сегодня красиво задачку обработал по поиску номенклатуры.

Марафет номенклатуры бесплатно можно у меня скачать - там 7 обработок разных по обработке номенклатуры. в том числе с применением алгоритмов

В приципе даже вашу задачу могу дописать легко в марафет сразу. Выкатывается список товаров. раскладываем на ключевые слова - можно применить любые алгоритмы - выдать список двойников. наверное так и сделаю - напишу на днях такую доработку.

У тс не те заморочки чтобы датамайнинг прикручивать

Резюме: на клюшках эту задачу я решу без особого напряга. Далее 1 человек за неделю 40 к номенклатуры отчекрыжит нормально.Надо будет - пусть автор стучитсяТем более и на ИС есть хорошая обработка для восьмерки на основе стрматч

К сожалению, программера на складе все хотят скушать, поэтому приходится до всего доходить самому.

Просто не в курсе всех возможностей "добычи данных", сча это уже перешло и переходит далее в разряд обычных вещей. По сути вместо кучи (реально десятки и сотни) обезьянок-операторов берем одного прога и он выдает на гора за смешное время 80-99% решение. Далее нескольким обезьянкам выдается оставшееся 1-20% на ручную обработку и все.

а я сразу) Думаю за полчаса. Сохраню справочник в эксель. Загружу обработокой У меня уже готовая форма по поиску есть, которая разложит все слова и найдет всех двойников с этими же словами в любом порядке. Для точности применю алгоритмы для установки артикулов из ключевых слов которые гарантируют и ускорят еще также поиск. Ну и по каждой строке программа выдаст количество совпадений в базе - это тоже уже есть.

маня, давай не забывать как я тебе показывал не структурированный Прайс и какой был результат. А частное решение на стрматч на раз у меня такие прайсы жрало