1С сервер, Linux и PostgreSQL. Как так получается? #662786

Связал весь этот зоопарк на обычной офисной машинке (потестировать). Скормил две крупных базы с данными за три года. Так эта связка их пережевывает и не давится, вываливая целенаправленно формируемые мега-портянки в пределах минуты. Создал шесть одновременных подключений, в которых запулил массовые обработки, отчеты и т.д. Результат опять же превзошел все ожидания. В ущерб чему достигается такая производительность? Какие подводные камни? (с)

Связал весь этот зоопарк на обычной офисной машинке (потестировать). Скормил две крупных базы с данными за три года. Так эта связка их пережевывает и не давится, вываливая целенаправленно формируемые мега-портянки в пределах минуты. Создал шесть одновременных подключений, в которых запулил массовые обработки, отчеты и т.д. Результат опять же превзошел все ожидания. В ущерб чему достигается такая производительность? Какие подводные камни? (с)

С чем сравниваешь?

вываливая целенаправленно формируемые мега-портянки в пределах минуты. Целая МИНУТА!!! Офигеть, это чем кормите?

В том смысле, что "в пределах минуты" - это очень даже не быстро.

С тестовым сервером на Win2k8+SQL2008. Сервер старенький, железо практически на одном уровне с этой офисной машинкой  (чуть быстрее дисковая подсистема за счет рейда). Остальные условия практически идентичны. Отчеты бизнес-анализа в "Консолидации" с на скорую руку написанным запросом по всем возможным показателям с присоединением справочных данных. Так-то обычные ОСВ за год в бухне секунд 5 обрабатываются, карточка счета с кучей движухи за год - секунд 10.

Мы частенько из обычных мощных компов собираем сервера. Работают нормально. Из подводных камней - надежность хромает, несколько раз сыпались аппаратные вещи. В том время когда серверные компы работают годами. Но если бэкапы делать, то они себя окупают, так как при одинаковой производительности стоят в 2-3 раза дешевле.

Я сейчас не об аппаратной части. Меня удивило то, что решение, где платный только сам сервер 1С, на практике справляется с очень нажористыми задачами лучше монстрячих связок на коммерческой платформе (не в разы, но ощутимо быстрее молотит большие объемы). Возможно, в жертву быстродействию приносится надежность в механизмах постгре - пока сказать не могу.

Надежность в механизмах постгре на корп уровне, подводные камни схемы 1С сервер, Linux и PostgreSQL в сложности промышленной эксплуатации(нет вендора как такового, нету SLA) и дороговизне в обслуживании(хорошие спецы по Linux и PostgreSQL редки и дороги)

Хм... ну эти-то подводные камни как раз вовсе не подводные, тут все понятно :) А есть у кого опыт эксплуатации баз >50 Гб на подобной связке?

Я думаю, ты что-то упустил.

Мы 5 месяцев назад перешли на 1С сервер, Linux и PostgreSQL. У нас РИБ 2 одинаковых по жлезу сервера. Один 1С сервер, Linux и PostgreSQL, второй Win2k8+SQL2008, пользователей примерно одинаково. Ну что могу сказать из минусов постгре. Трудно найти нормального линуксоида. Отчеты да быстрее почему то формируются. Но вот проведение доков в 2-3 раза медленее. Постоянные блокировки, конфу надо оптимизировать. Стоимость настройки постгре и оптимизации конфы примерно равна стоимости Win2k8+SQL2008, ну и нафиг оно надо. Короче мы возвращаемся в ближайшее время на скуль.

А ну да и надежность постгри говорят не очень, если база упадет никто не поднимет, а на скуле спецов много из пепла данные достанут.

А смысл? компания с базой >50 Гб это не ларки, позволить коммерческую платформу(MS, IBM или Oracle) себе может. Стоит ли эксперементировать?

Кстати один момент, отраслевые решения 1C в основном тестируются на MS SQL и как они себя поведут с другими СУБД это загадка.

Нет смысла, конечно, т.к. поддержка на этом уровне гораздо важней стоимости продукта. Вопрос чисто из разряда "а что, если?". Тут согласен. Помнится, что-то у меня на оракле категорически не взлетело (при этом на MS SQL прекрасно работало). То ли УПП, то ли та же консолидация, точно не вспомню.

мы вот по тестировали, приобрели опыт, тоже думали халява )) да конфу пилить и пилить по блокировкам )) Постгре походу для небольших компании, человек так на 20, кому нужен клиент-серер. Если бы типовые были под управляемые блокировки заточены тогда да, взлетело бы

Кстати, в двух параллельных процессах групповое проведение однотипных документов запускал - все пучком, рогами не упирались. Конфа - Бухня для Казахстана 2.0.2. Мож, отдельные решения уже довели до ума?

Да я и думаю, что такое решение можно небольшим компаниям проталкивать, где файловой базы уже недостаточно, а решение на MS по карману бьет.

На самом деле свзяка Linux и PostgreSQL и надежна и производительна если ее не использовать в связке с 1С, у нас положительный опыт (3года аптайма) использования отраслевого решения написоного нами и использующее Linux и PostgreSQL в качестве платформы. Приложение было написано конечно же не на 1С)))

Я думаю - там нужен Express

4 Гб ограничение же. Да и не такой уж он бесплатный - ставить-то его все равно на платную ОС надо.

проблемма MS Expressа ограничение по обьему 10Gb, лучше IBM DB2 Express там ограничение по обьему опер.памяти 4Gb

Да, в 2008 10 Гб. В принципе уже что-то более пригодное.

+ Вот только использовать он будет при этом всего 1Гб ОЗУ, что совершенно неприемлемо для серьезных задач даже 10 пользователям.

А вот еще момент к мы когда тестировали 1С сервер, Linux и PostgreSQL он летал. Когда в работу запустили, он начал через некоторое время проседать. Админ дня 3 потом оптимизировал сидел искал где нагрузка идет, вроде настроил, но опять же скуль поставил и забыл.

А это я еще проверю. Оставлю пока это для разрабов, пусть там базы свои гоняют, заодно и посмотрим.

1С на PostgreSQL работает и очень даже хорошо. На больших справочниках номенклатуры и большом количестве пользователей в этой связке подбор раза в 2 быстрее, чем на MSSQL. Для быстрого восстановления последовательности документов необходимо чаще делать обслуживание базы данных (полный вакум и реиндексацию по ночам). В принципе можно делать средствами 1с реиндексацию. После реиндексации средствами 1С перепроведение документов начинает просто "летать" как на POSTGRESQL, так и на MSSQL. Перевод баз с торговлей на PostgreSQL предпочтительнее, базы бухгалтерии лучше пока оставить на MSSQL (пока не выйдет 1С сервер 8.3). Что PostgreSQL очень любит - так это много памяти, что не любит, так это кривые руки программистов, которые плюют на оптимизацию запросов. При работе в Linux очень удобно использовать утилиту HTOP, с помощью которой можно сравнительно легко отследить прожорливые и неоптимизированные отчеты. Если база 1с начала тупить под PostgreSQL и подвешивать Linux сервер, то не думайте, что она будет работать нормально под Win серверам с MSSQL. Скорее всего будет дикий своп, тормоза и резкое сокращение работы дискового массива.

2 Винда свопит данные МС СКЛ? точно?

Винда свопит данные. Когда MSSQL не хватает оперативы.

2 это гарантированно? Потому что например Винда также имеет использует упреждающее чтение, помещая  читаемые с диска файлы в системный кэш, но для МС СКЛ этио не актуально, потому что он использует низкоуровневый доступ к ФС, и читает свои файлы мимо системного кэша Винды.  и использует дя кэша свои механизмы. Так вот про то что Винда свопит данные МС СКЛ - это гарантировано? Он использует памяти более физической? Или это догадки?

вы мне вот скажите на каком линуксе ставить этот Postgresql и сервер приложений? пробовал на CentOS 6.3 и Ubuntu. везде каких то пакетов не хватает...

а важный недочет, что блокировка не на уровне записи как в IBM DB-2, а на целую таблицу идет не учитывается? Просто сталиквался с PostgreSQL , скажем так, работал медленне чем IBM DB-2 бесплатный.

2 это только если не использовать управляемые блокировки.

На любом. Недостающие пакеты просто подтягиваешь. К слову, на 1С даже в сорцах лежит, так что хоть под генту собирай.

Кстати, замерил гилевскими попугаями на идентичных виртуальных машинах на одной железяке (ВМ запускал по очереди для чистоты эксперимента). 19 попугаев постгре против 13 МС. Конечно, нужно учесть ресурсоемкость самой системы (линь без гуя ставил, с минимумом сервисов, в винде даже без установленных ролей сам интерфейс и фоновые службы МС покушать любят).

2 не репрезентативная выборка.

то есть

Я может неправильно выразился. Винда свопит данные при недостатке памяти, но я не сказал что она свопит данные MSSQL. Скорее она свопит данные 1C сервера в виде кучи процессов rphost. балы такая проблема - при вводе новой базы на измененной конфе CentOS 8.4 начал безбожно отключаться - 1с Сервер 8.2.17.253 съедал по 8гб за 2-5мин. 1С программисты выразили предположение, что это Postgre. Перевели базу на MSSQL, практически ничего не поменялось, только сервер перестал зависать. После часа исследований выяснилось, что проблема возникала при работе под ограниченными правами. Поэтому и говорю, что если база под PostgreSQL съедает всю оперативу и вешает сервак, то это не говорит, что она будет работать нормально под MSSQL, а вот отследить ошибку под MSSQL зачастую намного сложнее.

ну вы хотите сказать, что iBM хуже? IBM рекомендуют использовать управляемые блокировки.

2 а откуда предпосылка что сервер 1С на той же машине что и сервер МС СКЛ?

Какбе для масштабных тестов нет времени и особого желания. В конце концов, реалии показывают, что гибкость и масштабируемость MS SQL перевешивают потенциальную "быстроту" постгре в долгосрочной перспективе, поэтому все эти тесты делаются сугубо из факультативного интереса.

2 пофантазируй еще.

2 а в чем гибкость и масштабируемость? Постгресс гораздо более масштабируем.

Я и не говорил, что они на одной машинке.

В MS SQL помимо самой СУБД входят еще и Analysis Services, Reporting Services, много вкуснейших плюшек в плане сопряжения с другими продуктами. Много там чего, в конечном итоге. Конечно, напрямую к 1С это не относится, но не 1С единой жив человек.

ну судя из ваших слов, про прочих равных PostgreSQL  будет лучше IBM DB-2 во всем? я думал из за блокировки на уровне записи, лучше PostgreSQL  , это даст перепроведение более быстрым и менее заметным для других пользователей.

CentOS. Кое-какие файлы все равно необходимо доустанавливать, SELinux отключить.

2 Ну так тогда смысл упомининания свопа?

а что именно и где взять нормальный мануал?

PostgreSQL перепроводит документы достаточно быстро, особенно после выполнения реиндексации. Другое дело, что в течение рабочего дня лучше не эксперементировать такими вещами.

2 смысл моих слов в том, что ваше замечание неверное в случае управляемых блокировок.

Опять не так выразился - 2 физических сервака, на одном Windows 2008, 1С сервер и MSSQL, на другом CentOS, 1с сервер и PostgreSQL

пользуйтесь внутренней базой данных виндуз - бесплатно и легально

да полно информации, хотя бы здесь . И еще на сайте 1С дополнительная информация.

+ Чисто гипотетически базы 1С на постгрессе могут работать на вот таких машинах:

не ты ли обещал до 9 мая тесты ДБ2?

2 А уже какое?

а где и что за тесты? не понял iBM Db-2 Лукчше работает в автоматических блокировках или управляемых?  просто я читал, что управляемые желательные, щас даже тему найду. что каждый день надо делать реиндексацию БД?

Ну и еще один "маленький" нюанс: в Windows-инфраструктуре использовать никсы - это тратить ежемесячно атстатыщ на хорошего никс-админа, умеющего еще и в постгре.

ну, типа 8 :)

ложь

Достаточно один раз настроить. И можно наблюдение повесть на любого адекватного работника.

управляемые вообще лучше. особенно для постгре, но и для дб2 и мсскуля тоже выигрыш есть

правда

по ссылке работа с исходниками... а что у 1с за инструкция?!

2 Что такое лучше? лучше в абсолюте? Так не бывает. потому что любые усложнения, любые костылики несут с собой overhead'ы. Просто на каких-то лобъемах эти оверхеды все равно приносят в сумме преимущества, а в каких-то нет. Вот пулемет - это клевое оружие? Наверное клевое, если бить носорогов, и видимо плохое если перепелов.

Особенности релиза: 1. Изменен списк поддерживаемых дистрибутивов Linux: RPM    Centos 5.7, RedHat 5, Fedora 8, ASP Linux 12    Centos 6, RedHat 6, Fedora 8, 9-16  (необходима установка openssl098e) Установка openssl098e: yum install openssl098e ИЛИ openssl098e-0.9.8e-17.el6.centos.i686.rpm ( openssl098e-0.9.8e-17.el6.centos.x86_64.rpm ( DEB    Ubuntu 10.04, 10.10, 11.04, 11.10 2. Включен по умолчанию сбор статистики по временным таблицам( модуль online_analyse(ссылка на README.online_analyze)) 3. Включена по умолчанию коррекция оценки оптимизатором количества строк в пустой таблице ( модуль plantuner(ссылка README.plantuner))

Правда. "Достаточно один раз настроить" - это разве что к роутерам относится. В раз и навсегда предопределенной схеме сети. А мы говорим про продакшн-сервер, который и на аутсорс не отдашь из-за крайне жесткого SLA, и дятлу-эникею не доверишь.

2 А виндовс доверишь, или платить ему будешь в два раза меньше?

что ?

поверь мне, в роутерах тоже периодически надо что-то делать ;) например acl-листы

Там не работа с исходниками.

да и вообще можно готовую сборку взять с эзерсофта и не париться.

до 12-го оттягиваю тогда

а чо это ?

Эникейщики тоже разные бывают. Некоторым даже картриджи бы не доверил увозить на заправку.

Этерсофт у нас не пошел.

Если соберут сервер приложений хотя бы для Linux on Power, то будет. Правда, уже который год ожидается выход беты CentOS для Power.

За быкапами следить - доверю. А вот в нюансах, которые могут возникать (к примеру, отчет отказался формироваться из-за слишком малого shmem) эникей уже вряд ли разберется.

хватит кормить жирных котов Майкрософта! Даешь толстого клиента 1с под линукс! я таким у себя говорю самим заправить. В грязной комнате.)

2 почему агент сервера 1С и сервер ИБ должны быть на одной машине?

А что мне верить-то? Я этим пятнадцатый год занимаюсь :) Поэтому и оговорку добавил насчет "раз и навсегда предопределенной сети".

Filesystem     Size    Used   Avail Capacity  Mounted on /dev/da0s1a    495M    445M     10M    98%    / devfs          1.0k    1.0k      0B   100%    /dev /dev/da0s1e    495M    176M    279M    39%    /tmp /dev/da0s1f     28G     18G    7.4G    71%    /usr /dev/da0s1d    1.9G    1.8G    -36M   102%    /var /dev/da1s1d    132G    120G    1.4G    99%    /mnt/volume

2 Есть версии Постгреса для AIX

+ чо посоветуете ?

лучше в плане производительности и основных действий: 1) Массовое перепроведение 2) Построение отчетов 3) Хранение данных большого количества данных. 4) не каждый день индексировать. 5) Отказустойчивость в IBM Db-2 плохо работае с трэшом и каталог. 6) Закрытие месяца 20 счета, IBM DB-2 че то не в типовых конфа при больших данных жрет память жеского диска очень много и не закрывает...

2 что за хрень? почему мне?

вы как то связаны с IBM db-2 я знаю точно ))

2 серьёзно? и в таком случае хрень из сразу становится ясна?

ну я отметил основные вещи, что считаю важным, для работы 1С и где оно быстрее работает)

это я на ваш ответ про пулемент, по ком стрелять надо.

быстрее работает там, где меньше документов.

Не должен, конечно. Просто использовать Power только для СУБД как то неинтересно, что ли. Там  и повышенная частота и кэш на процессоре в несколько раз больше, чем на х86 и масштабирование до 32-х процессоров... Очень хорошо, значит, с большой долей вероятности, и PostgreSQL от 1С тоже соберется без особых проблем.

ссори конечно за отзыв, но дельной инфы в этом списке ноль

2 А я сказал что управляемые блокировки это не панацея. Например берем монопольный доступ. Проводим документы. Все проводится за 1 минуту. Потом переписываем проведение с управляемыми блокировками, проводится за 70 секунд. Но, если брать не монопольный, а конкуретный доступ, то при 10 пользователях, которые пытаются проводить например каждый свой документ прихода, проведет только один. А остальные девять только по очереди после первого. И в итоге это у них займет ну например 10 минут. А при управляемых бблокировках эти же 10 пользователей проведут свои документы каждый за 70 секунд, и все вмсете тоже за 70 секунд, при чем ни один не будет подозревать что кто-то еще что-то проводит. Теперь понятно?

вот что я имел в виду про пулемет, носорогов и перепелов.