1С сервер, Linux и PostgreSQL. Как так получается? #662786


#0 by Маратыч
Связал весь этот зоопарк на обычной офисной машинке (потестировать). Скормил две крупных базы с данными за три года. Так эта связка их пережевывает и не давится, вываливая целенаправленно формируемые мега-портянки в пределах минуты. Создал шесть одновременных подключений, в которых запулил массовые обработки, отчеты и т.д. Результат опять же превзошел все ожидания. В ущерб чему достигается такая производительность? Какие подводные камни? (с)
#0 by Маратыч
Связал весь этот зоопарк на обычной офисной машинке (потестировать). Скормил две крупных базы с данными за три года. Так эта связка их пережевывает и не давится, вываливая целенаправленно формируемые мега-портянки в пределах минуты. Создал шесть одновременных подключений, в которых запулил массовые обработки, отчеты и т.д. Результат опять же превзошел все ожидания. В ущерб чему достигается такая производительность? Какие подводные камни? (с)
#1 by ptiz
С чем сравниваешь?
#2 by H A D G E H O G s
вываливая целенаправленно формируемые мега-портянки в пределах минуты. Целая МИНУТА!!! Офигеть, это чем кормите?
#3 by H A D G E H O G s
В том смысле, что "в пределах минуты" - это очень даже не быстро.
#4 by Маратыч
С тестовым сервером на Win2k8+SQL2008. Сервер старенький, железо практически на одном уровне с этой офисной машинкой  (чуть быстрее дисковая подсистема за счет рейда). Остальные условия практически идентичны. Отчеты бизнес-анализа в "Консолидации" с на скорую руку написанным запросом по всем возможным показателям с присоединением справочных данных. Так-то обычные ОСВ за год в бухне секунд 5 обрабатываются, карточка счета с кучей движухи за год - секунд 10.
#5 by Повелитель
Мы частенько из обычных мощных компов собираем сервера. Работают нормально. Из подводных камней - надежность хромает, несколько раз сыпались аппаратные вещи. В том время когда серверные компы работают годами. Но если бэкапы делать, то они себя окупают, так как при одинаковой производительности стоят в 2-3 раза дешевле.
#6 by Маратыч
Я сейчас не об аппаратной части. Меня удивило то, что решение, где платный только сам сервер 1С, на практике справляется с очень нажористыми задачами лучше монстрячих связок на коммерческой платформе (не в разы, но ощутимо быстрее молотит большие объемы). Возможно, в жертву быстродействию приносится надежность в механизмах постгре - пока сказать не могу.
#7 by edwin
Надежность в механизмах постгре на корп уровне, подводные камни схемы 1С сервер, Linux и PostgreSQL в сложности промышленной эксплуатации(нет вендора как такового, нету SLA) и дороговизне в обслуживании(хорошие спецы по Linux и PostgreSQL редки и дороги)
#8 by Маратыч
Хм... ну эти-то подводные камни как раз вовсе не подводные, тут все понятно :) А есть у кого опыт эксплуатации баз >50 Гб на подобной связке?
#9 by H A D G E H O G s
Я думаю, ты что-то упустил.
#10 by Повелитель
Мы 5 месяцев назад перешли на 1С сервер, Linux и PostgreSQL. У нас РИБ 2 одинаковых по жлезу сервера. Один 1С сервер, Linux и PostgreSQL, второй Win2k8+SQL2008, пользователей примерно одинаково. Ну что могу сказать из минусов постгре. Трудно найти нормального линуксоида. Отчеты да быстрее почему то формируются. Но вот проведение доков в 2-3 раза медленее. Постоянные блокировки, конфу надо оптимизировать. Стоимость настройки постгре и оптимизации конфы примерно равна стоимости Win2k8+SQL2008, ну и нафиг оно надо. Короче мы возвращаемся в ближайшее время на скуль.
#11 by Повелитель
А ну да и надежность постгри говорят не очень, если база упадет никто не поднимет, а на скуле спецов много из пепла данные достанут.
#12 by edwin
А смысл? компания с базой >50 Гб это не ларки, позволить коммерческую платформу(MS, IBM или Oracle) себе может. Стоит ли эксперементировать?
#13 by edwin
Кстати один момент, отраслевые решения 1C в основном тестируются на MS SQL и как они себя поведут с другими СУБД это загадка.
#14 by Маратыч
Нет смысла, конечно, т.к. поддержка на этом уровне гораздо важней стоимости продукта. Вопрос чисто из разряда "а что, если?". Тут согласен. Помнится, что-то у меня на оракле категорически не взлетело (при этом на MS SQL прекрасно работало). То ли УПП, то ли та же консолидация, точно не вспомню.
#15 by Повелитель
мы вот по тестировали, приобрели опыт, тоже думали халява )) да конфу пилить и пилить по блокировкам )) Постгре походу для небольших компании, человек так на 20, кому нужен клиент-серер. Если бы типовые были под управляемые блокировки заточены тогда да, взлетело бы
#16 by Маратыч
Кстати, в двух параллельных процессах групповое проведение однотипных документов запускал - все пучком, рогами не упирались. Конфа - Бухня для Казахстана 2.0.2. Мож, отдельные решения уже довели до ума?
#17 by Маратыч
Да я и думаю, что такое решение можно небольшим компаниям проталкивать, где файловой базы уже недостаточно, а решение на MS по карману бьет.
#18 by edwin
На самом деле свзяка Linux и PostgreSQL и надежна и производительна если ее не использовать в связке с 1С, у нас положительный опыт (3года аптайма) использования отраслевого решения написоного нами и использующее Linux и PostgreSQL в качестве платформы. Приложение было написано конечно же не на 1С)))
#19 by H A D G E H O G s
Я думаю - там нужен Express
#20 by Маратыч
4 Гб ограничение же. Да и не такой уж он бесплатный - ставить-то его все равно на платную ОС надо.
#21 by edwin
проблемма MS Expressа ограничение по обьему 10Gb, лучше IBM DB2 Express там ограничение по обьему опер.памяти 4Gb
#22 by Маратыч
Да, в 2008 10 Гб. В принципе уже что-то более пригодное.
#23 by Маратыч
+ Вот только использовать он будет при этом всего 1Гб ОЗУ, что совершенно неприемлемо для серьезных задач даже 10 пользователям.
#24 by Повелитель
А вот еще момент к мы когда тестировали 1С сервер, Linux и PostgreSQL он летал. Когда в работу запустили, он начал через некоторое время проседать. Админ дня 3 потом оптимизировал сидел искал где нагрузка идет, вроде настроил, но опять же скуль поставил и забыл.
#25 by Маратыч
А это я еще проверю. Оставлю пока это для разрабов, пусть там базы свои гоняют, заодно и посмотрим.
#26 by dmrjan
1С на PostgreSQL работает и очень даже хорошо. На больших справочниках номенклатуры и большом количестве пользователей в этой связке подбор раза в 2 быстрее, чем на MSSQL. Для быстрого восстановления последовательности документов необходимо чаще делать обслуживание базы данных (полный вакум и реиндексацию по ночам). В принципе можно делать средствами 1с реиндексацию. После реиндексации средствами 1С перепроведение документов начинает просто "летать" как на POSTGRESQL, так и на MSSQL. Перевод баз с торговлей на PostgreSQL предпочтительнее, базы бухгалтерии лучше пока оставить на MSSQL (пока не выйдет 1С сервер 8.3). Что PostgreSQL очень любит - так это много памяти, что не любит, так это кривые руки программистов, которые плюют на оптимизацию запросов. При работе в Linux очень удобно использовать утилиту HTOP, с помощью которой можно сравнительно легко отследить прожорливые и неоптимизированные отчеты. Если база 1с начала тупить под PostgreSQL и подвешивать Linux сервер, то не думайте, что она будет работать нормально под Win серверам с MSSQL. Скорее всего будет дикий своп, тормоза и резкое сокращение работы дискового массива.
#28 by HIDDEN MESSAGE
#29 by Живой Ископаемый
2 Винда свопит данные МС СКЛ? точно?
#30 by dmrjan
Винда свопит данные. Когда MSSQL не хватает оперативы.
#31 by Живой Ископаемый
2 это гарантированно? Потому что например Винда также имеет использует упреждающее чтение, помещая  читаемые с диска файлы в системный кэш, но для МС СКЛ этио не актуально, потому что он использует низкоуровневый доступ к ФС, и читает свои файлы мимо системного кэша Винды.  и использует дя кэша свои механизмы. Так вот про то что Винда свопит данные МС СКЛ - это гарантировано? Он использует памяти более физической? Или это догадки?
#32 by Midaw
вы мне вот скажите на каком линуксе ставить этот Postgresql и сервер приложений? пробовал на CentOS 6.3 и Ubuntu. везде каких то пакетов не хватает...
#33 by Coldboy
а важный недочет, что блокировка не на уровне записи как в IBM DB-2, а на целую таблицу идет не учитывается? Просто сталиквался с PostgreSQL , скажем так, работал медленне чем IBM DB-2 бесплатный.
#34 by Живой Ископаемый
2 это только если не использовать управляемые блокировки.
#35 by Маратыч
На любом. Недостающие пакеты просто подтягиваешь. К слову, на 1С даже в сорцах лежит, так что хоть под генту собирай.
#36 by Маратыч
Кстати, замерил гилевскими попугаями на идентичных виртуальных машинах на одной железяке (ВМ запускал по очереди для чистоты эксперимента). 19 попугаев постгре против 13 МС. Конечно, нужно учесть ресурсоемкость самой системы (линь без гуя ставил, с минимумом сервисов, в винде даже без установленных ролей сам интерфейс и фоновые службы МС покушать любят).
#37 by Живой Ископаемый
2 не репрезентативная выборка.
#38 by Живой Ископаемый
то есть
#39 by dmrjan
Я может неправильно выразился. Винда свопит данные при недостатке памяти, но я не сказал что она свопит данные MSSQL. Скорее она свопит данные 1C сервера в виде кучи процессов rphost. балы такая проблема - при вводе новой базы на измененной конфе CentOS 8.4 начал безбожно отключаться - 1с Сервер 8.2.17.253 съедал по 8гб за 2-5мин. 1С программисты выразили предположение, что это Postgre. Перевели базу на MSSQL, практически ничего не поменялось, только сервер перестал зависать. После часа исследований выяснилось, что проблема возникала при работе под ограниченными правами. Поэтому и говорю, что если база под PostgreSQL съедает всю оперативу и вешает сервак, то это не говорит, что она будет работать нормально под MSSQL, а вот отследить ошибку под MSSQL зачастую намного сложнее.
#40 by Coldboy
ну вы хотите сказать, что iBM хуже? IBM рекомендуют использовать управляемые блокировки.
#41 by Живой Ископаемый
2 а откуда предпосылка что сервер 1С на той же машине что и сервер МС СКЛ?
#42 by Маратыч
Какбе для масштабных тестов нет времени и особого желания. В конце концов, реалии показывают, что гибкость и масштабируемость MS SQL перевешивают потенциальную "быстроту" постгре в долгосрочной перспективе, поэтому все эти тесты делаются сугубо из факультативного интереса.
#43 by Живой Ископаемый
2 пофантазируй еще.
#44 by Живой Ископаемый
2 а в чем гибкость и масштабируемость? Постгресс гораздо более масштабируем.
#45 by dmrjan
Я и не говорил, что они на одной машинке.
#46 by Маратыч
В MS SQL помимо самой СУБД входят еще и Analysis Services, Reporting Services, много вкуснейших плюшек в плане сопряжения с другими продуктами. Много там чего, в конечном итоге. Конечно, напрямую к 1С это не относится, но не 1С единой жив человек.
#47 by Coldboy
ну судя из ваших слов, про прочих равных PostgreSQL  будет лучше IBM DB-2 во всем? я думал из за блокировки на уровне записи, лучше PostgreSQL  , это даст перепроведение более быстрым и менее заметным для других пользователей.
#48 by dmrjan
CentOS. Кое-какие файлы все равно необходимо доустанавливать, SELinux отключить.
#49 by Живой Ископаемый
2 Ну так тогда смысл упомининания свопа?
#50 by Midaw
а что именно и где взять нормальный мануал?
#51 by dmrjan
PostgreSQL перепроводит документы достаточно быстро, особенно после выполнения реиндексации. Другое дело, что в течение рабочего дня лучше не эксперементировать такими вещами.
#52 by Живой Ископаемый
2 смысл моих слов в том, что ваше замечание неверное в случае управляемых блокировок.
#53 by dmrjan
Опять не так выразился - 2 физических сервака, на одном Windows 2008, 1С сервер и MSSQL, на другом CentOS, 1с сервер и PostgreSQL
#54 by Fragster
#55 by Ковычки
пользуйтесь внутренней базой данных виндуз - бесплатно и легально
#56 by dmrjan
да полно информации, хотя бы здесь . И еще на сайте 1С дополнительная информация.
#57 by Живой Ископаемый
+ Чисто гипотетически базы 1С на постгрессе могут работать на вот таких машинах:
#58 by Fragster
не ты ли обещал до 9 мая тесты ДБ2?
#59 by Живой Ископаемый
2 А уже какое?
#60 by Coldboy
а где и что за тесты? не понял iBM Db-2 Лукчше работает в автоматических блокировках или управляемых?  просто я читал, что управляемые желательные, щас даже тему найду. что каждый день надо делать реиндексацию БД?
#61 by Маратыч
Ну и еще один "маленький" нюанс: в Windows-инфраструктуре использовать никсы - это тратить ежемесячно атстатыщ на хорошего никс-админа, умеющего еще и в постгре.
#62 by Fragster
ну, типа 8 :)
#64 by Fragster
ложь
#65 by dmrjan
Достаточно один раз настроить. И можно наблюдение повесть на любого адекватного работника.
#66 by Fragster
управляемые вообще лучше. особенно для постгре, но и для дб2 и мсскуля тоже выигрыш есть
#67 by Ковычки
правда
#68 by Midaw
по ссылке работа с исходниками... а что у 1с за инструкция?!
#69 by Живой Ископаемый
2 Что такое лучше? лучше в абсолюте? Так не бывает. потому что любые усложнения, любые костылики несут с собой overhead'ы. Просто на каких-то лобъемах эти оверхеды все равно приносят в сумме преимущества, а в каких-то нет. Вот пулемет - это клевое оружие? Наверное клевое, если бить носорогов, и видимо плохое если перепелов.
#70 by dmrjan
Особенности релиза: 1. Изменен списк поддерживаемых дистрибутивов Linux: RPM    Centos 5.7, RedHat 5, Fedora 8, ASP Linux 12    Centos 6, RedHat 6, Fedora 8, 9-16  (необходима установка openssl098e) Установка openssl098e: yum install openssl098e ИЛИ openssl098e-0.9.8e-17.el6.centos.i686.rpm ( openssl098e-0.9.8e-17.el6.centos.x86_64.rpm ( DEB    Ubuntu 10.04, 10.10, 11.04, 11.10 2. Включен по умолчанию сбор статистики по временным таблицам( модуль online_analyse(ссылка на README.online_analyze)) 3. Включена по умолчанию коррекция оценки оптимизатором количества строк в пустой таблице ( модуль plantuner(ссылка README.plantuner))
#71 by HIDDEN MESSAGE
#72 by Маратыч
Правда. "Достаточно один раз настроить" - это разве что к роутерам относится. В раз и навсегда предопределенной схеме сети. А мы говорим про продакшн-сервер, который и на аутсорс не отдашь из-за крайне жесткого SLA, и дятлу-эникею не доверишь.
#73 by Живой Ископаемый
2 А виндовс доверишь, или платить ему будешь в два раза меньше?
#74 by Ковычки
что ?
#75 by ice777
поверь мне, в роутерах тоже периодически надо что-то делать ;) например acl-листы
#76 by dmrjan
Там не работа с исходниками.
#77 by ice777
да и вообще можно готовую сборку взять с эзерсофта и не париться.
#78 by Живой Ископаемый
до 12-го оттягиваю тогда
#79 by Ковычки
а чо это ?
#80 by dmrjan
Эникейщики тоже разные бывают. Некоторым даже картриджи бы не доверил увозить на заправку.
#81 by dmrjan
Этерсофт у нас не пошел.
#82 by ansh15
Если соберут сервер приложений хотя бы для Linux on Power, то будет. Правда, уже который год ожидается выход беты CentOS для Power.
#83 by Маратыч
За быкапами следить - доверю. А вот в нюансах, которые могут возникать (к примеру, отчет отказался формироваться из-за слишком малого shmem) эникей уже вряд ли разберется.
#84 by ice777
хватит кормить жирных котов Майкрософта! Даешь толстого клиента 1с под линукс! я таким у себя говорю самим заправить. В грязной комнате.)
#85 by Живой Ископаемый
2 почему агент сервера 1С и сервер ИБ должны быть на одной машине?
#86 by Маратыч
А что мне верить-то? Я этим пятнадцатый год занимаюсь :) Поэтому и оговорку добавил насчет "раз и навсегда предопределенной сети".
#87 by Ковычки
Filesystem     Size    Used   Avail Capacity  Mounted on /dev/da0s1a    495M    445M     10M    98%    / devfs          1.0k    1.0k      0B   100%    /dev /dev/da0s1e    495M    176M    279M    39%    /tmp /dev/da0s1f     28G     18G    7.4G    71%    /usr /dev/da0s1d    1.9G    1.8G    -36M   102%    /var /dev/da1s1d    132G    120G    1.4G    99%    /mnt/volume
#88 by Живой Ископаемый
2 Есть версии Постгреса для AIX
#89 by Ковычки
+ чо посоветуете ?
#90 by Coldboy
лучше в плане производительности и основных действий: 1) Массовое перепроведение 2) Построение отчетов 3) Хранение данных большого количества данных. 4) не каждый день индексировать. 5) Отказустойчивость в IBM Db-2 плохо работае с трэшом и каталог. 6) Закрытие месяца 20 счета, IBM DB-2 че то не в типовых конфа при больших данных жрет память жеского диска очень много и не закрывает...
#91 by Живой Ископаемый
2 что за хрень? почему мне?
#92 by Coldboy
вы как то связаны с IBM db-2 я знаю точно ))
#93 by Живой Ископаемый
2 серьёзно? и в таком случае хрень из сразу становится ясна?
#94 by Coldboy
ну я отметил основные вещи, что считаю важным, для работы 1С и где оно быстрее работает)
#95 by Coldboy
это я на ваш ответ про пулемент, по ком стрелять надо.
#96 by ice777
быстрее работает там, где меньше документов.
#97 by ansh15
Не должен, конечно. Просто использовать Power только для СУБД как то неинтересно, что ли. Там  и повышенная частота и кэш на процессоре в несколько раз больше, чем на х86 и масштабирование до 32-х процессоров... Очень хорошо, значит, с большой долей вероятности, и PostgreSQL от 1С тоже соберется без особых проблем.
#98 by Midaw
ссори конечно за отзыв, но дельной инфы в этом списке ноль
#99 by Живой Ископаемый
2 А я сказал что управляемые блокировки это не панацея. Например берем монопольный доступ. Проводим документы. Все проводится за 1 минуту. Потом переписываем проведение с управляемыми блокировками, проводится за 70 секунд. Но, если брать не монопольный, а конкуретный доступ, то при 10 пользователях, которые пытаются проводить например каждый свой документ прихода, проведет только один. А остальные девять только по очереди после первого. И в итоге это у них займет ну например 10 минут. А при управляемых бблокировках эти же 10 пользователей проведут свои документы каждый за 70 секунд, и все вмсете тоже за 70 секунд, при чем ни один не будет подозревать что кто-то еще что-то проводит. Теперь понятно?
#100 by Живой Ископаемый
вот что я имел в виду про пулемет, носорогов и перепелов.
Тэги: Админ
Ответить:
Комментарии доступны только авторизированным пользователям

В этой группе 1С