Кто-нибудь работает с google BigQuery? Нужен пример загрузки данных в таблицу #778762

Кто-нибудь использует загрузку в BigQuery из 1С? У меня получилось: 1. авторизоваться 2. попользовать любые методы получения данных - список таблиц, датасетов и т.д. 3. теоретически могу добавить данные в таблицу по одной строке но никак не пойму как загрузить несколько строк сразу, одним запросом. Не понимаю какая должна быть структура в теле запроса. (CSV / JSON - не важно, их я сформирую, что ещё нужно передавать помимо самих данных и в каком формате?) Мож кто поделится примерчиком?

Щас узнаю, что это такое и напишу. Подожди.

вот это что ли? Loading CSV files?

да ему, видимо, на 1С нужен пример

Да, и даже вот так: Но там есть пара непонятных моментов: 1. 'fields': json.load(open(schema_path, 'r')) Что они передают в качестве schema_path и что получается в результате выполнения функции load - непонятно 2. они используют метод MediaFileUpload(             data_path,             mimetype='application/octet-stream')) Который явно недоступен в 1Ске, возможно надо данные передать текстом прям в теле запроса, но не понимаю в каком формате это я всё умею, там загрузка в таблицу по одной строке + используются доп. библиотеки для .net, которые вряд-ли удастся использовать с 1С

+а грузить по одной строке - это значит на каждую строку отдельный HTTP запрос, таблица в какие-то жалкие сотню тысяч строк положит сетку :) Ну или будет грузится вечно...

Почему?

а там же чего то про commandline написано еще. может не париться и пользоваться ей?

Там заполнются строки на стороне клиента, а на сервер отправляются скопом

там надо всякие google SDK ставить, и это работа через костыли. Хотелось бы напрямую через HTTP (CSV или JSON - не важно), без использования внешних компонент. я так не умею :)

При этом библиотека используе NetStandart3 и можешь использовать хоть на линуксе

Все когда то бывает впервые. Ну если не получится через HTTP  имей ввиду.

ну можно через node.js еще попробовать.

Да должно получится через HTTP, нужно только определиться со структурой данных. Там по сути 2 место где могут быть параметры - заголовки и тело запроса. С заголовками более-менее понятно, не понятно что в тело передавать. Просто таблицу недостаточно, т.к. в параметрах запроса нет указания в какую таблицу и датасет мы закачиваем данные, соответсвенно надо как-то эти параметры передать в теле запроса...

+ если это у вас не считается внешней компонентой сниффером можно посмотреть чего передается.

что бы смотреть сниффером нужен рабочий пример и рабочий сниффер :)

рабочий пример node.js рабочий сниффер в интернете

Бери примеры и смотри фиддлером

Ребята, спасибо за помощь, но вы отвечаете на свой вопрос и предлагаете использовать костыли вместо нормального решения. Если всё-таки кто-то пользуется BigQuery - покажите, что вы передаёте в теле запроса.

какие нафиг костыли? тебе предлагают посмотреть сниффером. "Если всё-таки кто-то пользуется BigQuery" да никто им не пользуется. сто лет он кому нужен.

Кажется был прав, таким образом: можно передать сразу несколько строк... Похоже это то что нужно, сейчас буду пробовать без снифферов и куртизанок :)

Хм... Странная фигня, запрос выполняется, ошибок нет, а данные в таблице не появляются

На всякий случай, для потомков, тело сообщения должно быть примерно таким: {"rows":     [{"json":{         "field1":"aaa",         "field2":"bbb"}         },         "field2":"eee"}         }     ] } где field1 и field2 - это имена (айдишники) полей в созданной таблице, ну а проект, датасет и имя таблицы мы передаём в URLе. PS Данные появляются в таблице сразу после выгрузки, но Preview их не показывает (показывает через несколько часов). Что бы посмотреть все данные нужно делать запрос...