Руководство пользователя

Руководство пользователя

Импорт данных

Epsilon позволяет создавать геопространственные таблицы путем импорта локальных файлов (с вашего компьютера) или через URL. При импорте данных в вашем хранилище данных будет создана новая геопространственная таблица. В настоящее время импорт данных доступен для следующих хранилищ данных:

  • Хранилище данных Epsilon
  • PostgreSQL

После импорта файла полученную таблицу можно просмотреть в “Данные” и использовать в Workflow и внешних приложениях.

Как импортировать данные

Чтобы импортировать данные, перейдите в раздел «Обозреватель данных» и нажмите кнопку «Импорт данных» в правом верхнем углу (или значок импорта данных, если у вас выбрано подключение или папка):

id-1

Выбор ваших данных

Откроется новый диалог, позволяющий импортировать данные в доступные соединения. Здесь вы можете выбрать загрузку локального файла (с вашего компьютера) или с URL-адреса. Узнайте больше о том, как работает каждый метод импорта. После выбора файла просто нажмите «Продолжить».

Выбор пункта назначения

Следующий экран позволит вам задать местоположение и имя выходной таблицы. После завершения этой конфигурации нажмите Save here.

Схема

Вы можете решить, как управлять схемой (типами данных для каждого столбца) новой таблицы. Вы можете позволить Epsilon автоматически определить схему или можете отключить ее, чтобы вручную определить пользовательскую схему.

В этом случае мы позволяем Epsilon взять на себя управление схемой, проанализировав образец таблицы.

Подтверждение и статус

Наконец, проверьте сведения о файле, который вы собираетесь импортировать, и когда будете готовы, нажмите «Импорт».

Откроется новое диалоговое окно, информирующее вас о том, что обработка импорта может занять некоторое время, и предоставляющее вам возможность отслеживать статус в новом диалоговом окне, которое появляется в правом верхнем углу экрана.

Возможны три статуса: импорт, успешный импорт или ошибка создания набора данных.

id-6-1

id-7

id-8

При возникновении ошибки вы можете нажать Просмотр информации об ошибке, чтобы получить дополнительную информацию об ошибке, или навести указатель мыши на имя набора данных или на значок информации. Вы также можете нажать «Очистить», чтобы очистить список после завершения импорта.

id-9

После импорта данных они будут доступны в виде таблицы в выбранном вами подключении. Не стесняйтесь использовать Данные для проверки предварительного просмотра или создать Workflow.

Перезапись файлов

Вы также можете перезаписать существующие файлы. При импорте файла с существующим именем появится сообщение, предупреждающее о том, что таблица уже существует в папке назначения. Нажмите «Сохранить здесь» , чтобы продолжить и перезаписать ее, или нажмите «Отмена», если вы не хотите, чтобы изменения применялись.

Методы импорта

Как было показано ранее, импортировать данные можно двумя способами: локально или удаленно.

  • Локально

Этот метод позволяет вам загружать данные с вашего компьютера. Чтобы импортировать локальный файл, выберите значок слева:

id-12

  • Удаленный

Этот метод позволяет ввести поддерживаемый файл URL. Чтобы импортировать удаленный URL, выберите значок справа.

id-13

Поддерживаемые форматы

В настоящее время поддерживается импорт CSV, GeoJSON, GeoPackage, KML, KMZ, TAB, Shapefiles (в zip-архиве) и GeoParquet с не менее чем двумя столбцами. Ограничение по размеру для одного процесса импорта составляет 1 ГБ.

Для файлов CSV Epsilon попытается автоматически определить столбец геометрии или создать геометрию из столбцов широты/долготы. Поддерживаемые имена столбцов:

Для геометрии: geom,Geom,geometry,the_geom,wkt,wkb

Для широты: latitude,lat,Latitude

Для долготы: longitude,lon,Lon,Longitude,lng,Lng

Ожидаемые разделители: запятая (,), точка с запятой (;) или табуляция.

Ограничения пользовательской схемы

Как видно из руководства выше, вы можете выбрать между тем, чтобы Epsilon автоматически задавал тип данных для каждого столбца (схему) или определять его вручную. При определении пользовательской схемы, вот самые важные вещи, которые следует учитывать:

  • Доступные для каждого столбца параметры — это собственные типы данных, доступные для целевого хранилища данных (например, Google BigQuery, Snowflake… ).

  • Объектно-подобные типы данных, такие как RECORD, ARRAY, OBJECT или, STRUCT не поддерживаются.

  • При использовании пользовательской схемы допустимая погрешность будет равна 0.

Чтобы определить пользовательскую схему, просто убедитесь, что отключен переключатель «Позволить Epsilon автоматически определять схему».

Допустимость ошибок

По умолчанию Epsilon будет работать с хранилищем данных назначения, чтобы попытаться избежать сбоя всего процесса импорта, если только небольшое подмножество строк дает сбой. Это означает, что для файла с 10 000 строк, если одна строка дает сбой, Epsilon успешно создаст таблицу с оставшимися 9 999 строками.

Это допустимая погрешность по умолчанию для каждого целевого хранилища данных:

  • PostgreSQL: 0 строк (импорт завершится ошибкой, если строка выдаст ошибку)

Удаление данных

В разделе Данные рабочей области вы можете просмотреть список текущих хранилищ данных. Вы можете получить доступ к меню быстрых действий для управления данными, нажав на значок «три точки» в правом верхнем углу.

id-15

Если нажать на быстрое действие Удалить, появится диалоговое окно, позволяющее подтвердить удаление выбранной таблицы или набора плиток. Оно содержит информацию об источниках данных, слоях, приложениях и вызовах API, связанных с существующим набором данных, которые потенциально могут быть затронуты действием. Нажмите кнопку Да, удалить, чтобы подтвердить изменения, или нажмите Отмена, если вы не хотите, чтобы изменения применялись.