git / code.ach.gov.ru / gavrin / epbs_loader

commit a5efbd353b43bffd146c9d51aa24f95270058589

author Дмитрий Сергеевич Гаврин <gavrin_ds@ach.gov.ru>

date 2020-02-10 13:38:53 +0000

parents 0d7a8cc0

browse tree at this commit

message

Add new file

files

fileadddel
README.md+14-0

patch

diff --git a/README.md b/README.md
new file mode 100644
index 0000000000000000000000000000000000000000..9d4bc3199d8fe6b362291972f48fcd92e9181c9d
--- /dev/null
+++ b/README.md
@@ -0,0 +1,14 @@
+### Для работы вам понадобится: 
+
+  * python версии 3.7 или выше
+  * установить пакеты, упомянутые в файле requirements.txt (`pip install -r requirements.txt`)
+  * запустить скрипт для загрузки данных с портала ЕПБС (если у вас нет набора данных): `python epbs_data_loader.py > data.json`
+  * создать в базе данных таблицу data (`CREATE TABLE data (id int, body jsonb)`)
+  * запустить скрипт загрузки в базу данных (`python js_pg_loader.py -f data_filename.json`)
+  * запросами разобрать данные из таблицы data
+  
+### Примечания:
+
+  - оба скрипта (загрузки из ЕПБС и загрузки результатов в БД) работают как утилиты командной строки, т.е. можно вызвать `python script.py --help` и получить справку о том как работает скрипт и какие у него есть параметры
+  - скрипт загрузки выводит получаемый набор json построчно. Т.е. одна строка - одна запись. Соответственно скрипт загрузки в БД ожидает такие данные на входе, в кодировке UTF8.
+  - для удобства загрузчик в базу данных сделан так, что он разбирает каждую запись на входе из формата json и может получать из записи любые данные по ключу. Колонка `id` в таблице `data` должна быть совместимого типа. Если это строка - нужно создать таблицу с id типа text
\ No newline at end of file