Как создать легко воспроизводимый DS проект

Дата публікації:
08/11/2021 12:11

Постійна адреса новини:
http://www.vsinovyny.com/8406747

Как создать легко воспроизводимый DS проект

08/11/2021 12:11 // Хабрахабр:

Аналитику или исследователю данных приходится разрабатывать множество алгоритмов по обработке и анализу различных данных. Большинство алгоритмов разрабатываются для многоразового использования, а значит, код либо запускается разработчиком с определенной периодичностью, либо код передается другим пользователям для обработки своих данных. При этом алгоритмы имеют множество параметров и зависимостей, которые необходимо индивидуально настраивать под определенные данные.

Для того чтобы сделать процесс развертывания, использования и доработки алгоритма интуитивно понятным воспользуемся инструментом Kedro. Основная концепция kedro заключается в модульной структуре, где весь цикл работы с данными формируется из отдельных блоков в единый рабочий процесс. Проект на kedro имеет следующую структуру:

» Читати повністю

«	Наступна новина з архіву Готовимся к облачной миграции на NSX-T: чек-лист и лайфхаки	Попередня новина з архіву WORLD USABILITY DAY 2021 — уже на этой неделе: успей на онлайн-конференции с топовыми спикерами	»