Bobeg писал(а): ↑Вт июл 25, 2023 8:56 am
а што вообще делает дата инженер? это я для своего собственного развития интересуюсь.
Data engineer это они так тут называют, как Cleaning Lady = уборщица
Что я делала -
Писала приложения для сбора и анализа данных, сначала в MsAcces + sql, а потом в PowerApps
Писала код для автоматизации данных - для потоков - чтобы шли из новой базы -> в нашу модель данных. И потом использовала спец тул - SSIS чтобы закончить автоматизацию
Писала кoд в T-sql, + dax в ssas , + потом графику рисовала в powerBi для создания автоматизированных расчётов- каких именно - внутренние клиенты давали задачи
Например -
Рассчитать количество активных, всех клиентов , а также п% соотношения - разделив их по группам - тех которые оставались на программе лечения 0-90 дней, 91-180, 181-270, 270+
Нужно было использовать алгоритм- как создать эти самые группы - тк их не было в базе в таблице.
Я использовала простой метод - создала колонку виртуальную и поставила метки (с помощью dax)
Проблема такого метода - что вирт колонка занимает больше место в модели и тормозит её-
Мы пытались потом сделать расчёт- measure - я не нашла как - наш архитектор пытался - не знаю - смог или нет
- другой пример автоматически отчётов-
Создать coefficient correlation plot для определения кол-ва клиентов имеющих психические заболевания против клиентов с зависимостямм
Где будут клиенты с и тем и этим типом болезней
Я создала cross matrix , а на моей основе использовав математич формулу саентисты получили coef corellation
- ну и много других примеров - лень сейчас рыться, что я взяла в начале
- создавала аппликухи для сбора данных с новой базы - vba+excel
А позже power Apps использовала
- иногда (редко) чистка данных с помощью простых sql скриптов
- ну и можно ещё сказать - менеджерила сбор данных - болтала с пользователями и собирала инфу - где откуда и как данные к ним приходят. Это надо было делать (мне иногда) перед автоматизацией
Пс -
А у вас какая профессия
Софтваре инженер?
