Какие варианты есть при использовании D365FO?

[raz]

Нужна помощь.

Исходные данные: апгрейд dax2009->dax2012->d365fo, в dax2009 используются OLAP кубы и excel, который пользователи обожают.

Как лучше построить BI, чтобы и удобно, и не дорого? И какие вообще варианты есть, если не смотреть на деньги?

[twilight]

https://docs.microsoft.com/en-us/dyn...es%20of%20data.

[twilight]

Если используются еще и другие системы, то
https://docs.microsoft.com/en-us/dyn...r-own-database

[sukhanchik]

BYOD (https://docs.microsoft.com/en-us/dyn...es%20of%20data) и Entity Store (https://docs.microsoft.com/en-us/dyn...r-own-database)
суть есть одно и тоже практически.
В случае с Entity Store создается база данных AXDW, которая заполняется периодической операцией "Развертывание измерения" из D365FO. Т.е. технически создаются таблицы под все Entity (структура таблиц полностью совпадает со структурой Entity).
В случае с BYOD происходит все тоже самое с той лишь разницей, что можно публиковать (=создавать таблицы) не все Enitty, а выборочно

Ну и еще одно отличие - о котором говорится в этих ссылках - это то, что AXDW планируется быть заточенной под Power BI, т.о. потенциально там структура таблиц будет делаться под Power BI-отчеты, выпускаемые Microsoft, а BYOD - это своя собственная БД, в которой может быть то, чего сам себе пожелаешь.

[George Nordic]

Модная фишка - Azure Synapse Analytics. Можно в нее данный подгружать, в т.ч. и онлайн, и там делать аналитику. Как раз сейчас репликацию делаем с DAX в Azure Synapse Analytics. Кстати, АТК занимается.

С Уважением,
Георгий

[raz]

Цитата:

Сообщение от George Nordic

Модная фишка - Azure Synapse Analytics. Можно в нее данный подгружать, в т.ч. и онлайн, и там делать аналитику. Как раз сейчас репликацию делаем с DAX в Azure Synapse Analytics. Кстати, АТК занимается.

Привет, Георгий.
Какая весия DAX?

[George Nordic]

Тоже модная . Типа, последняя, 365, облачная.

С Уважением,
Георгий

[raz]

Цитата:

Сообщение от George Nordic

Тоже модная . Типа, последняя, 365, облачная.

А можешь дать больше информации об архитектуре. Что, откуда, куда, и как будет?

[George Nordic]

Эд, привет!

Пока на уровне пилотного проекта, архитектура еще утрясается. Дело в том, что у нас сейчас с Microsoft совместный проект - с помощью наших продуктов по онлайн-репликации данных мы помогаем онлайн гонять данные в облака, в т.ч. в Azure Synaps и DataLake.

С Уважением,
Георгий

[fed]

Цитата:

Сообщение от George Nordic

Эд, привет!
Пока на уровне пилотного проекта, архитектура еще утрясается. Дело в том, что у нас сейчас с Microsoft совместный проект - с помощью наших продуктов по онлайн-репликации данных мы помогаем онлайн гонять данные в облака, в т.ч. в Azure Synaps и DataLake.
С Уважением,
Георгий

А я правильно понимаю, что Azure Synaps, это такой кастрированный (но дешевый) SQL Server, в котором все кроме in-memory tables и column store indexes (ну и вообще BI-фич, которые начиная с SQL2014 появились) вырезано и в комплект также вложен SSIS, который из внешних источников данных может закачивать таблички в инвалида пролапса, ах да - Синапса ?

[imir]

Если говорить про облачную, то надо заметить, что BYOD подразумевает недешевейшую подписку на azure sql db. Я пробовал включать галку - гасить БД, если к ней нет запросов 30 мин, но она все равно сожрала кредит в 200$ как пылесос. Если у кого-то есть положительный опыт по стоимости - буду признателен.

Для локальной dax, конечно, можно развернуть BYOD базу локально и самим решать где она будет.

Entity Store - это внутренняя БД для встроенных power bi отчетов, которая недоступна для чтения, а соотв. и для сторонних BI систем, так что отпадает. В случае с облачным вариантом, опять таки.

МС все обещает, и все этого ждут - экспорта в azure data lake (читай azure BLOB)

https://docs.microsoft.com/en-us/dyn...mers-data-lake

Но видимо масштаб работ оказался немалым, так что пока ждем. В сочетании с Azure Synapse с оплатой по мере потребления должно получиться дешево, узнаем к релизу.

А потом еще и просто Tables in a customer's Data Lake Storage Gen2 data lake должны подвезти

https://docs.microsoft.com/en-us/dyn...gen2-data-lake

В любом случае для ажура надо еще посчитать azure analysis services, если хотите поверх этого именно кубы.
И/или лицензии power bi pro(вроде), для пользователей, если будете смотреть через power BI.

[sukhanchik]

Цитата:

Сообщение от imir

Если говорить про облачную, то надо заметить, что BYOD подразумевает недешевейшую подписку на azure sql db. Я пробовал включать галку - гасить БД, если к ней нет запросов 30 мин, но она все равно сожрала кредит в 200$ как пылесос. Если у кого-то есть положительный опыт по стоимости - буду признателен.

Вот тут написано про DTU:
https://docs.microsoft.com/ru-ru/azu...vice-tiers-dtu
Ценник - 93.75 руб за 1 DTU (только их надо считать квантами - 10,20,50,100,200, 400, 800, 1600, 3000) в варианте Standard и 232.50 в варианте Premium (но тут кванты 125, 250, 500, 1000, 1750 и 4000).
Т.е. в учебно-исследовательских целях можно поставить себе минимальный вариант за 937 руб / мес.

Цитата:

Сообщение от imir

Для локальной dax, конечно, можно развернуть BYOD базу локально и самим решать где она будет.

Это верно.

Цитата:

Сообщение от imir

Entity Store - это внутренняя БД для встроенных power bi отчетов, которая недоступна для чтения, а соотв. и для сторонних BI систем, так что отпадает. В случае с облачным вариантом, опять таки.

Как это она недоступна? Она очень даже доступна. AXDW называется. Точно также хостится в Azure, как и BYOD. Правда даже для научно-исследовательских целей я бы выбрал вариант 20 DTU, т.е. 937.5 х 2 руб / мес, ибо самый дешевый.
Сразу оговорюсь - я не пробовал делать свои отчеты в Power BI и к ней подключаться, но если исходить из того, что у Power BI не какое-то особое свое подключение, а такое же, как и у прочих систем, то в общем-то наверное можно подключиться из других систем к базе AXDW по аналогии, как это делает Power BI.
Ну а для сред, развернутых в облаке / локальных OneBox вообще не проблема вынести AXDW в Azure и работать с ней в Azure

Цитата:

Сообщение от imir

И/или лицензии power bi pro(вроде), для пользователей, если будете смотреть через power BI.

Там заявляют ценник 625 руб на пользователя в месяц, но при попытке купить появляются "налоги", в итоге сумма вырастает до 750 руб на пользователя в месяц. В общем - то даже для научно-исследовательских целей вполне приемлемо

[trud]

Цитата:

Сообщение от sukhanchik

Как это она недоступна? Она очень даже доступна. AXDW называется. Точно также хостится в Azure, как и BYOD.

Хм, AXDW по идее недоступна для подключения для рабочего окружения. Вот тут Paul написал неплохую статью.
https://msdyn365fo.wordpress.com/202...-axdw-vs-byod/

Цитата:

Сообщение от twilight

А зачем для Аксапты выгрузка в data lake? В ней же данные уже структурированы и выгружать их в неструктурированное хранилище как-то странно.

Я вот тоже задавался таким вопросом, текущий ответ - SQL Azure стоит дорого, кроме того, дисковые операции в Azure очень медленные, в data lake должны быть быстрее

А вот такой вариант никто не рассматривал - каждый день(а можно и несколько раз в день) просить Microsoft бекап текущей рабочей базы, и скриптом скачивать и востанавливать ее на локальный сервер? Или у них есть лимит на такие вещи

[twilight]

А зачем для Аксапты выгрузка в data lake? В ней же данные уже структурированы и выгружать их в неструктурированное хранилище как-то странно.

[sukhanchik]

Интересно... в статье действительно написано про Power BI Embedded. В этом случае я согласен - на базу AXDW можно доступ не открывать.
Меня просто сбила с толку реклама Power BI Pro. Неужели Power BI Pro недоступна для рабочей облачной среды? А если доступна, то как тогда подключается?
В общем - снимаю свою уверенность и прошу прощения, за то, что ввел в заблуждение. У меня к сожалению сейчас нет возможности проверить доступность базы AXDW применительно к рабочей облачной среде.

Но в целом - вопрос очень сильно интересный...

[trud]

Цитата:

Сообщение от sukhanchik

Неужели Power BI Pro недоступна для рабочей облачной среды?

Да, поэтому все так и ждут Data lake. В этой истории меня только радует работа маркетологов Microsoft, которые пишут вот такие статьи. https://docs.microsoft.com/en-us/dyn...merce/toc.json
Т.е. если вы почитаете статью, то все как бы есть. Но по факту Power BI embedded имеет вообще довольно мало практического применения, все же PowerBI это больше про различные срезы, которые может менять пользователь, а не статичные отчеты

[t540]

Позволю себе уточнить некоторые моменты:
Относительно Power BI embedded – это классический ROLAP.
Сервис не содержит данных, только мета-данные над базой данных AxDW.
AxDW содержит группы таблиц, соответствующие наборам Data Entity из Entity Store, которая обновляет данные в AxDW по расписанию.
В системе есть ряд стандартных pbix файлов (доступны на LCS), а также есть возможность создавать свои файлы в Power BI desktop и публиковать их в аксапте (программирование).
Файлы содержат модель данных (мета-данные) и визуализации (отчеты).
После публикации в аксапте отчеты становятся доступны в Analytical workspaces (Power BI embedded).
Пользователи, имеющие роль System report editor, могут в интерфейсе аксапты изменять отчеты и строить новые на основе опубликованной модели данных. Единственное ограничение – новые отчеты будут доступны всем пользователям.

Относительно Power BI Pro – это классичесий MOLAP (с ограничением на размер in-memory БД).
Для построения отчетов по данным облачной аксапты возможны варианты:
- подключение к боевой системе (Data Entity) через ODATA (Power BI desktop – GetData – ODATA feed - <tenant address>/data – connect with Organizational account). Минусы – медленно, возможны проблемы с производительностью системы
- отгрузка данных по внешний Azure SQL сервер (тут возможен и вариант с Azure Power BI embedded)
- отгрузка данных из EntityStore в Azure Data Lake – вариант интересный, т.к. стоит недорого, скорость чтения данных высокая, обработка запросов происходит в in-memory database Power BI service.
После загрузки данных созадаем модель данных в Power BI desktop, отчеты и публикуем в Power BI service.