Suivre l’utilisation d’une capacité Fabric/Premium

Par Frédérick Samson, 13 juin 2024

Vous démarrez un projet pilote avec Microsoft Fabric? Votre organisation a déjà déployé Power BI Premium? Vous êtes plutôt à l’étape d’identifier la capacité (SKU) Fabric qui répondra à vos besoins? Quelle que soit votre situation, il est crucial de surveiller l’utilisation d’une capacité Fabric/Premium. En lisant cet article, vous saurez pourquoi il est essentiel de réaliser cette activité, comprendrez les notions de base, saurez par quoi commencer, et obtiendrez des liens pour aller plus loin.

Pourquoi suivre l’utilisation?

Il y a plusieurs raisons pertinentes de suivre l’utilisation d’une capacité Fabric/Premium. Je vais d’abord vous montrer la réponse générée par Copilot, car elle n’est pas mauvaise :

Je ne suis pas une IA générative, mais à mon humble avis, les raisons principales sont :

  • Offrir une manière d’évaluer quel SKU acquérir pour réaliser un projet en réalisant une preuve de concept sur un volume de données similaire à la cible et en étudiant l’impact sur la capacité.
    • Il est donc possible de débuter avec un F2 et voir si c’est suffisant.
    • Cet article (anglais) peut vous donner un aperçu d’une manière de vous y prendre.

  • Prévoir le moment où il faudra acquérir une capacité supplémentaire (ex. un autre F2) ou augmenter la capacité actuelle.
    • Être proactif vs réactif, sachant qu’il peut y avoir un délai pour le financement et l’acquisition.

  • Détecter une utilisation inappropriée d’une fonctionnalité qui ralentit toute la capacité.
    • Impact pour tous les utilisateurs.
    • Peut faussement faire croire qu’une capacité supérieure ou supplémentaire est requise.
    • Peut être causé par un outil externe (ex. Analyze in Excel) ou des fonctionnalités des modèles composites sur un modèle sémantique.

  • Identifier les projets (et artefacts) qui consomment le plus de ressources afin d’effectuer un audit.
    • Trop d’actualisations planifiées ou sur demande?
      • Comprendre pourquoi ils le font, suggérer d’actualiser après l’ETL.
    • Temps d’actualisation trop long?
      • Vérifier si l’actualisation incrémentielle, ou une optimisation du Power Query pourrait aider.

Notions de base

Unité de capacité (UC) ou Capacity Unit (CU) en anglais

Lorsqu’on acquiert une capacité Fabric (ou Premium), celle-ci vient avec un nombre d’unités de capacité.

Toute activité Fabric (incluant Power BI et Copilot) consomme des unités de capacité. Chaque engin convertit son utilisation interne en unités de capacités et c’est bien expliqué ici.

Type d’activité: Interactif vs arrière-plan

Il y a deux types d’activités qui consomment des unités de capacités : interactif ou arrière-plan. Par exemple, Data Factory génère toujours des activités de type arrière-plan. Dans Power BI, afficher un rapport est une activité interactive, tandis que l’actualisation d’un modèle sémantique est une activité en arrière-plan. La même page liste le type par activité par engin (extrait) :

Bursting et lissage

Il ne semble pas y avoir de terme français utilisé par Microsoft pour le bursting. Il s’agit d’une capacité intrinsèque à la plateforme d’utiliser plus de CU que la capacité ne le permet… pendant un certain temps. C’est comme si on empruntait des ressources sur le reste de la journée et qu’on devra les rembourser durant la période de 24 heures à défaut de quoi il y aura des limitations (throtting).

Par exemple, plutôt qu’une charge de travail consomme 64 UC pour se compléter en 60 secondes, 256 UC pourraient être utilisés par Fabric pour compléter le tout en 15 secondes. Puis en période calme, on « rembourse » notre emprunt.

Le lissage réduit la probabilité de limitation (bien que la limitation puisse toujours se produire). Il change la façon dont la comptabilisation des unités de capacités est réalisée sans lien avec l’exécution réelle des travaux. Le lissage ne change pas les performances, il répartit simplement la comptabilité du calcul consommé sur une période plus longue, de sorte qu’un SKU plus grand n’est pas nécessaire pour gérer les pointes d’actualisation.

Cette série d’images tirées d’une animation de Microsoft peut vous aider à visualiser le concept.

Limitations (Throttling)

Lorsqu’il y a une utilisation plus grande que ce que la capacité ne le permet pendant une trop grande période, trois types de limitations peuvent être constatées :

  • Délais interactifs : les travaux en cours continuent, mais toute nouvelle demande est retardée avant son départ (ex. on attend 20 secondes avant que le rapport Power BI commence à s’afficher).
  • Rejets interactifs : la demande est refusée et un message d’erreur est affiché.
  • Rejets en arrière-plan : la demande est refusée, il faudra réessayer plus tard.

Cette page documente les détails, et voici un résumé :

Comment suivre l’utilisation?

Feuille de route

Voici les grandes étapes à prévoir :

  1. Identifiez les personnes responsables de surveiller l’utilisation de la capacité.
  2. Installez et configurez l’application Power BI « Microsoft Fabric Capacity Metrics » à partir de App Source. Voir la section « Pour aller plus loin » de ce blogue.
  3. Accordez l’accès à cette application aux personnes responsables de cette activité.
  4. Prévoyez de la formation pour ces personnes afin d’être en mesure d’interpréter correctement l’information qui est affichée par les différents rapports.
  5. Identifiez des experts qui peuvent auditer les ressources Fabric qui consomment le plus d’unités de capacités.
    1. Il y aura assurément plusieurs experts selon le type d’engin (ex. Data Factory vs Warehouse vs Power BI).
  6. En cas de doute sur une consommation excessive, contactez un expert. Par exemple, un spécialiste Power BI pourrait aller auditer la conception d’un modèle sémantique qui consomme anormalement des ressources :
    1. Avec Tabular Editor 2.x, cet expert pourrait aller inspecter le code M du Power Query afin d’identifier des possibilités d’optimisation.
    1. L’outil DAX Studio permet via le module Vertipaq Analyzer, d’identifier les tables et colonnes qui prennent le plus d’espace dans le modèle.
    1. La possibilité d’utiliser l’actualisation incrémentielle pourrait être évaluée en fonction de la volumétrie de la source.
  7. Contactez le propriétaire de l’actif afin de l’aider à rectifier la situation.
  8. Envisagez l’augmentation de la capacité si tout est légitime, vous êtes probablement victime du succès de l’adoption de Microsoft Fabric dans votre organisation!

Aperçu

L’application de suivi de l’utilisation peut sembler simple à priori, mais il faut prendre le temps de bien comprendre ce qu’elle affiche et quelles interactions sont possibles.

Son utilisation fera peut-être l’objet d’un prochain blogue. Manifestez votre intérêt en laissant un commentaire sur ce blogue. En attendant, je vous mets des références dans la section « pour aller plus loin ».

Mot de la fin

Un peu comme les administrateurs TI devaient suivre l’utilisation des serveurs de votre organisation, il faut aussi le faire avec Microsoft Fabric, même s’il s’agit d’une offre SaaS d’analytique tout-en-un. Autrement vous risquez de vivre des problèmes de performance, d’avoir de la difficulté à les expliquer et dépenserez peut-être inutilement en achetant des capacités supplémentaires.

Vous en savez maintenant plus sur ce sujet important. Analyser des problèmes de performance nécessite souvent une expertise assez pointue alors ne dépensez pas trop d’énergie et faites appel à des experts afin de pouvoir vous concentrer sur les opérations de votre organisation.

SYNTELL a une expertise reconnue avec les projets analytiques et la plateforme Power BI. Contactez-nous si vous avez besoin d’accompagnement avec votre projet.

Pour aller plus loin

Retourner sur la page blogue