Principe de fonctionnement des extractions de données

Mise en place de vue

En première approche, la mise en place de vue est la plus simple.

Cela permet de mettre au point la liste des données à manipuler simplement. D’affiner les requêtes et cas particulier jusqu’à obtenir le bon résultat.

La vue pouvant être indexé, les performances peuvent être au rendez–vous un bon moment.

Essayer de fenêtre les données dans les vus (Sur les X mois passés)

Mettre les vues dans un schéma dédié au Datamart du client.

Remplacement des Vues

Quand la vue ne fonctionne plus

C’est-à-dire, la vue est trop lente ou elle manipule trop de données.

Mise en place d’une table qui reprend les données de la vue et qui est remplie à intervalle régulier.

Remplissage ponctuel avec interruption du service

Si dans ce contexte, on peut se permettre lors du remplissage de ne pas servir les données = pas d’interrogations continue ou remplissage à heures fixes durant cette période aucune information n’est demandée.

Procédure de remplissage

Si pas de verrou alors

Verrouillage du processus

        RAZ de la table

        Remplissage de la table

        Retrait du verrou

        Cela implique de mettre en place un WatchDog qui libère les verrous au bout d’un temps anormalement long

Cela implique :

        Une table verrou avec une ligne par notion à remplir

        Une procédure qui remplit selon l’algo ci-dessus (1 par notion)

        Une procédure de watchDog pour l’ensemble des verrou

        Une table par notion à remplir.

Avec Sql Server, l'instruction TRY CATCH permet de récupérer des erreurs, mais que faire quand on est dans une transaction.

Voici un modèle qui fonctionne bien.

BEGIN TRY
   BEGIN TRANSACTION    

   --- Faire ce qu'on a a faire ici
   
   COMMIT
END TRY
BEGIN CATCH
  IF @@TRANCOUNT > 0
     ROLLBACK

  --- Traiter l'erreur ici    

END CATCH

Les points à ne pas oublier :

L'instruction BEGIN TRANSACTION est juste après le BEGIN TRY (= y a rien entre les 2 instructions)
Le COMMIT termine le traitement est est juste avant le END TRY (= la aussi y a rien entre les 2 instructions)
Le test de présence de transaction et le ROLLBACK sont fait dès le début du BEGIN CATCH

Enjoy

SQL et c# Jour de la semaine

Pour avoir le jour de la semaine avec SQL Server il faut utiliser la fonction DATEPART avec le paramètre WEEKDAY :  SELECT DATEPART(WEEKDAY, GETDATE()) pour avoir le numéro du jour d'aujourd'hui. Le résultat est un nombre entre 1 et 7. Soit :

• 1 = Lundi
• 2 = Mardi
• 3 = Mercredi
• 4 = Jeudi
• 5 = Vendredi
• 6 = Samedi
• 7 = Dimanche

Attention le résultat est fonction de la variable @@DATEFIRST qui permet d'ajuster le nombre voulu pour le résultat.

Voir la doc SQL Server pour plus de détail ; ici

En C# la propriété DayOfWeek d'un type DATETIME renvoie une énumération qui une fois casté en int renvoie des valeurs entre 0 et 6 !!
Evidement c'est pas les mêmes que SQL Server, mais pas trop loin

• 1 = Lundi
• 2 = Mardi
• 3 = Mercredi
• 4 = Jeudi
• 5 = Vendredi
• 6 = Samedi
• 0 = Dimanche

Bon pour uniformiser tout cela est simplifier l'utilisation et le transfert des infos entre les deux technos je propose la formule ci dessous qui renvoie toujours les données au format c# quelque soit la configuration SQL Server.

SELECT (DATEPART(WEEKDAY, ma_date) +  @@DATEFIRST - 1) % 7 AS jour_semaine

FROM ...

Explications : Le DATEPART renvoie le jour de la semaine pour SQL Server, L'ajout du @@DateFirst -1 permet de retomber sur un nombre qui avec le Modulo (%) 7 sera toujours identique quelque soit la valeur du @@DATEFIRST et toujours compris entre 0 et 6 c'est ce qu'il faut pour c#

Enjoy !

SQL : La date du jour sans heure

Pour Obtenir en SQL la date du jour sans avoir l'heure, et afin que cela fonctionne quelque soit la culture du serveur SQL voila ce que j'ai trouvé de mieux :

DATEADD(DAY, DATEDIFF(DAY, 0, GETDATE()), 0)


Pour mémoire explication :
en 1) on fait la différence en jours entre GetDate et 0 (!) ==> cela donne le nombre de jour depuis la date 0 (!)
en 2) on ajoute à la date 0 (!!) le nombre de jour trouvé en 1) ==> la date sans l'heure !!

Enjoy !

Mise à jour 06/2021 : Ou alors plus simple CONVERT(DATE, @variableDateHeure)

C# : Requête SQL qui remonte du XML

Si vous voulez pouvoir utiliser le générateur de XML de SQL Server directement en C#, je vous propose cette petite procédure qui permet exécuter le SQL et de retourner directement un XElement.

    public XElement ExecuteRequeteGetXml(string sql, params SqlParameter[] commandParameters)

    {

      StringBuilder res = new StringBuilder();

      SqlCommand cmd = this.GetSqlCommand(CommandType.Text, sql, commandParameters);

      using (XmlReader xmlr  = cmd.ExecuteXmlReader())

      {

        xmlr.Read();

        while (xmlr.ReadState != System.Xml.ReadState.EndOfFile)

        {

          res.Append(xmlr.ReadOuterXml());

        }

      }

      if (res.Length > 0)

      {

        return XElement.Parse(res.ToString());

      }

      else

      {

        return null;

      }

    }

On récupère le reader, puis on lit jusqu’à la fin du flux XML et on recopie l'info dans un StringBuilder qui est parsé en XElement à la fin.
Utile aussi la procédure GetSqlCommand : Qui suppose que la chaîne de connexion est dans le fichier de configuration avec la clé "Base".

    private SqlCommand GetSqlCommand(CommandType typeCommande, string requeteSql, params SqlParameter[] commandParameters)

    {

      SqlCommand command = new SqlCommand();

      string connexionString = ConfigurationManager.ConnectionStrings["Base"].ConnectionString;

      SqlConnection connexion = new SqlConnection(connexionString);

      connexion.Open();

      command.Connection = connexion;

      command.CommandText = requeteSql;

      command.CommandType = typeCommande;

      if (commandParameters != null)

      { // les paramètres de la commande

        foreach (SqlParameter p in commandParameters)

        {

          if (p != null)

          { // Check for derived output value with no value assigned

            if ((p.Direction == ParameterDirection.InputOutput || p.Direction == ParameterDirection.Input) && p.Value == null)

            {

              p.Value = DBNull.Value;

            }

            command.Parameters.Add(p);

          }

        }

      }

      return command;

    }

Redis : Managment Studio publié sur GitHub

Après la librairie, l'application...

https://github.com/slewden/RedisManagementStudio

Reste à faire évoluer pour :
S'adapter aux nouveautés 2.8 (cluster, nouvelles instructions).
Corriger certains petits bugs lorsque les clé expirent notamment
Terminer les points de suivis et mettre en place un moniteur en tâche de fond.


Any suggestions ?

Enjoy

Redis: Librairie d'accès à Redis publié dans GitHub

Voila les sources c# du premier jet de ma librairie d'accès au serveur REDIS.

La librairie est développée sur le jeu d'instructions de la version 2.6 du serveur . Les nouveautés des versions ultérieures ne sont donc pas encore disponibles !

Voici le lien
https://github.com/slewden/ClientRedisLib

Chaque méthode a été testée de manière unitaire, mais il reste des points noir (déjà) identifiés au fil des tentatives d'utilisation :

• Pas de multitâche possible car pas de gestion de pool de connexion (le driver s'emmêle les pinceaux !)
• La perte de connexion est mal gérée (et donc à revoir !!)

Enjoy