Possibilités d'export

Forums Serveur WES Remarques et demandes d’évolutions Possibilités d'export

  • Post
    bakeneko
    Participant

      Bonjour,

      J’aurais voulu savoir s’il était possible de rajouter une fonctionnalité d’export des données instantanées et/ou archivées, soit via email soit via requête http ?

      Actuellement je passe par un raspberry pi et un daemon en nodejs pour effectuer l’archivage et export des données du WES et un autre boitier de régulation, mais mon nouveau boitier de régulation me permettant d’effectuer directement l’export, je me demandais si il y avait moyen de le faire avec le WES.

      Sinon, serait-il possible d’avoir des précisions ou documentations sur le firmware, pour mettre les mains dans le cambouis et rajouter moi-même des fonctionnalités ?

      PS: voici la web app qui stocke et exploite les données exportées par le daemon : http://cadeo.siteisp.com

      • Ce sujet a été modifié le il y a 11 années et 2 mois par bakeneko.
      • Ce sujet a été modifié le il y a 11 années et 2 mois par bakeneko.
      0
      0
    Vous lisez 14 fils de discussion
    • Replies
        nicolas_cartelec
        Maître des clés

          Bonjour,

          Quel format pour l’export ?

           

          Nicolas

          0
          0
          bakeneko
          Participant

            Bonjour,

            l’idéal serait du json si export par requête http, et json ou xml si export par mail.

            Ce serait pour effectuer un export des données toutes les 1-2 minutes (actuellement avec le raspberry j’archive 1 fois/min et toutes les 5 minutes j’effectue un envoi des données archivées depuis le dernier envoi réussi).

            • Cette réponse a été modifiée le il y a 11 années et 2 mois par bakeneko.
            0
            0
            nicolas_cartelec
            Maître des clés

              Le xml est présent sur le serveur, voir la fin de la notice.

              Pour export par mail il faut m’en dire un peu plus.

              Le JSON est possible, je l’utilise en interne au serveur.

               

              Nicolas

              0
              0
                bakeneko
                Participant

                  J’ai bien vu qu’il y avait une sortie xml des données et actuellement j’ai rajouté un fichier pour obtenir la même sortie au format json afin de simplifier la récupération des données dans mon daemon.

                  Mais ce que je désirerais c’est que le WES envoie automatiquement des données à un autre machine, soit via une requête http que recevra directement la machine (le plus simple), soit via l’envoi d’un mail  sur une boite mail que l’application scannera à intervalle régulier. De cette façon je n’aurai plus du tout besoin d’un intermédiaire (le raspberry) pour envoyer les données.

                  0
                  0
                okimi
                Participant

                  Bonjour

                  J’ai acheté récemment 2 serveurs WES et j’adore ce produit qui regroupe en une machine simple d’emploi, tout ce que je cherchais encore à gérer dans mon installation domotique à base de Veralite et d’IPX800.

                  J’en ai déjà installé un pour gérer les consommations et les températures de ma maison et le deuxième est prévu pour une résidence secondaire, avec abonnement EDF Tempo, qui ne disposera que d’un accès internet par routeur et clé 3G.

                  Etant donné qu’il ne semble pas possible d’accéder à ce type de réseau depuis l’extérieur pour consulter le WES, je rejoins la demande d’export de bakeneko.

                  Je pensais plus simplement à un envoi sur un serveur FTP externe (NAS par exemple), à interval paramétrable, des fichiers .cgx (éventuellement que le data.cgx) et des fichiers .csv (pour l’archivage).

                  Cela me permettrait de récupérer l’état des variables qui ne changent pas trop fréquemment (couleur du jour tempo, sondes 1wire, état des relais) et de les stocker dans une base SQL.

                  Une fonction Push HTTP serait également très utile.

                   

                  Merci d’avance et encore bravo pour cette super carte.

                   

                  0
                  0
                  nicolas_cartelec
                  Maître des clés

                    Pour les requètes HTTP nous y travaillons, nous sommes en train de finaliser l’envoi des index au site BDPV (pour le photovoltaïque) ce qui nous permet de valider l’envoi de requêtes HTTP.

                    Nous sélectionnons les variables à exporter et nous proposerons les requêtes dans l’évolution de la rentrée (avant début aout, et nos 2 semaines de vacances) nous enverrons une autre mise à jour.

                    Pour le FTP pourquoi l’envoyer sur un serveur FTP ? le WES est équipé d’un serveur FTP il « suffit » de venir y lire les fichiers ?

                    Merci pour ces retours, nous faisons au plus vite pour ajouter des évolutions (dans la limite de nos possibilités et de celles du serveur…)

                    Nicolas

                    0
                    0
                    okimi
                    Participant

                      Super pour les requêtes HTTP !

                      Pour le FTP, c’est effectivement une très bonne idée d’avoir intégré au WES un serveur de sauvegarde où l’on peut consulter les fichiers qui nous intéressent.

                      Le problème que je vais apparemment rencontrer dans le cas de mon 2ème serveur WES, c’est qu’une connexion 3G (pas d’abonnement téléphonique, donc pas d’ADSL) n’offre pas d’adresse IP publique consultable de l’extérieur.

                      Dans ce cas précis, il n’est pas possible d’accéder au serveur FTP embarqué (ni au serveur web bien sûr).

                      Le seul moyen (à ma connaissance) est de « pousser » les données vers l’extérieur, soit en push HTTP, soit via FTP (moins gourmand en data).

                      Je peux toujours envisager d’intercaler un serveur (type Raspberry Pi) qui irait lire les données du WES à interval régulier pour les envoyer ensuite sur mon NAS à mon domicile mais c’est plus compliqué et plus énergivore.

                       

                      En tout cas merci pour vos réponses rapides et votre investissement.

                      Cdt

                      Okimi

                      0
                      0
                      nicolas_cartelec
                      Maître des clés

                        On peut aussi activer un client FTP sur le serveur, je termine les évolutions soft et le dev des nouvelles cartes (extensions) et je regarde cela, dites moi les fichiers que vous souhaitez transférer.

                         

                        Cordialement

                         

                        Nicolas

                        0
                        0
                        okimi
                        Participant

                          Bonjour

                          L’objectif étant de connaitre régulièrement l’état de l’installation (conso, température, …), le fichier le plus important à transférer serait le data.cgx.

                          Ensuite il faudrait que je puisse récupérer au moins une fois par jour les fichiers .csv de la journée précédente (Téléinfo EDF, pinces, compteurs à impulsions et températures) et peut-être aussi les fichiers de la journée en cours occasionnellement.

                          Je devrais ensuite pouvoir facilement réinjecter les données dans une base SQL à l’aide d’un script.

                          Je voudrais consommer le moins possible de data sur mon forfait 3G tout en gardant l’installation sous contrôle.

                          Il y aura donc un compromis à trouver.

                           

                          Merci pour tout

                          Cdt

                          Okimi

                          0
                          0
                          bakeneko
                          Participant

                            Bonjour,

                            l’idéal serait de disposer d’une sorte de cron permettant de paramétrer le lancement de requêtes à des heures données (de cette façon on a une grande flexibilité sur l’envoi des requêtes :  une requête unique à telle heure ou un envoi toutes les x heures/minutes),  requêtes envoyant le contenu généré d’un fichier cgx (rajouter des cgx permettant de récupérer les données archivées de la journée/la veille ?).

                            On rajoute derrière la possibilité de vérifier le succès de la requête avec la gestion du retour, une politique de retry/backoff et on peut mourir en paix 😡

                            0
                            0
                            okimi
                            Participant

                              Bonjour

                              Je déterre un peu ce post car l’installation de mon 2ème WES approche et mes besoins d’export des données sont toujours d’actualités.

                              Je souhaiterais :

                              1- Pouvoir sauvegarder tout ou partie du contenu du WES vers mon NAS en FTP, automatiquement et régulièrement, si possible depuis le WES car la connexion 3G ne doit pas me permettre de me connecter à distance au site. (client FTP + Cron ?)

                              2- Pouvoir envoyer les données du WES, régulièrement ou sur changement de valeur, via requêtes HTTP.
                              Je crois que l’envoie de variables dans les requêtes HTTP est à l’étude ?

                              Encore merci pour tout le développement déjà réalisé.

                              0
                              0
                              nicolas_cartelec
                              Maître des clés

                                Bonjour,

                                Les variables dans les requêtes c’est ok dans la prochaine mise à jour (que je termine + documentation)

                                Pour le client FTP pas tout de suite (pas le temps avec les dev électroniques)

                                Nicolas

                                0
                                0
                                okimi
                                Participant

                                  OK merci.

                                  S’il y a besoin, je suis toujours dispo pour tester les bétas 😉

                                  0
                                  0
                                  totosh45
                                  Participant

                                    Moi aussi, je suis super intéressé par l’envoi des données vers une URL de son choix afin qu’elles soient traitées par un serveur d’application par exemple (notification push). L’envoi des données se ferait périodiquement ou par un déclenchement sur des seuils définis par rapport à des compteurs choisis.

                                    • Cette réponse a été modifiée le il y a 10 années et 7 mois par totosh45.
                                    0
                                    0
                                    nicolas_cartelec
                                    Maître des clés

                                      Je prévoit une sorte de tache « CRON » pour envoyer des requêtes ou autre.

                                      Nicolas

                                      0
                                      0
                                      Fred
                                      Participant

                                        Bonjour,

                                        Je serais aussi intéressé par cette fonctionnalité, tant pour l’envoi d’infos instantanées que pour l’envoi d’infos cumulées (fichiers de log, etc.).

                                        J’ai un système domotique qui a très envie de récupérer toutes les données du WES et je crains que ce système, plus puissant, ne sature le WES en lui expédiant de trop nombreuses requêtes. ^^

                                        Que le Wes puisse « pousser » à son rythme me semble plus fiable dans ce contexte … et l’unique solution sécurisée dans le cas d’une installation en réseau distinct vu qu’il n’y a pas (encore) de https, d’IP variable ou que sais-je encore…

                                        Fred.

                                        0
                                        0
                                    Vous lisez 14 fils de discussion
                                    • Vous devez être connecté pour répondre à ce sujet.