US191 IMAGO

TSG-QC: A tool for interactive quality control of sea surface temperature and salinity

Gael Alory, Jacques Grelet, Pierre Rousselot — 2025-06-25T13:59:38Z

TSG-QC is a software for interactive analysis and validation of underway SST / SSS (Sea Surface Temperature and Sea Surface Salinity) measurements from a SeaBird Thermosalinograph (TSG). It has been developed under Matlab.

Updated on June 25, 2025

PURPOSE

TSG-QC is a tool for analysis and validation of surface temperature and salinity data acquired from a Thermosalinograph (TSG) installed on research or commercial ships.

It allows:

Visualization of TSG variables: Temperature, salinity, and ship speed
Interactive comparison with climatological values (WOA and ISAS)
Automatic quality control using selected threshold criteria
Data validation and correction with external “bucket” measurements (water samples usually collected once a day)
Quantitative estimation of sensor drift

The software can deal with different input data formats: ASCII, Labview, "Real-time" Coriolis NetCDF, Seabird (*.cnv), ...

INSTALLING SOFTWARE

The development of the software is now hosted on the IRD Gitlab platform under:
https://forge.ird.fr/us191/TSG-QC

If you have a Matlab license, there are 2 options:

Retrieve and install the source code of the latest release https://forge.ird.fr/us191/TSG-QC/-/tags/v1.50
Choose the type of archive to download (.zip or .tgz) by clicking on the "Source Code" drop-down menu.
Once the archive is uncompressed on the computer, launch Matlab and add the installation directory of tsgqc on the Matlab path and then launch the software with the command:
tsgqc
Retrieve the sources of the latest version in developmentwith the Git software. If you are running Windows or Linux / Mac, you will need to install the Git software first.

Installing Git:

Windows: install the software Git and the graphical interface Tortoise, see the post "Install and configure Tortoise Git"
Linux: follow the instructions described in the official documentation of Git, "Installing Git"
Mac OsX: https://git-scm.com/download/mac

Clone your local copy of the Git repository:

Go to the TSG-QC Git page https://forge.ird.fr/us191/TSG-QC and copy the HTTPS URL as shown below:

Windows:

In the directory of your choice, for example (c:\gitlab), right-click to open the context menu and choose "Git clone"

then click OK, the cloning of the repository should begin.

Update Deposit: When you've been notified by email of adding new features or bug fixes, from the pop-up menu, choose "Git pull" to update your local copy.

Linux:

Clone your local copy of the Git repository on Linux from the command line, replace with the directory of your choice:

$ cd <homedir>/gitlab $ git clone https://forge.ird.fr/us191/TSG-QC.git

Update your local copy:

$ git pull

Versions

The latest version 1.60, updated June 25, 2025 works with the latest versions of Matlab and has been tested up to R2024b.

Read the "Release Notes" file for the latest changes.

Follow the instructions of the files README and INSTALL to modify the paths under Matlab and install the toolboxes or "toolbox" necessary for the application.

Compiled Version:

If you do not have a Matlab license, a compiled version is available by clicking the following links using the ftp client program Filezilla:

Read the file readme.txt.

Using tsgqc.exe requires installing the Matlab runtime. You need to get it from the same link and install it.

To obtain a version compiled under Linux (Ubuntu), send me a direct request by mail.

QUICK START

Start Matlab, go to the tsg_data subdirectory and type tsgqc to run the program. Use the File / Open menu to open a data file.

DOCUMENTATION

A user's guide is available here

Standards and best practices from GOSUD

OUTPUT FILE FORMAT

The reference document CORTSG_format_gosud.pdf version 3.0 describing the output NetCDF format is available online from the subversion repository.

REFERENCES

TSG-QC: Talk by Y Gouriou , TSG-CORIOLIS meeting, 01/12/2008

TECHNICAL SUPPORT

If you have any technical difficulties, you can contact me at the following address:
pierre.rousselot_a_ird.fr

Mention the following information:

a copy of the error message you get in the Matlab Command Window, if any
the operating system you use (Windows 7, XP, Linux or Solaris):
- Windows: "System Properties"
- Unix: uname -a

under Matlab, the results of the following commands:

>> ver
>> matlabpath

LINKS

SEDOO - SSS
ORE - SSS: Sea Surface Salinity Observation Service
SeaBird: Thermosalinograph SBE 21
GOSUD: Global Ocean Surface Underway Data project
ODATIS: Ocean Data Information and Services

TSG-QC : Outils d'analyse interactive des données de température et salinité de surface

Gael Alory, Jacques Grelet, Pierre Rousselot — 2025-06-25T13:48:32Z

TSG-QC est un logiciel d'analyse et de validation interactive
des mesures de SST/SSS (Sea Surface Temperature et Sea Surface Salinity) acquises en route sur les navires d'opportunité et de recherche à l'aide d'un Thermosalinographe (TSG) de marque SeaBird. Il est développé en langage Matlab.

Mise à jour : 25/06/2025

GENERALITES

TSG-QC est un outil d'analyse et de validation des données de Température et Salinité de surface acquises à l'aide d'un Thermosalinographe (TSG) installé sur des navires de recherche ou de commerce.

Il permet :

la représentation des paramètres des TSG : Température (T), salinité (S) et vitesse du navire (V)
une aide interactive à l'opérateur en s'aidant de climatologies (WOA et ISAS)
des contrôles automatiques par critères pré-établis
de valider et corriger les données par des mesures complémentaires effectuées lors des voyages "Bucket" (échantillons récoltés en général une fois par jour)
d'estimer par calcul la dérive des capteurs

Le logiciel prend en compte des données d'origines diverses : DOS thermo, Labview, "temps Réel" Coriolis, NetCDF, Seabird (*.cnv).

INSTALLATION

Le développement du logiciel est réalisé avec le logiciel GIT et la page d'accueil du projet se trouve hébergée sur la plateforme Gitlab de l'IRD sous :

https://forge.ird.fr/us191/TSG-QC

Si avez une licence Matlab, vous avez le choix entre deux options :

Récupérer les sources de la dernière version stable ou RC (Release Candidate) sous la forme d'une archive compressée à installer sur votre ordinateur depuis le lien https://forge.ird.fr/us191/TSG-QC/tags.
Choisir de type d'archive à récupérer (.zip ou .tgz) en cliquant sur le menu déroulant "Source code".
Une fois l'archive décompressée sur l'ordinateur, lancer Matlab et rajouter le répertoire d'installation de tsgqc dans le path Matlab puis lancer le logiciel avec la commande :
tsgqc
Récupérer les sources de la dernière version en cours de développement à l'aide du logiciel Git. Si vous travaillez sous Windows ou Linux/Mac, il vous faudra au préalable installer le logiciel Git.

Installation de Git :

Windows : installer le logiciel Git et l'interface graphique Tortoise, voir le billet "Installer et configurer Tortoise Git"
Linux : suivre les instructions décrites dans la documentation officielle de Git, "installation de Git"
Mac OsX : https://git-scm.com/download/mac

Cloner votre copie locale du dépôt Git :

Pour cela aller sur le site Web du dépôt Git https://forge.ird.fr/us191/TSG-QC et copier l'URL HTTPS comme indiqué ci dessous :

Windows :

Dans le répertoire de votre choix, par exemple (c :\gitlab), clic droit pour ouvrir le menu contextuel et choisir "Git clone"

puis cliquer sur OK, le clonage du dépôt devrait débuter.

Mise à jour du dépôt : lorsque vous aurez été averti par mail de l'ajout de nouvelles fonctionnalités ou de la correction de bugs, depuis le menu contextuel, choisir "Git pull" pour mettre à jour votre copie locale.

Linux :

Cloner votre copie locale du dépôt Git sous Linux en ligne de commande, remplacer par le répertoire de votre choix :

$ cd <homedir>/gitlab $ git clone https://forge.ird.fr/us191/TSG-QC.git

Mettre à jour votre copie locale :

$ git pull

Versions :

La version stable 1.60, mise à jour le 25 juin 2025 fonctionne avec les dernières versions de Matlab et a été testée jusqu'à la version R2024b.

Lire le fichier "Release Notes" pour prendre connaissance des dernières modifications.

Suivre les instructions des fichiers README et INSTALL pour modifier les chemins d'accès sous Matlab et installer les boites à outils ou "toolbox" nécessaires à l'application.

Version compilée :

Si vous ne possédez pas de licence Matlab, il existe une version compilée, disponible uniquement sous Windows, en ouvrant les liens suivant avec un client ftp de préférence comme Filezilla :

Lors de la première installation, il est nécessaire de récupérer et d'installer le runtime Matlab disponible également sous le lien précédent. Lire le fichier readme.txt.

Pour obtenir une version compilée sous Linux (Ubuntu), m'en faire directement la demande par mail.

UTILISATION

Sous Matlab, se placer dans le sous répertoire tsg_data puis entrer la commande tsgqc pour lancer le programme. Charger un fichier de données en mémoire par le menu File/Open.

DOCUMENTATION

La documentation est disponible ici.

Les bonnes pratiques, document GOSUD

FORMAT DES FICHIERS

Le document de référence DATA FORMAT TSG V3.0 du format NetCDF GOSUD est accessible en ligne depuis le dépôt subversion.

DOCUMENTS DIVERS

Présentation d'Yves Gouriou à la journée TSG-CORIOLIS du 01/12/2008

SUPPORT TECHNIQUE

En cas de difficultés techniques, vous pouvez me contacter à l'adresse suivante :
pierre.rousselot_a_ird.fr
Mentionner les renseignements suivants :

en cas d'erreur joindre une copie du message d'erreur produit dans la fenêtre "command windows"
spécifier le système d'exploitation (Windows 7, XP, Linux ou Solaris) :
- Windows : "propriétés système"
- Unix : uname -a

et sous Matlab, le résultat des commandes suivantes :

>> ver
>> matlabpath

LIENS

SEDOO-SSS
SO-SSS : Sea Surface Salinity Observation Service
SeaBird : Thermosalinograph SBE 21
GOSUD : Global Ocean Surface Underway Data project
ODATIS : Pôle de données et de services pour l'océan

Aide mémoire Python

Jacques Grelet — 2021-05-26T11:43:25Z

Mise à jour : 26 mai 2021

Introduction

Ce billet est un aide mémoire pour l'utilisation de Python 3.x conjointement avec les gestionnaires de paquets pip et conda et l'utilisation de Qt et Pyside

Installation de Python 3.x

Principales commandes de conda :

Principales commandes de pip :

Installation de Qt5

Installation de Qt6 et Pyside6

Qt6 nécessite d'avoir installé python 3.9. Création d'un environnement virtuel appelé Qt6 sous conda :

conda create --name Qt6 python=3.9 conda activate Qt6 pip install cx-freeze pip install PyQt6 pip install PyQt6-Tools pip install PySide6

Les modules Qt6 doivent être installé avec pip.
Il est possible d'installer simultanément les paquets PyQt et PySide, voir les différences de licencesentre les 2 versions.
Avec Qt6, l'outil designer doit être lancé comme argument de la commande pyqt6-tools

pyqt6-tools Usage: pyqt6-tools [OPTIONS] COMMAND [ARGS]... Options: --help Show this message and exit. Commands: designer installuic qmlscene qmltestrunner

soit :

pyqt6-tools designer

Pour créer des interfaces GUI modernes avec PyQt6 ou PySide6, vous pouvez tester le framework PyDracula

Visual Studio Code (VSC) et Python

Lire la documentation relative à la programmation sous Python avec Visual Studio Code (VSC). Installer les extensions Python, Qt for Python, Python test Explorer

Liens

Python 3, anglais, français
pip, user guide, more important commands
conda, doc
conda, commandes de références
Qt6 tutorial
pyqt-tools

Configuration et utilisation de WSL (Windows Subsystem for Linux)

Jacques Grelet — 2020-05-15T15:05:03Z

Mise à jour : 17 septembre 2020

Introduction

Le sous-système Windows pour Linux permet aux utilisateurs/développeurs d'exécuter un environnement GNU/Linux directement sur Windows sans avoir à utiliser une machine virtuelle.
Son introduction date de 2016 avec la mise à jour de Windows 10 version 1607.

Les principales fonctionnalités de WSL :

Choisir et installer une ou plusieurs distributions GNU/Linux à partir du Microsoft Store
Exécuter les utilitaires et logiciels en ligne de commande courants tels que grep, sed et awk, ssh ou d'autres fichiers binaires ELF-64 : git,
Exécuter des scripts shell Bash et des applications en ligne de commande GNU/Linux, notamment :
- Outils : vim, emacs,
- Langages : Javascript/node.js, Php, Perl, Python, C/C++, Go, Rust, etc.
- Services : SSHD, MySQL, PostgreSQL, Apache, Nginx, Tomcat, etc
Installer des logiciels supplémentaires en utilisant le gestionnaire de paquets de votre distribution GNU/Linux
Appeler des applications Windows à l'aide d'un shell de ligne de commande de type UNIX
Appeler des applications GNU/Linux sur Windows
Lancer des applications graphique Linux en utilisant un serveur X sous Windows

Actuellement, il existe deux versions de WSL :

La version 1, qui est disponible jusqu'à la dernière mise à jour de Windows 10 version 1909, est un driver pour Windows implémentant l'API du noyau Linux, driver qui transforme les appels au noyau en instructions compatibles Windows. Ce qui pose certains problèmes de compatibilité et de vitesse d'exécution, notamment avec l'API permettant d'accéder au système de fichiers.

La version 2 permet de résoudre les différents problèmes de compatibilité et de performances rencontrés avec la version 1. Cette nouvelle version de WSL 2 utilise les fonctionnalités Hyper-V pour créer une machine virtuelle légère avec un noyau Linux minimal. Elle permet une meilleure compatibilité avec les logiciels Linux, la prise en charge de Docker et une augmentation notable des performances du système de fichiers. Elle est disponible depuis le mois de juin avec la mise à jour Windows 10 version 2004.

Dans ce billet, nous allons décrire l'installation et la configuration de WSL pour une distribution Ubuntu LTS. Le principe sera identique pour les distributions Arch Linux ou Alpine.

Nous verrons dans un prochain billet comment utiliser et mettre en œuvre cette distribution Linux pour automatiser la collecte et le traitement des données acquises lors d'une campagne de recherche sur un navire océanographique.

Installation

Suivre pas à pas les instructions du Guide d'installation du sous-système Windows pour Linux pour Windows 10.

Avant d'installer des distributions Linux pour WSL, vous devez vous assurer que la fonctionnalité facultative « Sous-système Windows pour Linux » est activée :

Ouvrez PowerShell en tant qu'administrateur et exécutez : Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subsystem-Linux
Redémarrez votre ordinateur lorsque vous y êtes invité.
Installer le nouveau terminal Windows depuis le Microsoft Store qui va remplacer l'invite de commande. La version actuelle est baptisée « Windows Terminal »

Si vous avec déjà installé la version "preview", il semblerait que la mise à jour sur le store ne soit pas automatique, il est donc conseillé de vérifier la disponibilité d'une nouvelle version en cliquant sur les ... :
Télécharger et installer à partir du Microsoft Store une distribution Ubuntu LTS, soit la 16.04, 18.04 ou la toute récente 20.04 :

La première étape qu'il vous est demandé d'effectuer lors de l'ouverture de la distribution Linux nouvellement installée consiste à créer un compte avec un nom d'utilisateur et un mot de passe. Ce nom d'utilisateur et ce mot de passe sont propres à votre distribution Linux et n'ont aucune incidence sur votre nom d'utilisateur Windows. Une fois que vous avez créé ce nom d'utilisateur et ce mot de passe, le compte devient votre utilisateur par défaut pour la distribution et se connecte automatiquement au démarrage.
Ce compte est considéré comme l'administrateur Linux, avec la capacité d'exécuter des commandes d'administration sudo (Super User Do).
Une fois la session Linux (Ubuntu) démarrée et le compte utilisateur créé, vous pouvez lancer le Terminal Windows. Ce dernier ouvre par défaut une session PowerShell. Dans le menu (à droite de l'onglet, flèche vers le bas), sélectionner la distribution installée, soit ici : Ubuntu-18.04 :

Pour ouvrir la session Ubuntu par défaut, il faut éditer le fichier de configuration (setting) et remplacer le guid par défaut du Powershell par celui d'Ubuntu. Voir « Editing Windows Terminal JSON Settings » sur la page Github du projet.
Pour faciliter le copier/coller entre les 2 environnements, on mettra les variables ci-dessous à true. Ne pas oublier la virgule à la fin de chaque ligne ! "copyOnSelect": true, "copyFormatting": true,
Mettre à jour la distribution : sudo apt update sudo apt upgrade
Installer un environnement X léger tel que Xfce (optionnel) si vous désirez faire de l'affichage graphique. Installer uniquement l'environnement Xfce avec la commande : sudo apt install xfce4 sudo apt install vim-gtk
Editer le fichier ~/.bashrc et ajouter la variable d'environnement DISPLAY pour rediriger l'affichage graphique sur le serveur X Windows (WSL1) : export DISPLAY=:0.0
Recharger le fichier ~/.bashrc pour prendre en compte la nouvelle variable DISPLAY :
. ~/.bashrc
Installer le serveur libre X VcXsrv sous Windows :
VcXsrv
pour afficher les sorties graphiques sous X. Voir les détails sous : https://doc.ubuntu-fr.org/wsl
Il faut exécuter le programme XLaunch pour configurez le serveur X avant la première utilisation, vous devez désactiver le contrôle d'accès (cocher la case : "Disable server access control")

Sinon, vous risquez d'obtenir des erreurs suivante : $ xeyes Authorization required, but no authorization protocol specified Error: Can't open display: localhost:0.0
Démarrer le serveur X sous Windows puis dans une fenêtre bash sous Linux, lancer le programme xeyes pour tester l'affichage, les pupilles doivent suivre votre souris :
Installer ensuite les paquets suivants qui seront nécessaires pour les traitements ultérieurs des données scientifiques utilisés dans le dépôt CRDAP : sudo apt install gcc g++ make netcdf-bin libnetcdf-dev perl-doc libswitch-perl libdate-manip-perl libxml-libxml-perl libconfig-tiny-perl pdl libpdl-netcdf-perl
Installer le module Perl Oceano si vous utilisez les scripts du dépôt CRDAP mkdir -p ~/local/src cd ~/local/src git clone https://git.outils-is.ird.fr/grelet/oceano.git cd oceano/lib/perl/Oceano perl Makefile.PL make sudo make install

Mettre à jour vers WSL 2

Pour effectuer une mise à jour de WSL1 vers WSL 2, il faut avoir installé la mise à jour Windows 10 de mai 2020 (version 2004).
Vérifiez votre version de Windows en sélectionnant simultanément les touches Windows + R puis entrez la commande :

winver

Si ce n'est pas le cas, lancer l'assistant Windows Update, ou installer l'utilitaire de mise à jour vers la version 2004 depuis le site de Microsoft.

Si aucune option de mise à jour n'est proposée, ne pas insister, Microsoft diffuse progressivement Windows 10 2004 uniquement sur les machines qu'il estime compatibles et tente d'identifier celles qui présentent des problèmes. Dans tous les cas le choix est laissé à l'utilisateur d'installer ou non cette nouvelle version majeure.

Avant d'installer WSL 2, vous devez activer la fonctionnalité facultative « Plateforme de machine virtuelle ».

Ouvrez un terminal PowerShell en tant qu'administrateur et exécutez :

dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

Récupérer le programme de mise à jour du noyau Linux depuis la page https://aka.ms/wsl2kernel

Exécuter le programme wsl_update_x64.msi :

Redémarrer votre ordinateur pour terminer l'installation la mise à jour vers WSL 2.

Définir WSL 2 comme version par défaut

Exécuter la commande suivante dans PowerShell pour définir WSL 2 comme version par défaut lors de l'installation d'une nouvelle distribution Linux :

wsl --set-default-version 2

Migrer une distribution WSL 1 vers WSL 2

wsl --set-version <distribution name> <versionNumber>

en remplaçant par le nom de la distribution à migrer.

wsl --set-version Ubuntu-18.04 2

Configuration du serveur X sous WSL2

WSL2 a sa propre adresse IP et ne partage pas encore l'adresses de lookup localhost (127.0.0.1) ; lorsque vous vous connectez à 127.0.0.1 dans WSL2, vous vous connectez en fait à une machine virtuelle WSL2 plutôt qu'à la machine Windows sous-jacente. Vous devez donc utiliser directement l'adresse IP attribuée à Windows.
Nous vous recommandons d'utiliser l'adresse IP interne qui est extraite dynamiquement et de l'attribuer à la variable d'environnement DISPLAY, code à rajouter dans votre fichier d'initialisation .bashrc :

export DISPLAY=$(cat /etc/resolv.conf | grep nameserver | awk '{print $2}'):0

Démarrer le serveur X sous Windows, le programme XLauch de VcXsrv, puis dans une fenêtre bash sous Linux, lancer le programme xeyes pour tester l'affichage, les pupilles doivent suivre votre souris comme décrit précédemment sous WSL1.

Installation et configuration de Python avec Miniconda

Miniconda est un installateur minimal pour Conda qui permet de gérer des bibliothèques pour développer en Python, notamment pour l'analyse de données. C'est une version réduite d'Anaconda qui inclut uniquement conda, une version de Python 3.7 plus récente que celle de la distribution Ubuntu 18.04 et les paquets dont ils dépendent.

Par rapport au gestionnaire de paquets pip, conda est très efficace. Il gère la version de Python et les paquets compatibles avec cette dernière de manière optimale.

Installation et configuration de miniconda

Pour l'installation de Miniconda,, nous partons du principe que vous l'installerez en tant qu'utilisateur, et non pas en tant qu'administrateur. Autrement dit, vous n'aurez pas besoin de droits spéciaux pour pouvoir installer Miniconda et les autres modules nécessaires. :

mkdir ~/miniconda cd ~/miniconda wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh chmod +x Miniconda3-latest-Linux-x86_64.sh

Dans un shell, lancez l'installation de Miniconda avec la commande et répondre aux questions suivantes :

bash Miniconda3-latest-Linux-x86_64.sh -U

Relancer votre shell afin qu'il prenne en compte la procédure d'initialisation de conda.

. ~/.bashrc

Tester la version de python et de conda :

python Python 3.7.6 (default, Jan 8 2020, 19:59:22) [GCC 7.3.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. >>> quit() conda -V conda 4.8.3

Installation des modules scientifiques Python avec Miniconda :

conda update conda conda install pandas conda install -c conda-forge iris xarray toml

Utilisation de VSC (Visual Studio Code) avec WSL

Le principe consiste à utiliser Visual Studio Code sous Windows tout en utilisant les chaînes d'outils de développement et les utilitaires spécifiques à Linux, d'exécuter et déboguer les applications basées sur Linux. Pour cela, il est nécessaire d'installer les 2 extensions "Remote WSL" et "Remote Development"

Ce paragraphe est en cours de rédaction
Developing in WSL Une fois lancé VSC sous Windows, installer l'extension "Remote WSL" qui permettra d'utiliser le sous-système Windows pour Linux (WSL) comme environnement de développement en utilisant les outils et utilitaires spécifiques à Linux.

Ensuite, rajouter la ligne suivante dans le fichier setting.json, voir documentation officielle :

"terminal.integrated.shell.windows": "C:\\WINDOWS\\Sysnative\\bash.exe",

pour utiliser le shell Bash Linux comme Terminal de Visual Studio Code.
Vous bénéficiez alors d'un environnement de développement simple, performant et aisé à maintenir.

Utilisation de WSL

Le répertoire utilisateur

Par défaut, une session WSL démarre depuis le répertoire utilisateur Windows, soit sous : /mnt/c/Users/nom d'utilisateur/ mais la variable HOME est définie comme /home/nom d'utilisateur, donc si vous taper cd, pour êtes redirigé vers votre répertoire utilisateur Linux :

Vous pouvez voir le contenu de ce disque sur le réseau en allant à \\wsl$\nom de la distribution\nom d'utilisateur\home dans l'explorateur Windows ou directement en tapant la commande explorer.exe . de votre invite de commande bash.

Le montage/partage des disques

Les disques internes de Windows sont automatiquement montés sous /mnt/, soit /mnt/c et /mnt/d sur mon PC portable qui possède 2 SSD.
Pour monter un partage réseau, un disque externe ou une clé USB, il suffit d'entrer la commande suivante pour monter le disque E : de 2To sous /mnt/e :

sudo mount -t drvfs e: /mnt/e

Commandes d'administration de WSL

Depuis une session PowerShell, lister les distributions installées :

wsl -l Distributions du sous-système Windows pour Linux : Ubuntu-18.04 (par défaut) Alpine

Obtenir de l'aide :

wsl -h

Lancer wsl :

wsl

Monter la racine de la distribution Linux dans l'explorateur Windows comme un disque X :

net use X: \\wsl$\Ubuntu-18.04 /PERSISTENT:YES

Lister les distributions installées :

PS C:\WINDOWS\system32> wsl -l --all Distributions du sous-système Windows pour Linux : Ubuntu-18.04 (par défaut)

Lister la version WSL des distributions installées :

PS C:\WINDOWS\system32> wsl -l -v NAME STATE VERSION * Ubuntu-18.04 Running 2

Changer l'utilisateur par défaut au lancement :

Depuis une fenêtre powershell, si vous avec installé ubuntu 1804 :-

ubuntu1804 config --default-user <username>

si vous avec installé ubuntu 2004 :-

ubuntu2004 config --default-user <username>

Le chemin de l'exécutable se trouve sous :

C:\Users\\AppData\Local\Microsoft\WindowsApps

chemin qui peut etre obtenu avec l'équivalent de la commande Unix which
qui est get-command

Copie d'une distribution

Si vous avez besoin d'installer une deuxième machine avec WSL, vous pouvez dupliquer une distribution dans un fichier tar puis la restaurer sur un autre PC.
Ouvrez une fenêtre PowerShell dans le programme terminal :

wsl -l wsl --export Ubuntu-20.04 wsl-ubuntu.tar

Utiliser ensuite la commande wsl —import pour importer le fichier .tar dans une nouvelle distribution.

Problèmes

Sur un PC DELL Précision 5820, j'ai du attendre que Windows 10 propose la mise à jour en version 2004 avec Windows Update, l'outil de migration refusait la mise à jour avec un code d'erreur car semble t'il, certains drivers n'étaient pas compatibles.

J'ai eu ensuite des difficultés pour réaliser la migration de ma distribution Ubuntu 18.04 en WSL2. Il était impossible également d'installer une nouvelle distribution, avec le message d'erreur suivant :

The operation could not be started because a required feature is not installed.

En français :

L'opération n'a pas pu être démarrée car une fonctionnalité requise n'est pas 
 installée.

J'ai fini par trouver sur le net un article qui a résolu le problème :
Fix Hyper-V not working after Windows 10 v1809 upgraded

La difficulté consiste à retrouver les bons paramètres traduits en Français dans les méandres du panneau de configuration de Windows 10 à partir des informations en Anglais.

Depuis le panneau de contrôle, aller dans "Mise à jour et sécurité", puis "Sécurité Windows" et sélectionner "Control des applications et du navigateur"

puis en page de page, cliquer sur "Paramètres d'Exploit protection" et sélectionner l'onglet "Paramètres du programme" :

sélectionner C:\WINDOWS\System32\vmcompute.exe, puis cliquer sur "Modifier", dérouler l'ascenseur jusqu'au champs "Protection du flux de contrôle"

et décocher la case "Remplacer les paramètres du système" pour désactiver la protection.

Lancer une fenêtre DOS ou PowerShell en mode administrateur , lancer la commande net start vmcompute

PS C:\WINDOWS\system32> net start vmcompute Le service Service de calcul hôte Hyper-V démarre. Le service Service de calcul hôte Hyper-V a démarré.

Normalement, la migration de la distribution devrait bien se passer cette fois :

PS C:\WINDOWS\system32> wsl --set-version Ubuntu-18.04 2 La conversion est en cours. Cette opération peut prendre quelques minutes... Pour plus d'informations sur les différences de clés avec WSL 2, visitez https://aka.ms/wsl2 La conversion est terminée. PS C:\WINDOWS\system32> wsl -l -v NAME STATE VERSION * Ubuntu-18.04 Running 2

Liens

Utilisation d'un thermomètre de référence SBE35RT

Jacques Grelet — 2018-12-12T15:59:01Z

Mise à jour : 3 décembre 2019

Introduction

Depuis les années 1980, la bathysonde Seabird SBE911plus est utilisée par la majorité des laboratoires pour réaliser les profils de mesures profonds à partir de navires océanographiques. Cette bathysonde peut être équipée en standard d'un capteur de pression de marque Paroscientific et de jeux de capteurs redondants de température SBE03, de conductivité SBE04 et d'oxygène SBE43.

Généralement ces capteurs sont envoyés pour étalonnage chez SeaBird avant et/ou après chaque campagne de mesure.

Lors d'une station CTD, les données sont acquises en temps réel à la descente puis des prélèvements sont réalisés à la remontée par paliers avec des bouteilles fermées à différents niveaux. Les échantillons sont analysés à bord pour la détermination de la salinité et de la teneur en oxygène dissous. Le résultat de ces analyses est utilisé pour déterminer une éventuelle dérive des capteurs puis pour ajuster les données le long de chaque profil.

Jusque dans les années 1990, on utilisait des thermomètres à renversement fixés sur les bouteilles de prélèvement pour le contrôle des valeurs de température fournies par la bathysonde. Ce type de thermomètre, initialement mécanique, à mercure, puis électroniques (SIS), était coûteux, fragile et leur exactitude n'était plus suffisante pour être utilisé comme troisième capteur de référence pour la bathysonde.

La société Seabird a donc développé 2 capteurs SBE35 permettant de réaliser une série de mesure au moment de la fermeture de la bouteille de prélèvement. Une valeur moyenne est mémorisée dans l'instrument et peut ensuite être comparée rapidement avec les mesures des capteurs SBE03. En cas de dérive anormale, le personnel technique peut intervenir rapidement pour remplacer le capteur incriminé.

Le premier capteur "SBE 35 Deep Ocean Standards Thermometer" peut être étalonné directement dans les points fixes de l'EIT (points triples) ce qui constitue une vraie référence de température et un raccordement de la chaîne de mesure aux standards internationaux.

Dans notre cas, nous utilisons le capteur "SBE 35RT Digital Reversing Thermometer", capteur qui est plus facile à mettre en œuvre sur le châssis 12 bouteilles du carousel SBE32 et qui, si il ne permet pas un raccordement direct aux standards, permet tout de même de contrôler en temps quasi-réel le bon fonctionnement des capteurs de température et d'intervenir si nécessaire.

Installation

Le système de mesure est constitué de :

capteur SBE35 RT
câble en Y qui vient se brancher entre la CTD (SBE 9plus JT7) et le moteur du carousel (SBE32 JB2)
bride de fixation

Installation sur le châssis 12 bouteilles

L'utilisation du capteur est indépendante du logiciel d'acquisition de la bathysonde Seasave et on peut regretter que Seabird n'ai pas fait l'effort de l'intégrer dans ce dernier.

Il faut donc utiliser le logiciel Seaterm V2 pour communiquer avec le capteur.
La CTD SBE9plus doit être raccordée à l'unité de pont SBE11. Connecter le câble série RS232 du connecteur "modem" de l'unité de pont au PC d'acquisition. Mettre l'unité de pont sous tension.

Sur le PC, lancer Seaterm, choisir SBE35 pour "Instrument type" et sélectionner le port série qui est branché sur le modem. Vérifier que les paramètres de communication du port série sont 300 bds, data bits 8 et parity none dans l'onglet "Com setting".

Appuyer sur le touche "Return" pour obtenir le prompt >S

Le commandes disponibles sont :

DS (Display Status)
DC (Display calibration coefficients)
DDb,e (Upload data stored from begin to end) ex : DD1,11
MMDDYY=mmddyy Set real-time clock month, day, year. Must
be followed by HHMMSS= to set time.
DDMMYY=ddmmyy Set real-time clock day, month, year. Must
be followed by HHMMSS= to set time.
HHMMSS=hhmmss Set real-time clock hour, minute, second.
NCycles=x x= number of measurements to take and
average per sample (1 – 127). On choisira x=8
SampleNum=x x= sample number for first sample when
sampling begins. En choissisant x=0, on va ré-initialiser le pointeur de mesure

Voir la documentation SBE35RT Digital Reversing Thermometer User Manual :


SBE35RT User Manual

Utilisation

L'utilisateur n'est pas obligé de remettre le pointeur à zéro avant chaque station mais il est tout de même conseillé de ne pas laisser plus de 2 ou 3 stations en mémoire (les stations réalisées pendant la nuit par exemple) puis de récupérer et traiter les données dès le début du quart de 8 heures. Lorsque les données ont bien été récupérées et traitées, elles peuvent être effacées de la mémoire du capteur.

Lors de l'arrivée au palier de prélèvement, il est impératif de rester au minimum 30 secondes à chaque niveau avant la fermeture de la bouteille suivante puis de rester 20 secondes après la fermeture, le temps que le capteur de température de précision SBE35 réalise sa série de mesures.

Lorsque deux bouteilles doivent être fermées au même palier, l'utilisateur doit attendre au moins SampleNum x 1.1 secondes avant la fermeture de la suivante, sinon, la dernière mesure ne sera pas enregistrée en mémoire, et un décalage interviendra. Si SampleNum=8, il faudra attendre au minimum 8,8 secondes.
Nous conseillons d'attendre 20 secondes, comme pour les autres paliers.

Récupération des données

* Sea-Bird SBE35 Data File: * FileName = C:\SEASOFT\PIRATA-FR28\data\sbe35\FR28031.asc * Software Version 1.59 * Temperature SN = 0102 * Conductivity SN = 0102 * System UpLoad Time = Mar 27 2018 09:31:35 ** Cruise: PIRATA-FR28 ** Ship: THALASSA ** Station:31 ** Date (DD/MM/YYYY): ** Heure (HH:MM:SS): ** Latitude (DD MM.CCC S): ** Longitude (DD MM.CCC S): ** Nombre de bouteilles claquées: ** Operator: ** Commentaires: * ds * SBE35 V 2.0a SERIAL NO. 0102 27 Mar 2018 09:31:04 * number of measurement cycles to average = 8 * number of data points stored in memory = 31 * bottle confirm interface = SBE 911plus * S> * SBE35 V 2.0a SERIAL NO. 0102 * 27-jan-2018 * A0 = 4.008548030e-03 * A1 = -1.045249880e-03 * A2 = 1.634563610e-04 * A3 = -9.163550700e-06 * A4 = 1.973398470e-07 * SLOPE = 1.000000 * OFFSET = 0.000000 * S> *END* dd1,11 1 27 Mar 2018 00:35:12 bn = 1 diff = 109 val = 462480.8 t90 = 7.643714 2 27 Mar 2018 00:38:16 bn = 2 diff = 99 val = 437275.4 t90 = 8.944913 3 27 Mar 2018 00:41:15 bn = 3 diff = 228 val = 406991.2 t90 = 10.624520 4 27 Mar 2018 00:44:12 bn = 4 diff = 139 val = 376609.7 t90 = 12.457157 5 27 Mar 2018 00:47:08 bn = 5 diff = 411 val = 346625.1 t90 = 14.437091 6 27 Mar 2018 00:48:55 bn = 6 diff = 82 val = 331832.3 t90 = 15.486439 7 27 Mar 2018 00:50:44 bn = 7 diff = 3140 val = 268905.9 t90 = 20.630932 8 27 Mar 2018 00:51:15 bn = 8 diff = 1211 val = 268303.3 t90 = 20.686610 9 27 Mar 2018 00:53:35 bn = 9 diff = 1883 val = 224626.4 t90 = 25.150459 10 27 Mar 2018 00:55:25 bn = 10 diff = 24 val = 200823.3 t90 = 28.021602 11 27 Mar 2018 00:57:05 bn = 11 diff = 49 val = 200838.8 t90 = 28.019613

Traitement

Une fois les données de la station récupérées, un logiciel écrit en Perl extrait l'ensemble des données des fichiers bouteilles (.btl) et des fichiers SBE35 (.asc) pour générer un fichier global avec les 3 colonnes de température SBE35, TE01 pour le capteur de température primaire et TE02 pour le secondaire.

PIRATA-FR28 THALASSA IRD SBE32 standard 12 Niskin bottles unkn PRFL BOTL PRES DEPH ETDD TE35 TE01 TE02 PSA1 00001 -1 59.689 11.4806 -22.9918 20180301163159 1e36 1e36 1e36 1 00001 1 4061.0 4000.4 60.749038 2.37383 2.3736 2.3741 34.8943 00001 2 4061.9 4001.3 60.749414 2.37382 2.3735 2.3739 34.8943 00001 3 4062.7 4002.1 60.749832 2.37377 2.3734 2.3739 34.8942 00001 4 4063.2 4002.6 60.750179 2.37359 2.3733 2.3738 34.8943 00001 5 4063.9 4003.2 60.750549 2.37352 2.3732 2.3737 34.8942 00001 6 4064.9 4004.2 60.750881 2.37345 2.3732 2.3736 34.8942 00001 7 4065.1 4004.5 60.751347 2.37302 2.3730 2.3734 34.8942 00001 8 4066.3 4005.6 60.751718 2.373 2.3727 2.3732 34.8942 00001 9 4067.7 4007.0 60.752064 2.37314 2.3729 2.3733 34.8941 00001 10 4068.1 4007.4 60.752432 2.37337 2.3730 2.3734 34.8942 00001 11 4069.5 4008.8 60.752823 2.37353 2.3732 2.3736 34.8942 ... 00031 -1 85.014 -5.0008 -10.0020 20180327001930 1e36 1e36 1e36 1 00031 1 504.4 501.0 86.024343 7.64371 7.6475 7.6487 34.6761 00031 2 402.5 399.9 86.026468 8.94491 8.9437 8.9440 34.8063 00031 3 302.0 300.2 86.028543 10.6245 10.6218 10.6222 34.9899 00031 4 201.0 199.8 86.030585 12.4572 12.4551 12.4549 35.2169 00031 5 100.9 100.3 86.032624 14.4371 14.4399 14.4404 35.4870 00031 6 81.0 80.5 86.033864 15.4864 15.4860 15.4861 35.5919 00031 7 60.7 60.4 86.035129 20.6309 20.6298 20.6294 36.0022 00031 8 60.6 60.3 86.035486 20.6866 20.7125 20.7141 36.0023 00031 9 39.7 39.5 86.037103 25.1505 25.2449 25.2478 36.3363 00031 10 20.3 20.2 86.038380 28.0216 28.0235 28.0240 36.1697 00031 11 2.5 2.5 86.039541 28.0196 28.0205 28.0212 36.1709

Script Perl d'extraction des données :

Un script Python est en cours d'écriture et sera disponible sous peu.

Liens

Bibliography

Swift, J. H. (2010) Reference-Quality Water Sample Data : Notes on Acquisition, Record Keeping, and Evaluation. In, The GO-SHIP Repeat Hydrography Manual : A Collection of Expert Reports and Guidelines. Version 1, (eds Hood, E.M., C.L. Sabine, and B.M. Sloyan), 38pp. (IOCCP Report Number 14 ; ICPO Publication Series Number 134). Available online at : http://www.go-ship.org/HydroMan.html.
Le Menn, M. (2007) Instrumentation et métrologie en océanographie physique. Hermes science.
Notes on CTD/O2 Data Acquisition and Processing Using Sea-Bird Hardware and Software

Manuel de dépannage d'une sonde CTD Seabird

2018-02-16T11:42:18Z

Mise à jour : 28/11/2019

Introduction

Lors des campagnes océanographiques, des profils verticaux sont réalisés à intervalles réguliers avec une sonde CTD-02, pour "Conductivity-Temperature-Depth-Oxygen". Cet instrument permet de mesurer avec une très grande précision la température, la salinité et oxygène dissous de l'océan le long de la colonne d'eau par la mesure de la pression.

La sonde hydrologique CTD-02 qui est le plus fréquemment utilisée dans les laboratoires est une sonde de marque SEABIRD, modèle SBE911+V2, sonde qui est équipée des capteurs suivants :

un capteur de pression de type Digiquartz® développé par la société Paroscientific Inc. Il est muni d'un capteur de température interne afin d'effectuer une correction de température sur la mesure de pression. Il permet de réaliser des mesures de 0 à 10000 psi ('pound per square inch, absolute') soit 6800 dbars, avec 1 dbar=1.4503774 psia et une résolution de 0.001% de la pleine échelle (soit 0.068 dbar) et une exactitude de 0.015% de la pleine échelle (soit environ 1 dbar).
deux capteurs de température ; capteurs à sonde de platine, permettent des mesures entre -5°C et +35°C, avec une résolution de 0.0002°C et une exactitude de 0.002°C.
deux capteurs de conductivité ; capteurs à électrodes placés dans un tube en verre, mesurent la conductivité absolue. La gamme de mesure se situe de 0 à 7 S/m (Siemens par mètre, équivalent à 0-70 mho/cm) , avec une résolution de 4.10-5 S/m et une exactitude de 0.0003 S/m.
deux capteurs capteurs d'oxygène dissous, à membrane polarographique, permettent des mesures dans une gamme de 0 à 120% de saturation et une exactitude de 2% dans la gamme de mesure.
deux pompes externes relient chacun des jeux de capteurs T/C et 02, afin d'assurer une meilleure synchronisation de leurs réponses dynamiques. De même, chaque capteur de température est relié au capteur de conductivité par un conduit (TC duct), afin que les 2 capteurs mesurent exactement la même eau. Le capteur de température ayant un temps de réponse de 70 ms, l'eau de mer en passant dans le TC-duct met exactement 70 ms pour être mesurée par le capteur de conductivité, capteur dont la réponse est instantanée.

Cette sonde hydrologique CTD-02 Seabird est généralement installée horizontalement sur un châssis sur lequel est incorporé une "rosette" ou "carousel" suivant le fabricant. Cette rosette permet d'échantillonner à la remontée de l'eau de mer à différentes profondeurs. Elle peut être équipée de 12 ou 24 bouteilles de prélèvements de capacités variables allant de 5 à 12 litres suivant l'espace disponible à bord du navire et les besoins des équipes scientifiques.

Des capteurs supplémentaires peuvent être installés sur la CTD ou sur le châssis de la rosette, voir ci dessus la photo d'une CTD Seabird 911+ et d'un carousel SBE32 sur le N/O Antea. La sonde CTD-O2 est équipée de capteurs supplémentaires :

un fluorimètre ECO-FL de chez Wetlabs pour la mesure de la chlorophylle.
un transmissiomètre C-Star de chez Wetlabs.
un capteur de lumière (PAR).
un altimètre pour mesurer la distance entre la CTD et le fond.
2 LADCP (courantomètre Doppler) pour la mesure du courant le long du profil vertical.

Les prélèvements sont effectués à la remonté et des analyses seront effectués par les équipes de chimistes, soit à bord, soit de retour au laboratoire après conservation des échantillons.

L'ensemble du système de mesure que l'on nomme communément "bathysonde" est relié au navire par un câble électro-porteur mis en œuvre avec un treuil électrique dédié.

L'unité de pont SBE11 (deck-unit) est reliée à un contact tournant en sortie du treuil permettant d'alimenter la bathysonde en énergie électrique et de récupérer les données en temps réel avec un ordinateur relié à l'unité de pont. Le logiciel Seasave fournit par Seabird va extraire dans le flux d'information les données brutes des capteurs (des valeurs de fréquences et de tensions) pour les convertir en grandeurs physiques à partir des coefficients de calibrations des capteurs utilisés.

Le système de mesure est composé des éléments suivants :

Chaine alimentation
1. Unité de pont
2. Contact tournant
3. Cable electro-porteur
4. Epissure
Bathysonde
1. Conteneurs étanches
  1. CTD SBE9
  2. Carousel SBE32
  3. Capteurs
  4. Pompes
2. Câbles
3. Connecteurs étanches
Chaine d'acquisition
1. PC d'acquisition
2. Interfaces
3. Logiciel d'acquisition Seasave

Étant donné qu'une bonne partie des éléments constituants la chaine de mesures sont utilisés dans l'eau de mer, milieu hostile par définition, lors d'un dysfonctionnement, il n'est pas toujours aisé de déterminer l'origine du problème. L'objectif de ce document est de faciliter le diagnostique des pannes par un partage de nos expériences vécues.

Confection d'un câble de test

Ce câble permettra de vérifier rapidement le bon fonctionnement de la bathysonde SBE911+ en reliant directement l'unité de pont (deck-unit) SBE11+ à la CTD-O2 SBE9+ :

se procurer auprès de Seabird un câble PN 80915 SBE9plus to SBE 11plus (with XSG connector, length 10 m), DN 31314B
si la distance entre l'unité de pont et la CTD est importante, confectionner un câble de test de 30 m avec des prises BNC serties aux 2 extrémités et couper le câble PN 80915 en y sertissant des prises BNC femelle à chaque extrémité.

Branchement du câble électro-porteur

Tester l'isolement et la continuité du câble avant d'effectuer la connexion de la bathysonde.
Brancher l'unité de pont, vérifier avec un voltmètre à l'autre extrémité du câble électro-porteur la présence du 250 V continu à la mise sous tension.
Mettre l'unité de pont hors tension.
Réaliser l'épissure, voir le billet sur le sujet.
Vérifier de nouveau avec un voltmètre sur le connecteur étanche RMG-2FS la présence du 250 V continu à la mise sous tension de l'unité de pont.
Si tout est correct, mettre l'unité de pont hors tension.
Brancher la CTD avec le connecteur étanche RMG-2FS
Mettre l'unité de pont sous tension et vérifier son bon fonctionnement.

En cas de problème, on alimentera directement la CTD sur le pont avec le câble de test afin d'isoler l'origine de la panne : la CTD ou bien l'ensemble câble électro-porteur.

Quelques exemples de pannes

Collecteur tournant :
Il assure la continuité électrique au niveau du treuil entre l'alimentation en provenance de l'unité de pont SBE11+ et le câble électro-porteur.

Cette continuité est obtenue avec l'utilisation d'une boite de jonction ou en réalisant une soudure étanche directement sur le câble. Si la soudure n'est pas correctement réalisée, ou si elle est soumise à des efforts mécaniques trop importants lors de la rotation du treuil, il se peut que le conducteur en sortie du collecteur se coupe, avec comme effet une panne alimentation franche, assez facile à détecter.
Il m'est déjà arrivé de réaliser l'ensemble des tests : tests d'isolement et de continuité bons, test d'alimentation de la CTD correct puis à la troisième mise sous tension, plus rien, la CTD ne semble plus alimentée !.
On utilise alors le câble de test, en direct, pour vérifier que la CTD fonctionne toujours correctement. Dans l'affirmative, c'est soit l'épissure, soit le collecteur tournant.
Dans ce cas présent, il ne restait sans doute qu'un seul brin de cuivre sur la soudure entre le contact tournant et le câble électro-porteur, brin qui à du faire fusible à la troisième mise sous tension !

Court circuit : dans cet exemple, une vis mal serrée dans la boite de jonction située sur le flasque du treuil et assurant la liaison électrique et mécanique entre le contact tournant et le câble électro-porteur réalisait un court circuit intermittent, perturbant fortement la qualité du signal ! En cas de court-circuit franc, c'est le fusible du circuit alimentation de la bathysonde, nommé "sea-cable" sur la face arrière de l'unité de pont qui doit fondre (500 mA rapide). Il est fortement conseillé d'en avoir un stock conséquent à bord.

Épissure :
Voir l'article "Réaliser une épissure sur un câble électroporteur"
Les symptômes d'une épissure défaillante sont :

Court-circuit franc : le fusible rapide "sea-cable" fond.

Bathysonde sur le pont, débrancher les connecteur alimentation et vérifier que le + et le moins ne sont pas en court-circuit.
Vérifier l'isolement avec un mégohmmètre.
Si tout est normal, brancher un voltmètre sur le connecteur étanche RMG-2FS et mesurer le voltage à la mise sous tension, on doit avoir environ 250 V continu. Vérifier les polarités.
Si le 250V continu est présent, brancher la sonde et bouger l'épissure, en cas de rupture proche, on doit avoir des faux contacts, si c'est le cas, couper l'alimentation et refaire l'épissure.

Le fusible rapide "sea-cable" peut également fondre avec un problème sur un des capteurs, voir ci-dessous.

Câbles - Connecteurs

Les câbles sont un des éléments sensibles et fragiles du système. Sur une sonde Seabird, ils sont nombreux, voir envahissants si l'on équipe la CTD avec des capteurs supplémentaires et/ou le châssis de la bathysonde de courantomètres Doppler LADCP. Il faudra prendre un soin tout particulier lors de la mise en place des câbles et de leur fixation. En effet, ils peuvent vibrer lors du profil (réalisé à 1 m/s) et finir par engendrer des faux-contacts.

Privilégier l'utilisation de ruban adhésif comme le Scotch 3M 33+ par rapport aux colliers plastique de type Legrand, Penduit ou Hellerman, qui auront tendance à martyriser le revêtement néoprène du câble qui en assure l'étanchéité.

Ne pas laisser de câble volant ou mal assuré, sous peine de les voir vibrer puis rompre.

Lors du démontage, ne pas utiliser de cutter pour couper le scotch.

Les connecteurs des séries RMG de chez Impulse sont bien souvent assez difficiles à mettre en place ou à enlever.
Éviter des les manipuler lorsqu'ils sont à basse température et les réchauffer légèrement (dans le creux de la main) avant montage.
Après chaque démontage, il faut impérativement les nettoyer avec de l'alcool isopropylique et graisser sans excès les portées avec de la graisse silicone.

Les contacts :

Pulvériser avec une bombe nettoyant contact pour la partie femelle, afin d'enlever l'oxydation et supprimer les traces d'humidité.
Nettoyer avec l'alcool isopropylique les contacts mâle.
Lorsque ces derniers sont fortement oxydés, utiliser une brosse à dent trempée dans un peu d'acide acétique (vinaigre). Stopper l'attaque en rinçant à l'eau douce tiède une fois que les contacts ont retrouvés un aspect normal puis nettoyer avec l'alcool isopropylique.

Les portées :

Nettoyer avec une lingette en coton non pelucheux et de l'alcool isopropylique puis graisser très légèrement avec de la graisse silicone (parker O ring ou Molycotte).

On montage, on doit entendre le bruit caractéristique de l'air qui est chassé (ploc !).
Si ce n'est pas le cas, l'eau peut entrer légèrement dans le connecteur lors des premiers mètres de la descente et induire une corrosion lente. Au bout de quelques profils, et sous l'effet de la pression, un court-circuit peut se produire de façon aléatoire lors de la descente. Et tout fonctionne normalement une fois la CTD sur le pont ! Dans ce cas, débrancher un par un tous les capteurs et vérifier l'état des connecteurs, voir exemple ci-dessous.

Une panne équivalente peut arriver avec le connecteur 2 broches d'alimentation.
Comme l'alimentation est en 250 Volts, il peut se produire un arc électrique avant le claquage du fusible, avec dépôt de carbone entre les 2 contacts. Le connecteur a l'air en bon état mais il est à changer car il est en court-circuit. Il faut dans ce cas, ouvrir la CTD et changer le connecteur du TAP supérieur. Le diagnostic à l'ohmmètre est impossible tant que le connecteur n'est pas débranché de l'électronique.

La diode D1 de la carte Sea-cable interface (SBE9+) peut dans certain cas être à changer.

Pompes

Les sondes Seabird 911plus utilisent pour chaque jeu de capteurs un circuit pompé à vitesse constante qui permet de s'affranchir en grande partie des problèmes liés à la différence des temps de réponse des capteurs de température et conductivité et dans une moindre mesure de l'oxygène.
La sonde est généralement équipé de 2 jeux de capteurs redondant, avec une pompe pour chaque circuit T/C/O2. Les 2 pompes sont alimentés en 12 volts par un câble en Y relié à un unique connecteur 2 broches JB3. Un circuit de détection fait que les pompes ne sont alimentés que lorsque le capteur de conductivité primaire est plongé dans l'eau de mer après un délais d'environ 60 secondes.
Pour tester le bon fonctionnement des pompes au laboratoires sans avoir à plonger le capteur primaire dans l'eau de mer, il suffit de d'intervertir les capteurs de température et conductivité du circuit primaire. Brancher le capteur COND 1 sur JB1 et TEMP1 sur JB2. A 20 °C, la fréquence de sortie du capteur de température est supérieure à 4000 hz et suffit à faire démarrer la pompe au bout de 60 secondes.

Attention : Les pompes étant lubrifiées par l'eau de mer, ne pas les laisser fonctionner dans l'air plus de quelques secondes.

Pour la maintenance de la pompe, voir la vidéo "SBE 5T Pump Maintenance" sur le site web de Seabird.

Exemples de pannes de pompes ou de faux contacts sur le câble d'alimentation en Y :

Profil d'une station correct : on observe tout juste un léger décalage absolu entre les 2 profils descente/monté et capteurs primaire/secondaire d'oxygène, écart qui sera corrigé lors de l'étape d'ajustement avec les prélèvements bouteilles analysés par la méthode de "Winkler" :

Profil d'une station où on observe un problème sur la pompe du circuit primaire à la fin du profil descente vers 2220 dbars. Dans ce cas particulier, la pompe du circuit primaire a été changée avec succès pour le profil suivant :

Faux contact sur le câble en Y : on observe des données bruitées en début de profil.

Inversion des coefficients de calibration des capteurs d'oxygène : on observe des profils d'allures identiques mais de valeurs absolues fort éloignées :

Un dernier exemple montrant ce qu'il se passe lorsque l'eau ne circule pas correctement dans les capteurs. Ici, le bouchon protégeant le circuit de pompage entre 2 stations a été oublié par mégarde :

Et voici le résultat sur la même station sans le bouchon :

Pannes électroniques

Perte du signal du capteur de pression Digiquartz

Ce problème a été rencontré 2 fois :

à la suite probable d'un choc lors du transport (1 fois)
à la suite de la pose « brutale » de la CTD sur le pont

Plus de signal du capteur de pression : les fils issus du capteur de Pression interne Digiquartz sont coupés au niveau de l'arrivée sur la carte « bottom end cap wiring » de la SBE9+.

Erreur de câblage de l'utilisateur

Sea-cable power connecté sur l'embase « bottom contact »

Cela se traduit par une erreur globale du système. La carte « modulo 12P » de la SBE9+ est endommagée. Le 250 V continu va détruire le circuit U3 (registre à décalage CD4021 ), ainsi que le circuit U4 (compteur 12 bits CD4040) qui grille sur la carte Modulo 12P.

Selon Seabird, si le Sea-cable est laissé connecté plus de 30sec sur le bottom contact cela peut également endommager la carte logic1 et la carte AP counter dédiée à la mesure de la pression (circuit U7 grillé).
Les 5 cartes AP counter utilisées pour les mesures de fréquence sont interchangeables.

Si une nouvelle carte Modulo 12P est mise en place, il faut refaire un
étalonnage de la chaine de mesure du capteur de température AD590 du capteur de pression Digiquartz (convertisseur A/D 12 bits U5 et ampli OP U6) pour re-calculer les coefficients M et B.
Deux points suffisent pour déterminer la pente du circuit de mesure. Il est fortement conseiller de déterminer ces coefficients au laboratoire à la réception de la carte de rechange.

Depuis 2007, Seabird a modifié le connecteur JB6 (RMG-2FS) du poisson SBE9+ par un connecteur VSG-2BCL et remplacé le câble par un RMG-2FS to VMG-2FS. Voir l'Application Notes 86.

Sea-cable power connecté sur l'embase dédiée à une pompe

Cela se traduit par une erreur globale du système.
Dans notre cas, la carte Modulo 12P de e la CTD SBE9+ a été endommagée :
Zener D2, condensateur C20 et circuit U7 ont grillé.
Selon Seabird la carte « transmit card » peut également être endommagée dans ce type d'erreur de câblage, notamment les composants en ligne avec l'alimentation de la pompe C8, R8 et Q5 sur transmit card de SBE9+)

Sur les CTD récentes, l'emplacement des connecteurs est marqué sur les "TAPs". Il est tout de même recommandé d'imprimer les plans de situation des TAPs avant toute tentative de nouvelle connexion à bord.

Court-circuit important sur le câble d'alimentation

Cela s'est traduit par 3 circuits grillés (U5, U6, U9) sur la carte Modulo 12P de la SBE9+

Affichage en boucle continue de séries de 0000, 1111, 2222, 3333, etc…

L'alimentation (+5V, +/- 12V) a été remplacée dans la deck unit SBE11+.

Démarrage transitoire de la pompe

CTD dans l'eau, la pompe démarre un bref instant puis s'arrête. Il faut dans ce cas éteindre puis rallumer l'unité de pont et attendre de nouveau 1 minute que les pompes démarrent. Si le problème survient de façon répétitive, soit changer la carte "Transmitter and pump delay", ou remplacer le circuit U6A, une bascule CD4013.

Tests et mesures sur les cartes électroniques

Pour réaliser les tests et mesures sur les cartes électroniques en fonctionnement, il est préférable, sinon nécessaire de commander un prolongateur de carte chez Seabird.

Carte que l'on viendra insérer entre le châssis de la CTD et la carte à tester, voir Sbe9plus Manual, page 60.

Liens

Bibliographie

R. Chuchla. Traitement des données CTDO2, document scientifique et technique. IRD Centre Bretagne N°88. 2001.
P. Pederson. A modular high resolution CTD system, 1984
M. Pederson. Development of a small In-Situ conductivity instrument, 1979.
G. Larson. Calibration of oceanographic CTD instruments : Methods and tracability, 1993.

Best pratctices

K.E. McTaggart GO-SHIP : Notes on CTD/O2 data acquisition and processing using SEA-BIRD hardware , 2010.
A.M. Thurnherr. GO-SHIP : A manual for acquiring lowered doppler current profiler, 2010.

MSYS2 : des outils de développement UNIX sous Windows

Jacques Grelet — 2017-11-04T18:21:52Z

Mise à jour : 04/11/2017

Introduction

À l'origine, MSYS2 est une réécriture moderne et indépendante de MSYS, basée sur Cygwin (couche de compatibilité POSIX) et MinGW-w64 dans le but d'une meilleure interopérabilité avec les logiciels Windows natifs. Il fournit un shell, des systèmes de contrôle de codes sources pour créer des applications Windows natives à l'aide des chaînes d'outils de compilations MinGW-w64.

Il dispose d'un système de gestion des paquets basé sur Pacman (ArchLinux) pour faciliter l'installation des paquetages. Il apporte de nombreuses fonctionnalités puissantes telles que la résolution des dépendances et de mises à niveau du système.

L'installation de MSYS2 sur un PC sous Windows 7 nous permettra d'avoir à disposition un shell Unix (bash) dans une console (ConEmu de préférence) ainsi que les interpréteurs nécessaires aux traitement de données (Perl, Python). L'édition de programmes pourra être réalisée avec Visual Studio Code (VSC) et la compilation d'exécutables (C/C++/Go) directement dans la fenêtre terminal de VSC avec des outils comme make.

Installation de MSYS2

Télécharger l'exécutable depuis la page "MSYS2 installer" et suivre les instructions (en Anglais) puis les différentes étapes de mise à jour de la distribution. Pas de réelle difficultés jusque la.
Personnellement, j'installe les outils opensource sous c :\opt, donc le répertoire d'installation de MSYS2 sera sous C:\opt\msys64.

Mettre à jour la distribution avec les commandes suivantes :

$ pacman -Syu
$ pacman -Su

puis installer les paquetages nécessaires pour notre environnement de développement sous Windows.

Installation des paquetages supplémentaires
Par exmple, pour compiler un programme utilisant la librairies NetCDF nativement sous Windows, nous aurons besoin du programme pkg-config pour spécifier au compilateur gcc l'emplacement des fichiers d'entête et librairies. Pour vérifier si pkg-config est déjà installé sur le système, nous allons interroger le gestionnaire de paquets pacman :

$ pacman -Ss pkg-config
mingw32/mingw-w64-i686-pkg-config 0.29.2-1 (mingw-w64-i686-toolchain) A system for managing library compile/link flags (mingw-w64)
mingw64/mingw-w64-x86_64-pkg-config 0.29.2-1 (mingw-w64-x86_64-toolchain) A system for managing library compile/link flags (mingw-w64)
msys/pkg-config 0.29.2-1 (base-devel) A system for managing library compile/link flags

Le programme pkg-config dépend du paquetage base-devel, il est alors possible d'installer uniquement le programme voulu avec ses dépendances :

$ pacman -S pkg-config
resolving dependencies...
looking for conflicting packages... Packages (2) glib2-2.48.2-1 pkg-config-0.29.2-1 Total Download Size: 1.88 MiB
Total Installed Size: 10.38 MiB :: Proceed with installation? [Y/n] Y
:: Retrieving packages... glib2-2.48.2-1-x86_64 1737.5 KiB 1823K/s 00:01 [########################] 100% pkg-config-0.29.2-1... 185.7 KiB 60.5M/s 00:00 [########################] 100%
(2/2) checking keys in keyring [########################] 100%
(2/2) checking package integrity [########################] 100%
(2/2) loading package files [########################] 100%
(2/2) checking for file conflicts [########################] 100%
(2/2) checking available disk space [########################] 100%
:: Processing package changes...
(1/2) installing glib2 [########################] 100%
Optional dependencies for glib2 gamin: for gio fam module python2: for gdbus-codegen and gtester-report
(2/2) installing pkg-config [########################] 100%

Une alternative peut consister à installer l'ensemble des programmes du paquet ou de ne sélectionner que ceux strictement nécessaires comme ci-dessous :

$ pacman -S base-devel
:: There are 55 members in group base-devel:
:: Repository msys 1) asciidoc 2) autoconf 3) autoconf2.13 4) autogen 5) automake-wrapper 6) automake1.10 7) automake1.11 8) automake1.12 9) automake1.13 10) automake1.14 11) automake1.15 12) automake1.6 13) automake1.7 14) automake1.8 15) automake1.9 16) bison 17) diffstat 18) diffutils 19) dos2unix 20) file 21) flex 22) gawk 23) gdb 24) gettext 25) gettext-devel 26) gperf 27) grep 28) groff 29) help2man 30) intltool 31) lemon 32) libtool 33) libunrar 34) libunrar-devel 35) m4 36) make 37) man-db 38) pacman 39) pactoys-git 40) patch 41) patchutils 42) perl 43) pkg-config 44) pkgfile 45) quilt 46) rcs 47) scons 48) sed 49) swig 50) texinfo 51) texinfo-tex 52) ttyrec 53) unrar 54) wget 55) xmlto Enter a selection (default=all):

Il est également possible de spécifier la liste des programmes à installer sur la ligne de commande :

$ pacman -S dos2unix gdb libtool perl make pkg-config texinfo xmlto git gcc tar

Configuration

Une fois installé, lorsque nous exécutons MSYS2 depuis le menu "démarrer/tous les programmes", nous obtenons un shell dans une console DOS comme ceci :

Je conseille d'utiliser ConEmu comme alternative à l'antique console Windows qui n'a quasiment pas évoluée depuis 20 ans.
ConEmu est un logiciel qui permet d'ouvrir plusieurs consoles dans une seule et même fenêtre grâce à des onglets. Il est facilement personnalisable et on peut l'utiliser pour ouvrir des consoles DOS, PowerShell, Bash, Putty, voir Docker. Il permet une meilleure intégration du presse papier comme c'est le cas avec les console Linux (touche shift+Insert ou clic droit avec la souris).
Pour utiliser MSYS2 avec ConEmu, rajouter une entrée depuis le menu "Setting/Startup/Tasks" en cliquant sur le bouton "+". Modifier son nom par "Bash::Msys2-64" et entrer la ligne suivante dans la fenêtre "commands" en adaptant le chemin d'accès à votre configuration, ici : %ConEmuDrive%\opt

set CHERE_INVOKING=1 & %ConEmuDrive%\opt\msys64\usr\bin\bash.exe --login -i -new_console:c:\opt\msys64\msys2.ico"

Par défaut, MSYS2 n'hérite pas de la variable %PATH% de Windows.
Rajouter la ligne suivante qui se trouve dans le fichier msys64\msys2_shell.cmd :

set MSYS=winsymlinks:nativestrict
set MSYS2_PATH_TYPE=inherit

Utilisation de pkg-config :

PKG_CONFIG_PATH definie dans le fichier C :\opt\msys64\etc\makepkg_mingw64.conf
dans son env (C :\opt\msys64\home\jgrelet)
PKG_CONFIG_PATH=$PKG_CONFIG_PATH :/c/Qt/qt-5.4.1/qt-5.4.1-x64-mingw492r1-seh-opengl-rev1/lib/pkgconfig :/c/opt/netCDF/lib/pkgconfig

test :

$ pkg-config --list-all|grep netcdf
netcdf netCDF - NetCDF Client Library for C
$ pkg-config --libs --cflags netcdf
-IC:/opt/netCDF/include -LC:/opt/netCDF/lib -lnetcdf -lhdf5 -lhdf5_hl -lzlib

Liens utiles

En français
- Archlinux Pacman
- ConEmu, une nouvelle console pour Windows

En anglais

Visual Studio Code

Jacques Grelet — 2017-11-03T13:38:10Z

Mise à jour : 08/12/2020

Introduction

Visual Studio Code (VS Code) est un IDE (environnement de développement) opensource, multiplateforme développé par Microsoft. Il intègre plusieurs fonctionnalités facilitant le développement comme la coloration syntaxique, le système d'auto-complétion IntelliSense, la gestion du code source avec une intégration simple et puissante de Git, le support de terminal intégré qui permet de sélectionner et d'utiliser le Shell de votre plateforme de développement.

L'interface de VS Code est divisée en 5 panneaux (layout)

Editeur : la zone principale pour éditer vos fichiers. Vous pouvez ouvrir jusqu'à trois éditeurs côte à côte.
Barre latérale : contient les différentes vues comme l'explorateur, la gestion du code source avec Git.
Barre d'état : informations sur le projet ouvert et les fichiers que vous modifiez.
Barre d'activité : située à l'extrême gauche, cette barre vous permet de passer d'une vue à l'autre et vous fournit des indicateurs contextuels supplémentaires, tels que le nombre de modifications réalisées lorsque Git est activé.
Panneaux : vous pouvez afficher différents panneaux sous la zone de l'éditeur pour visualiser les informations de sortie ou de débogage, des erreurs ou avertissements. L'onglet le plus à droite affiche un terminal intégré entièrement paramétrable.

Il est possible de réaliser dans ce terminal toutes les opérations nécessaires lors de la mise au point du projet : interpréteur de commandes, compilation, makefile, utilisation de Git en ligne de commande, etc....

Avec l'ajout d'extensions, il devient très facile de gérer l'ensemble des fichiers constituant un projet sous GitHub, tel que les fichiers YAML (pour la configuration de la plateforme d'intégration continue Travis-CI), TOML pour les fichiers de configuration, Markdown pour l'affichage des fichiers d'aide sur le Web, etc. Les extensions possèdent toutes un mode de pré-visualisation qui permet d'accélérer la productivité sans avoir besoin de tester le rendu final de l'affichage sur la plateforme dédiée distante.

Configuration

Pour modifier les préférences utilisateur, le raccourci clavier (Ctrl+,). Les préférences sont enregistrées dans le fichier "setting.json" sous :

Windows : %APPDATA%\Code\User\settings.json
Mac : $HOME/Library/Application Support/Code/User/settings.json
Linux : $HOME/.config/Code/User/settings.json

Par exemple, pour utiliser VS Code avec MSYS2, entrer le chemin d'accès de la commande bash pour le champ "terminal.integrated.shell.windows". Notez l'utilisation du double "backslash" :

// Placez vos paramètres dans ce fichier pour remplacer les paramètres par défaut { "terminal.integrated.shell.windows": "C:\\opt\\msys64\\usr\\bin\\bash.exe" }

Pour utiliser le compilateur TDM-GCC-64, nous utiliserons les commandes suivantes car il est nécessaire de passer des arguments :

"terminal.integrated.shell.windows": "C:\\Windows\\system32\\cmd.exe", "terminal.integrated.shellArgs.windows": ["/k","C:\\opt\\TDM-GCC-64\\mingwvars.bat"]

Si l'on veut compiler un programme Go avec les binaires de la librairie NetCDF, il faut installer la chaine de compilation mingw-64 ainsi que le shell MSYS. Le programme pkg-config étant utilisé par cgo, il faudra modifier le fichier de configuration netcdf.pc de la librairie NetCDF pour réaliser correctement l'édition des liens.

Rajouter la ligne suivante dans fichier de préférence pour utiliser le shell Bash à la place de l'interpréteur Windows :

"terminal.integrated.shell.windows": "C:\\MinGW\\msys\\1.0\\bin\\bash.exe",

Il faudra également rajouté les lignes suivantes dans le path Windows :

C:\MinGW\msys\1.0\bin C:\mingw-w64\x86_64-4.9.3-win32-seh-rt_v4-rev1\mingw64\bin

Analyseur syntaxique :

Pour les programmes écrit en Go, la syntaxe du code est validée par défaut lors de la sauvegarde du fichier avec l'outil golint. Il est possible et fort pratique de vérifier la syntaxe au cours de la saisie en ajoutant les lignes suivantes dans son fichier de préférence :

"go.liveErrors": { "enabled": true, "delay": 500 }

Fonctions de recherche/remplacement

VS Code possède des fonctions de recherche avancée que ce soit sur le fichier ouvert dans l'éditeur, ou depuis le volet explorateur. Il est possible d'utiliser des expressions régulières comme motif de recherche et d'effectuer des recherches/remplacements sur l'ensemble des fichiers d'un répertoire, voir "Search Across Files" dans la documentation en ligne. Touche de raccourci Ctrl+Shift+F

Utilisation de WSL

Lorsque l'on programme avec des logiciels nécessitant l'installation de nombreux modules externes comme c'est le cas avec les langages Python, Perl, voir Go, il est généralement beaucoup plus simple d'installer les librairies tierces sous Linux que sous Windows. Le sous système pour Linux (WSL) que l'on peut installer avec Windows 10 est une excellente alternative permettant de développer, tester et d'utiliser des applications Linux sous Windows. VSC, voir le billet Configuration et utilisation de WSL.

Utilisation de shell multiples

L'extension Shell launcher permet de lancer facilement plusieurs configurations de shell dans le terminal.
Un raccourci clavier Ctrl+Shift+t (paramétrable) affiche une sélection rapide qui permet de choisir l'un des shells de terminal configurés au préalable, utile si on veut tester le bon fonctionnement un script Python soit sous Windows ou soit sous Linux.

Synchronisation de la configuration entre plusieurs PC

Si vous programmez sur plusieurs machine : PC de bureau, votre portable, une machine de test, vous vous rendez compte qu'il devient rapidement fastidieux d'installer manuellement l'ensemble des extensions nécessaires, de modifier les fichiers json de configuration, etc.

Pour cela, l'extension Settings sync va vous permettre de sauvegarder l'ensemble de vos paramètres de développement dans un Gist, puis de les charger plus tard, dans un nouvel environnement.
La plateforme gist offerte par Github permet de partager instantanément des codes, des notes et des bribes de données.

Une fois l'extension installée, suivre pas à pas la documentation qui est assez claire pour créer et mettre à jour votre gist.

Les raccourcis

1. Upload Key : Shift + Alt + U
2. Download Key : Shift + Alt + D

Liste des extensions

Une liste des extensions que j'utilise le plus fréquemment :

Liens utiles

Docker en mer

Jacques Grelet — 2016-11-24T13:16:03Z

Dernière mise à jour : 18/09/2017

Introduction

Lors d'une campagne océanographique, l'équipe scientifique met en œuvre sur les navires de recherche ses propres équipements de collecte de données. Ces navires sont également équipés d'instruments mesurant de nombreux paramètres le long de la route. Il est important, voir primordial, de vérifier en temps quasi réel la qualité des données acquises afin de palier rapidement à tout dysfonctionnement.

Pour cela, il faut extraire les données acquises dans des formats hétérogènes et les transformer dans des formats"standards" comme le NetCDF, ASCII et/ou XML, formats à partir desquels nous pourrons visualiser les données avec des outils génériques comme dataGUI fonctionnant sous Matlab, Ferret ou ODV.

Depuis plusieurs années, j'ai mis en place un Système d'Information (SI) facilement transposable sur l'ensemble des navires de la flotte nationale.
Les données sont collectées dans 2 arborescences de répertoires depuis un partage réseau accessible via samba sous Windows ou NFS pour Linux. Le premier répertoire, nommé "data-raw", contient les données brutes, avec un sous répertoire par instrument de mesure. Le second, "data-processing", contient les données traitées en temps réel, données qui peuvent être corrigées, ainsi que les scripts de traitements associés. Le système d'information contiendra d'autres répertoires comme "data-cal", "data-adjusted" et "data-final" qui seront utilisés généralement après la campagnes, respectivement pour la calibration, l'ajustement et la diffusion des données. Nous trouvons dans notre SI un cinquième répertoire, baptisé "local" qui contiend les scripts et programmes utilisés pendant la campagne. Sous local/etc/skel on trouvera un script shell d'initialisation des alias et des fonctions d'automatisation des traitements.

Actuellement, la quasi totalité des traitements est réalisée par des scripts Perl. Nous avons un script générique par instrument. La configuration de l'ensemble des scripts est définie dans un unique fichier de configuration (.ini) que l'on retrouvera à la racine du répertoire "data-processing".

Le rôle des scripts consiste à lire l'ensemble des fichiers de données présents dans les sous répertoire data, d'extraire les entêtes : date, position, etc ...puis les mesures, qui peuvent être de type profil, trajectoire ou série temporelle. En sortie, nous obtenons un fichier « d'entête », un fichier au format ASCII, un fichier au format XML qui contiendra en plus les méta-data ainsi qu'un fichier au format ODV (Ocean Data View). Le fichier XML est ensuite convertit en NetCDF OceanSITES avec un script Perl de transformation générique.

Un description complète du SI est détaillée dans le document suivant :
Instruction décrivant le Système d'Information, les méthodes d'acquisition et de traitement des données en mer et au laboratoire

Je travaille actuellement sur un programme écrit en langage Go, multiplateforme, qui réalise la lecture et la transformation à la volée dans les différents formats de fichiers pour tous les type d'instrument. La configuration est décrite dans un seul fichier de configuration au format TOML. Ce programme est déjà fonctionnel pour les données des sondes CTD Seabird, voir le projet oceano2oceansitessous Github. Ce programme devrait à terme remplacer les scripts Perl avec l'avantage de pouvoir être utilisé en natif sur le PC d'acquisition.

L'acquisition des données des instruments que nous utilisons est réalisée en majorité avec des logiciel sous Windows. Lorsque j'ai commencé à la fin des années 90 à mettre en place ces traitements, ils étaient réalisés sous Solaris (SUN). L'époque, les navires avaient tous au moins un serveur de ce type en libre service, mais pour retrouver un environnement de développement optimal, il était nécessaire de recompiler dans son répertoire utilisateur une bonne partie des logiciels GNU, le tout sans accès à internet, ni mail !

J'ai ensuite utilisé pendant plusieurs années Cygwin, voir le billet sur le blog de l'unité de service IMAGO, mais son déploiement n'est pas toujours facile et la mise à jour des paquets logiciels m'a bien souvent posée beaucoup de soucis, comme celle des modules Perl PDL et NetCDF. De plus, il m'arrive souvent d'intervenir lors de campagne avec des systèmes d'acquisition appartenant à d'autres laboratoires. Il n'est pas toujours possible d'installer ses propres outils sur des PC qui ne nous appartiennent pas.

A la fin des années 2000, j'ai commencé à utiliser des machines virtuelles, VMware puis VirtualBox. Solutions plus simple à déployer, il suffit d'installer le logiciel de virtualisation sur le PC hôte et de préparer une image Linux du système invité. La mise en place de l'image nécessitant tout de même une phase d'installation et d'administration plus ou moins longue.

Finalement, ces dernières années, j'ai utilisé des mini PC (NUC) sous Linux et même un Rasperry PI pour réaliser la collecte et le traitement automatique des données. Comme nous avons des liaisons Vsat depuis peu sur l'ensemble des navires, il est possible de se connecter en SSH sur ces machines via un VPN et une machine rebond, afin de déployer l'arborescence du SI et préparer la configuration des scripts ainsi que le traitement des données. Il est également possible de vérifier à distance le bon fonctionnement des traitements, ce qui est un réel progrès.

Bon, et bien qu'en est il de Docker dans tout cela ?

En y réfléchissant un peu, il y a 2 bonnes raisons de tester l'utilisation de Docker dans notre contexte de travail :

Créer des images contenant l'ensemble des logiciels nécessaires aux traitements des données, images que l'on pourra faire évoluer et dupliquer facilement d'un système à un autre
Déployer un container Docker sous Linux et l'utiliser sous Windows afin de faire cohabiter sur une même machine les logiciels d'acquisition et de traitement
Faciliter le déploiement et la maintenance de son environnement de travail

Je ne ferais pas une description détaillée de Docker ici, le net foisonne de littérature sur le sujet. Pour installer Docker, aller sur la page Docker for Windows.

Sous Windows 7 et 8, il faut installer Docker Toolbox qui va installer les composants suivants :

Virtualbox : hyperviseur permettant d'exécuter une machine virtuelle (VM).
boot2docker : image ISO légère de Linux lancé avec VirtualBox.
docker.exe : client docker fonctionnant sous Windows
docker-machine.exe : logiciel communiquant avec Virtualbox pour configuer et gérer la machine virtuelle Linux.
Kitematic : logiciel de gestion des images Docker (GUI)
Quickstart terminal : terminal Windows sous bash permettant d'utiliser les images Docker.

Remarque : Il est fortement conseillé d'installer le logiciel ConEmu qui offre toutes les fonctionnalités d'une console Linux sous Windows et intègre l'utilisation de Docker.

Attention : Kitematic ne fonctionne pas si Gow (Gnu On Windows) est installé sur votre PC.
Gow : c'est un ensemble d'utilitaires Unix fonctionnant sous Windows.

Sous Windows 10, Docker fonctionne en natif. Il est donc possible de faire tourner dans un Powershell Windows un conteneur créé depuis une machine Linux et de le mettre à jour via le Docker hub avec un ensembles d'outils offrants des fonctionnalités comparables à celle de Git.

Voici le Dockerfile utilisé pour générer l'image du conteneur sous Github :
https://github.com/jgrelet/docker-oceano

ainsi que le dépôt de l'image sous Docker Hub :
https://hub.docker.com/r/jgrelet/perl/

Lancement de ConEmu puis sélectionner le menu Tools::Docker :

Si Docker est correctement installé sur votre machine, vous devriez obtenir l'écran suivant :

Récupérer l'image sur le Docker Hub avec la commande docker pull :

> docker pull jgrelet/perl

Une fois l'image téléchargée, il est nécessaire que le conteneur puisse accéder aux données. Pour cela il faut configurer l'accès aux dossiers partagés sous VirtualBox. Ici, j'ai ajouté 2 dossiers partagés :

j pour les données de campagnes sur un disque USB externe
m pour les données de campagnes accessibles sur un partage réseau smb

Pour lancer le conteneur, taper la commande suivante :

> docker run -it --rm -e CRUISE=ABRACOS2 -v /m:/data jgrelet/perl /bin/bash

Le conteneur est lancé avec les arguments suivants :

-it : en mode interactif
—rm : le conteneur sera supprimé de la mémoire
-e : la variable d'environnement CRUISE permet de se placer dans l'arborescence du Système d'Information utilisé pour nos campagnes.
-v : le dossier partagés /m est monté au lancement du conteneur

Sous Windows 10, il faut autoriser le partage du disque réseau ou externe pour qu'il soit disponible pour le conteneur :
clic droit sur l'icône Docker de la barre des taches -> settings -> shared drives

En exemple, on lance ci-dessous le traitement des 10 premières stations CTD de la campagne ABRACOS2 ainsi que la génération du fichier NetCDF, exactement comme si on était sur une machine Linux en natif :

Problèmes rencontrés

Lorsque j'ai écrit mon premier Dockerfile, je me suis basé sur une image officielle Perl du Docker Hub, image déployant la dernière version 5.24.0 de Perl.

Après installation des paquets Perl nécessaires pour l'application, impossible de lancer les scripts Perl utilisant les modules installés, le Dynaloader, qui permet de charger dynamiquement des librairies C, ne trouvaient pas c'est librairies, faisant référence à des chemins pointant vers une version 5.20.2 alors que la variable Perl @INC pointait elle vers la version installée, soit 5.24.0

> perl -le"print for @INC"

/usr/local/share/perl/5.24.0

...

J'ai essayé d'installer les modules Perl avec cpanminus depuis les sources en modifiant le Dockerfile sans plus de succès :

# Install perl modules 

RUN apt-get install -y cpanminus 

RUN cpanm XML::LibXML \

...

J'ai donc modifié mon Dockerfile pour utiliser une distribution Debian sans la couche Perl, et la surprise, Docker me dit que que le conteneur est déjà installé, et bingo, en le lançant avec docker run, Perl y est déjà installé, et avec la version 5.20.2 !
En utilisant l'image debian dans la directive FROM du Dockerfile, l'ensemble des scripts fonctionnent correctement.

Sous Windows 7, la version de Docker Toolbox 1.13 ne fonctionne pas correctement pour le montage des volumes. Par contre, pas de problème avec la précédente version 1.12 ainsi qu'avec la dernière version baptisée 17 CE pour Community Edition.

Conclusion :

Pour l'instant, je n'ai pu déployer et tester le conteneur sous Windows 10 que pendant quelques heures à partir d'une machine prêtée pour l'occasion. J'ai tout de même noté un temps de latence important dans l'exécution des scripts par rapport à ceux exécutés depuis un conteneur sous Linux. La version Docker Windows est semble t'il souvent mise à jour et il faudra vérifier avec les prochaines versions si le problème persiste.

L'utilisation de Docker permet d'obtenir rapidement et facilement la puissance des outils de traitement Linux sous Windows. Par contre, vu la taille de l'image utilisée (415 Mo), il faudra penser à l'installer sur le PC de traitement avant le départ en mer car son téléchargement risque d'être problématique, même avec une Vsat à bord pour l'accès à internet.

Comme alternative il faudrait utiliser une image Perl Alpine comme base de départ, à tester et configurer...

En terme de puissance de calcul, on est loin d'avoir les même performances que sous une machine Linux dédiée. Par rapport à un NUC Intel Core I5, j'ai pu noter des temps de traitements 10 fois moins rapide, ce qui lors d'une campagne avec une centaine de stations jusqu'au fond, pourrait commencer à être problématique.

Liens utiles

En français

En anglais

Premiers pas avec le langage GO

Jacques Grelet — 2015-10-14T14:22:25Z

Dernière mise à jour : 03/11/2017

Introduction

J'ai commencé à m'intéresser à ce langage à la lecture d'un article paru dans le numéro 186 de la revue Programmez en juin dernier.
La première version stable 1.0 est sortie en 2012 et le langage met à la disposition du programmeur une librairie standard complète et bien concue.

Go est un langage concis, efficace et simple à mettre en œuvre.
Sa syntaxe inspirée du C améliore la productivité. La compilation est très rapide et génère un exécutable facilement déployable. C'est un langage statiquement typé, doté d'un ramasse miette, (GC pour Garbage Collector), permettant la programmation concurrente (goroutine) associée à des mécanismes de communication et de synchronisation (channel).

Plusieurs concepts sont destinés à simplifier la vie du programmeur tel que
la gestion des dépendances (package), dont le gestionnaire de paquetage est intégré à la commande go et basé sur des services web d'hébergement et de gestion de développement de logiciels comme GitHub ou Mercurial. Le formatage automatique du code est standardisé et partagé grâce à l'outil gofmt.
La création de paquetage faisant appel à des librairies C tierces est simplifiée par l'outil cgo.

En Go, il n'y a pas de classe ni d'héritage au sens de la POO classique. Les classes sont remplacées par des structures (structs) et l'héritage se fait par composition et utilisation d'interfaces. L'interface(s) décrit le comportement d'un objet en définissant les méthodes qu'il doit implémenter. Pour créer un objet, on associe un type de données, appelé "receiver" à une méthode. Tout objet respectant le contrat défini par une interface pourra hériter du comportement de celle ci.

Go est également un langage multi-plateforme : Linux (Intel , ARM), Windows, Mac OS X, pour lequel le déploiement d'une application consiste à copier et utiliser l'exécutable généré. Pas besoin d'installer tout un écosystème ou de déployer une machine virtuelle comme c'est la cas avec les langages interprétés comme Perl ou Python.
Jusqu'à la version 1.4.x, il était nécessaire d'avoir un compilateur C pour compiler et installer Go à partir des sources. A partir de la version 1.5, les dernières versions stables n'apportent pas de changements importants au niveau de la sémantique du langage mais le compilateur, entièrement écrit en Go, apporte une simplification des outils utilisés dans la chaine de compilation (go tools).

Installation

Pour installer Go depuis les sources ou les binaires depuis : https://golang.org/dl/.

Le détail des opérations est très bien documenté ici.

Sous Windows, récupérer et décompresser le fichier zip sous c :\go puis rajouter le chemin c :\go\bin dans le path Windows. Si vous installez go dans un autre répertoire, il faudra définir la variable GOROOT avec qu'elle pointe sur l'exécutable go.

Pour installer Go depuis les fichiers sources : suivre les instructions ici.

cgo

cgo permet la création de paquets ou programmes Go appelant du code C.
La documentation se trouve ici : https://golang.org/cmd/cgo/.

Le site de Golang, au chapitre Install C tools, conseille d'installer TDM-GCC sous Windows mais ce dernier ne permet pas l'édition des liens avec des librairies compilées avec le compilateurs C Microsoft comme la librairie NetCDF.

$ cd github.com/jgrelet/go-netcdf/netcdf
$ go build -a -v
# github.com/jgrelet/go-netcdf/netcdf
C:/opt/netCDF/lib/netcdf.lib: error adding symbols: File in wrong format
collect2.exe: error: ld returned 1 exit status

Le compilateur gcc MSYS2ne fonctionne pas non plus car le module runtime/cgo ne se compile pas avec un compilateur POSIX.
Voir Golang issue 12029.

Il faut installer la chaine de compilation mingw-64 livrée avec le shell MSYS et le programme pkg-config pour réaliser l'édition des liens avec la librairie NetCDF.

Cygwin
On peut également utiliser go sous Cygwin, il suffit de rajouter les lignes suivantes dans votre .bashrc si votre répertoire personnel est sous /home/username par exemple :

$ export GOROOT=c:/go

$ export GOBIN=c:/cygwin/home/username/go/bin

$ export GOPATH=c:/cygwin/home/username/go

Dans votre répertoire de travail go, eg /home/go, créer les 3 sous-répertoires bin, pkg et src

$ cd ~/go

$ mkdir -p src bin pkg

Tester avec :

$ go env

Développements en cours :

Oceano2oceansites :

Programme de lecture des fichiers d'une sonde CTD Seabird et de génération d'un fichier global au format Netcdf3. Il est prévu de pouvoir traiter d'autres types de données acquises, comme les fichiers de prélèvements bouteilles, profils XBT et LADCP, etc.
Développement en cours.

Seawater : implémentation en Go de la toolbox Matlab Seawater.

cruiseTrack2kml : convertit la position des stations et la route du navire au format KML, fichier visualisable sous Google Earth, voir exemple.

SbeReport : extrait la configuration et les numéros de série des capteurs d'une CTD Seabird 911+ pour un ensemble de stations.

Liens utiles

En anglais :

The Go Programming Language
Go documentation
Go 1.9 Release Notes
Go by Example
The Go Playground
Go Newletter
Awesome Go A curated list of awesome Go frameworks, libraries and software
A search engine specifically designed for Go
Stackoverflow, golang tag
The Go language for science
Golang concepts from an OOP point of view
command cgo
MinGW and MSYS Projects

En français :

Livres :

The Go Programming Language. Alan Donovan · Brian W. Kernighan

Livres en ligne :

Let's learn Go !. Big Yuuta
The way to Go. Ivo Balbaert
Go bootcamp. Matt Aimonetti