La coupure ne devrait pas durer plus d’une heure.
Un seul service impacté : app.flus.fr
La maintenance est désormais terminée.
Elle a pris légèrement plus de temps que prévu à cause du temps de la mise à jour de la base de données que j’avais sous-estimé. À part ça, tout s’est très bien passé.
]]>La coupure ne devrait pas durer plus d’une heure.
Les services impactés :
La maintenance est désormais terminée.
]]>À partir du jeudi 19 décembre à 10h, le nom de domaine flus.io redirigera définitivement vers flus.fr.
Le service FreshRSS est accessible officiellement depuis fin mai à l’adresse rss.flus.fr. Vous devez donc y accéder à cette adresse. Jusqu’ici, le nom de domaine flus.io redirigeait vers cette adresse, mais ce ne sera bientôt plus le cas : pensez donc à mettre à jour vos marque-pages et à changer l’adresse dans votre application mobile si vous en utilisez une.
]]>Je ne peux pas donner de délais de coupure.
La maintenance est désormais terminée.
La mise à jour s’est bien passée, elle a duré environ un quart d’heure.
]]>Lors des prochains mois, flus.io redirigera vers rss.flus.fr. À terme, le but est de le rediriger vers flus.fr. Pensez bien à changer l’adresse dans vos marque-pages et dans vos applications mobiles. Pensez également à bien mettre à jour votre gestionnaire de mots de passe afin que rss.flus.fr utilise le mot de passe de flus.io et non pas celui de app.flus.fr.
Cette maintenance est désormais terminée.
]]>Si Flus retombe en panne, pas d’inquiétude, je réparerai ça aussi tôt que possible :)
]]>La maintenance est désormais terminée.
]]>La coupure ne devrait pas durer plus de 2 heures.
La maintenance est désormais terminée.
L’opération s’est encore bien déroulé. J’ai seulement eu une petite crainte au moment où Grub m’a dit qu’il n’arrivait pas à s’installer, mais il essayait de s’installer sur la mauvaise partition. Ça s’est facilement résolu et le serveur a réussi à redémarrer !
]]>La coupure ne devrait pas durer plus de 2 heures.
Les services impactés :
La maintenance est désormais terminée.
Comme hier, la mise à jour s’est bien déroulé. L’opération était plus sensible car elle impactait plus de services, et qu'il y avait une base de données PostgreSQL à mettre à jour au milieu.
Seule petite ombre au tableau : j'avais dû installer PHP 8.2 en plus de PHP 7.4 sur ce serveur, via un dépôt externe. Lors de la mise à jour les paquets se sont légèrement marchés sur les pieds, donc j’ai tout nettoyé (ce que je pensais avoir fait) et réinstallé proprement. Finalement tout devrait fonctionner désormais 👍
]]>La coupure ne devrait pas durer plus de 2 heures.
La maintenance est désormais terminée.
La mise à jour s’est déroulé sans encombre. Mais c’était aussi censé être le plus facile à mettre à jour !
]]>Il faut s’attendre à une coupure du service relativement longue, j’espère tout de même que ça prendra moins d’une heure.
La maintenance est désormais terminée.
Tout s’est incroyablement bien passé, ça fait du bien de temps en temps :)
]]>SIGTERM car elle utilisait trop de mémoire. Cela a mené à l’arrêt de la base de données et donc l’impossibilité pour le service app.flus.fr de fonctionner correctement.
J’ai redémarré la base de données à 8h18, dès que je m’en suis rendu compte. J’ai également diminué la mémoire que la base de données peut prendre afin que le problème ne survienne plus.
Un problème dans le code de Flus a par ailleurs empêché mon outil de supervision de détecter que le service ne fonctionnait plus : je n’ai donc pas reçu d’alerte et l’incident ne s’est pas affiché sur status.flus.fr. Le bug a été corrigé et déployé en production ce soir.
]]>Il devrait y avoir une coupure qui ne devrait pas durer plus d’un quart d’heure.
En principe tout devrait bien se passer ; j’ai déjà mis à jour tous mes autres serveurs vers cette version de Debian. L’opération est un poil plus sensible pour celui-ci puisque la base de données PostgreSql va passer de la version 11 à la version 13… et qu’il y a beaucoup de données. On croise les doigts :)
Mise à jour : Il se pourrait que suite à un manque de sommeil à rattraper, la mise à jour de ce matin n’ait pas été faite 😅 Elle est reportée à 14h !
Mise à jour (15h07) : La mise à jour de la base de données prend plus de temps que ce que j’imaginais, donc c’est encore coupé, mais ça ne devrait plus trop tarder à revenir en ligne.
La maintenance est désormais terminée.
La mise à jour a été quelque peu compliquée, n’ayant pas réussi à mettre à jour le cluster PostgreSql comme je le souhaitais. J’ai fini par faire une copie des données à coup de pg_dumpall | psql qui a eu l’avantage de bien fonctionner, mais en bien plus lent.
L’objectif est de décharger le serveur historique afin qu’il n’ait à gérer que le service app.flus.fr.
L’opération est un poil lourde puisque j’ai pas mal de données à migrer (incluant un paquet de choses en base de données), mais je vais m’assurer de tester tout ça en amont pour éviter des erreurs mercredi.
La maintenance est désormais terminée.
La migration s’est globalement bien passée, en tout cas la partie sur laquelle j’avais la main. L’interface de Gandi m’a cependant empêché de mettre à jour les enregistrements DNS pendant environ 1h, à cause d’un problème de leur côté.
]]>L’objectif est de décharger le serveur historique afin qu’il n’ait à gérer que le service app.flus.fr.
En principe, il ne s'agit pas d'une opération compliquée. Mais comme le renouvellement des abonnements est effectué sur le site flus.fr (incluant la génération des factures), je serai particulièrement vigilant à ce que tout se passe correctement.
La maintenance est désormais terminée.
La migration s’est bien passée, modulo quelques éléments manquants dans mon protocole de migration mais rien d’embêtant.
]]>Cependant, les courriels de validation de compte, les rappels liés aux abonnements à renouveler, ainsi que les confirmations de paiements n’ont pas été envoyés ces derniers jours. Je suis désolé pour le désagrément.
]]>Habituellement les mises à jour de ce type ne nécessitent pas de coupure du service. Cette fois-ci toutefois, plusieurs migrations délicates de la base de données vont être appliquées. Je préfère donc le faire en étant serein sur le fait que personne ne viendra interférer avec ces migrations.
La maintenance est désormais terminée.
Comment ça s’est passé ? À peu près correctement, mais deux migrations ne se sont pas exécutées immédiatement parce qu’il y avait trop de données à migrer d’un coup. J’ai simplement migré ces données par lots plus petits et tout s’est ensuite bien passé !
]]>La maintenance est désormais terminée.
]]>Le premier concernait le mécanisme de réinitialisation de mot de passe. Si un attaquant réussissait à obtenir un lien de réinitialisation (sans l’utiliser) et que l’utilisateur ciblé modifiait lui-même son mot de passe, le lien de réinitialisation restait valide. L’attaquant pouvait ainsi reprendre le contrôle du compte. Le risque était plutôt faible puisque cela signifiait que l’attaquant avait pris, au préalable, le contrôle de la boîte email de l’utilisateur. Aussi, le lien expirait automatiquement au bout d’une heure ce qui limitait d’autant plus le risque. Le lien de réinitialisation est désormais automatiquement rendu invalide suite au changement du mot de passe ou de l’email de l’utilisateur. De plus, l’utilisateur est également déconnecté de ses autres appareils pour s’assurer qu’un attaquant ne conserve pas lui-même une session ouverte.
Accéder au commit de correction
Le second problème de sécurité concernait la possibilité pour un attaquant d’intégrer Flus à un site externe via un mécanisme d’iframe. Cela pouvait permettre à l’attaquant de se faire passer pour Flus tout en ajoutant du code malveillant par-dessus (i.e. attaque par détournement de clic). J’ai considéré le risque comme étant plutôt faible. De plus, Flus étant un logiciel libre, il est toujours possible d’en créer une copie conforme. J’ai tout de même fait en sorte d’interdire les intégrations par iframe.
Accéder au commit de correction
Ces deux problèmes présentant des risques faibles, j’ai décidé de repousser leur correction à la fin de mes vacances et de ne pas publier d’article à part entière sur le carnet.
Je remercie Rishabh Pardeshi pour me les avoir remontés.
]]>fsck. Le problème est donc résolu.
Mise à jour de 17h55 : il semblerait que le disque n’ait pas totalement disparu… seulement le partitionnement du disque (ce qui n’est pas beaucoup mieux). J’ai contacté le support de Hetzner pour en savoir plus. S’il s’avère que j’ai effectivement perdu les données du disque, la dernière sauvegarde date de 14h25 (un moindre mal).
Les services flus.fr et flus.io sont hors-service depuis environ 17h. Il semblerait que le disque dur sur lequel se trouve les données de la base de données ne soit plus accessible par le serveur. La raison exacte est encore inconnue. Je suis en train d’investiguer pour en savoir plus.
]]>Suite à un incendie dans le datacenter SBG2 de OVH, le serveur de courriels utilisé par Flus (SBG3) a été arrêté. L’incendie a été annoncé cette nuit à 3h42 et a été maitrisé à 7h20.
Les courriels suivants ne sont plus envoyés :
Les services flus.io et flus.fr continuent de tourner puisqu’ils sont hébergés ailleurs et ne sont pas impactés par l’incident.
Si vous avez besoin de me contacter, vous pouvez le faire sur :
Je travaille à remettre un serveur de courriels sur pied.
]]>L’objectif est de virer Docker du serveur pour m’en simplifier sa maintenance. Docker est aujourd’hui utilisé pour deux services : PHP et la base de donnée PostgreSQL. Il s’agit d’une opération relativement lourde et sujette à erreurs/problèmes. Je la préparerai donc soigneusement pour limiter la coupure au strict minimum.
La maintenance est désormais terminée.
Ce qui a été fait hier :
Ce qui a été fait aujourd’hui :
La maintenance est désormais terminée.
Ce qui a été fait :
La maintenance est désormais terminée.
]]>La maintenance est désormais terminée.
]]>Un patch a ensuite été écrit et proposé upstream.
]]>La maintenance est désormais terminée.
]]>La maintenance est désormais terminée.
]]>Un patch temporaire a été proposé en amont (référence #2694) et a déjà été mis en production. Une solution plus robuste sera proposée par la suite.
]]>