Anthony Dahanne's blog » debian

Solution de sauvegarde locale et distante avec rsync

anthony.dahanne — Sat, 16 Feb 2008 15:20:21 +0000

Qui n’a jamais perdu des fichiers lors d’un crash de disque dur ? ou de la machine tout entière ?
Dans cet article je vous expliquer quels sont les moyens que j’ai mis en œuvre pour sauvegarder les données qui se situent sur mon serveur de fichiers (qui contient mes documents personnels, ma musique, mes photos, etc..) dans mon appartement.
Rsync est un logiciel qui construit des sauvegardes incrémentales, c’est à dire qu’il transfert entre chaque sauvegarde que le delta observé entre les 2.
Les machines concernées sont sous Ubuntu Server 7.10 mais l’article reste valide pour toute Ubuntu ou Debian.

Sauvegarde locale

La sauvegarde locale consiste à sauvegarder certains répertoires d’un disque vers un autre disque, dans la même machine (mon serveur de fichiers en l’occurrence) de manière périodique (toutes les semaines).
En l’occurrence sur la partition /dev/hda1 j’ai les répertoires /home /var /etc à sauvegarder; pour cela j’ai la partition /dev/sda2 (sur un disque différent donc) qui est montée sur le pointe de montage /backup
Ainsi mon script cron (sauvegarde.sh, executable bien sûr) à lancer toutes les semaines est le suivant :

#!/bin/sh
#############################
# SAUVEGARDES LOCALES #
#############################
#sauvegarde du repertoire etc
rsync -avz –delete /etc /backup/
#sauvegarde du repertoire var
rsync -avz –delete /var /backup/
#sauvegarde du repertoire home
rsync -avz –delete /home /backup/

L’option « -avz » signifie que la sauvegarde (le transfert) des fichiers sera récursif; les fichiers seront tranférés en mode « archive » qui garantit que les les liens symboliques, les attributs,les permissions, les droits, etc… seront préservés lors du transfert; de plus une compression sera utilisée lors du tranfert (qui n’affectera pas vos fichiers)
l’option « –delete » signifie elle que lorsque l’on supprimera un fichier sur /etc par exemple, il devra être supprimé aussi de /backup/etc/ lors de la sauvegarde. (si vous ne mettez pas cette option, votre /backup risque de se remplir très rapidement !!!)

Mise en place du « job » cron

Pour appeler le script de sauvegarde sauvegarde.sh, il faut l’indiquer dans une table cron; pour cela je vous renvoie au tutoriel cron d’ubuntu-fr.org
En particulier, le script de sauvegarde doit être lancé par un utilisateur ayant accès à l’ensemble du système de fichiers.
Plutôt que d’utiliser root, nous allons créer un nouvel utilisateur , « sauvegarde » qui fera partie du groupe root, et autres groupes utilisateurs nécessaires pour qu’il puisse sauvegarder l’ensemble des répertoires spécifiés.
Son « home directory » sera /backup
% sudo useradd -d /backup -g root -G anthony sauvegarde
donnez lui l’appartenance de ce répertoire:
% sudo chown -R sauvegarde:root /backup
Ainsi, le script sauvegarde.sh doit être accessible et lancé par notre nouvel utilisateur sauvegarde; pour cela, créez une nouvelle crontab pour l’utilisateur sauvegarde :

% sudo crontab -u sauvegarde -e

Votre éditeur (vi ou emacs) se lance, insérez la ligne suivante :
@weekly /chemin_ou_situe/sauvegarde.sh #sauvegarde

çà y est !
votre sauvegarde locale est créée, vous être à l’abri du crash du disque contenant /home /etc et /var !!
Mais si votre machine est victime d’une surtension,et que tous les disques sont endommagés, vous perdrez tout !!!

Sauvegarde distante

Pour se prémunir d’un dégât, d’un vol, d’un incendie, il faut sauvegarder vos données vers une machine distante.
Si vous possédez un serveur dédié (ou si un ami ou autre personne de confiance vous donne accès à son serveur) vous pouvez alors mettre en place une solution de sauvegarde distante.
Pour cela, compléter le fichier sauvegarde.sh en y rajoutant ces lignes :

#############################
# SAUVEGARDES DISTANTES #
#############################
serveur= »mon.serveur.dedie.fr »
#sauvegarde du repertoire home
rsync -avz –delete /backup/home $serveur:/backup/
#sauvegarde du repertoire etc
rsync -avz –delete /backup/etc $serveur:/backup/
#…

Comme vous pouvez le constater, avec rsync, une sauvegarde locale ou distante est traitée de la même manière, la syntaxe est identique, au $serveur: près.
Bien entendu pour que tout ceci fonctionne, vous devez, sur la machine distante, créer un utilisateur sauvegarde , avec pour « home directory » /backup (répertoire à créer sur la machine distante).
% sudo useradd -d /backup sauvegarde
donnez lui l’appartenance de ce répertoire:
% sudo chown -R sauvegarde:sauvegarde /backup
donnez à votre utilisateur sauvegarde un mot de passe (fort de préférence) :
% sudo passwd sauvegarde
Aussi, pour permettre à votre machine locale de se connecter à la machine distante, sans intervention de votre part (sans demander de mot de passe donc) vous devez créer un couple de clés DSA.
Sur la machine locale, logguez vous en utilisateur sauvegarde :
% sudo su sauvegarde
et créez votre couple de clés DSA :

$ ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/backup/.ssh/id_dsa):
Created directory ‘/backup/.ssh’.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /backup/.ssh/id_dsa.
Your public key has been saved in /backup/.ssh/id_dsa.pub.
The key fingerprint is:
XXXXXXXXXXXXX sauvegarde@machine

Acceptez l’emplacement par défaut pour la création des clefs, et appuyez sur entrée lorsque l’on vous demande une « passphrase » (comme çà, nul besoin de saisir de mot de passe pour utiliser la clef).
Il n’y a plus qu’à partager la clef publique générée avec la machine distante :
toujours loggué en utilisateur sauvegarde sur la machine locale :
ssh-copy-id -i ~/.ssh/id_dsa.pub sauvegarde@machine_distante
C’est fini, votre utilisateur sauvegarde, sur la machine locale, pouvant se logguer sur la machine distante, votre script cron, sauvegarde.sh, sera lancé toutes les semaines sans problème afin de sauvegarder localement et à distance vos données importantes.
Vos commentaires sont les bienvenus !

Références :
le site officiel de Rsync
Formation Debian : accès par ssh

Créer une iso avec linux (à partir d’un répertoire)

anthony.dahanne — Mon, 10 Dec 2007 16:36:32 +0000

Mise à jour ! mkisofs n’est plus maintenu depusi 2002, c’est un alias vers genisoimage (ce qui ne remet pas en question le tutorial ci-dessous)
Rien de plus simple !
Avec une Debian ou une Ubuntu bien configurée, on installe le paquet mkisofs (avec sudo ou directement en root):
% sudo apt-get install mkisofs
Pour créer une iso test.iso avec pour racine /home/anthony/test (et contenant donc tout ce qu’il y a dans ce répertoire) :
% mkisofs -o test.iso /home/anthony/test
et l’iso est créée dans le répertoire courant !
Pour vérifier que votre iso est valide, vous pouvez la tester en la montant sur votre système de fichiers :
% sudo mount -t iso9660 test.iso repertoire_test -o loop
Y a t’il tout ce que l’on y a mis ?
ls -al repertoire_test
OK ? alors on démonte
% sudo umount test.iso
et on grave ou stocke l’iso !!

Important !
Si vous volez suavegarder un répertoire avec des noms de fichiers longs et/ou de nombreux répertoires imbriqués, alors ces quelques options vous seront utiles :
% genisoimage -R -r -J -joliet-long --hide-rr-moved -iso-level 4 -V "UnLabelPourIso" -o monimage.iso rep_a_sauvegarder

Références :
La page du projet mkisofs
Monter une image Iso par Andesi
Graver en console par Formation Debian

Installation de Java 5 et Tomcat 5.5 sur Ubuntu avec apt

anthony.dahanne — Mon, 03 Sep 2007 22:16:29 +0000

Avant la licence DLJ, pour installer Java sur Ubuntu il fallait télécharger un installateur binaire, ou utiliser un RPM (qu’il fallait auparavant « alieniser »); autant dire qu’on pouvait dire adieu au système de dépendance et de remise à jour de sa distrib linux préférée…
Mais les temps ont changé et Sun a choisi de libérer peu à peu son langage phare…
Aussi il existe désormais dans les dépôts multiverse le paquet « sun-java5-jdk », que l’on installe le plus simplement du monde avec :
#apt-get install sun-java5-jdk
Ah oui, il faut accepter la fameuse licence DLJ à la fin de l’installation…
Par contre, pour Tomcat (dont les paquets sont dans le dépot universe), il faut faire attention…
Il se trouve que les dépendances du paquet « tomcat5.5″ référencent non pas la JDK de Sun, mais bien la JDK libre gij, aussi un malheureux :
#apt-get install tomcat5 tomcat5-admin tomcat5-webapps vous installera certes Tomcat 5.5 mais aussi gij, et sera configuré pour utiliser gij.
Si vous voulez, comme moi, utiliser Tomcat 5.5 avec la JDK Sun (je n’ai rien contre la gij, mais elle ne me semble pas encore mature, par exemple, il n’est pas possible d’utiliser le « security manager » de Tomcat avec gij), il vous faudra modifier certains fichiers.
A commencer par /etc/default/tomcat5, décommentez la ligne :
JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
Cela permettra à Tomcat de démarrer avec la JDK de Sun.
Pour le reste, mettez par défaut votre JAVA_HOME à /usr/lib/jvm/java-1.5.0-sun en exécutant :
export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun
Enfin, il existe un répertoire, /etc/alternatives , qui contient des liens symboliques vers des logiciels par défaut de votre distribution.
Repérez les liens vers tout ce qui commence par java :
ls -al /etc/alternatives/java*
vous verrez notamment que java et javac (le compilateur) pointent vers gij et gcj…
Il vous faut pour être sûr de toujours travailler avec la JDK de Sun, refaire ces liens en tapant, dans le répertoire /etc/alternatives :

#rm java
#ln -s /usr/lib/jvm/java-1.5.0-sun/bin/java
#rm javac
#ln -s /usr/lib/jvm/java-1.5.0-sun/bin/javac

Après cela, vous ne devriez plus entendre parler de gij, et bénéficier des mises à jour de Tomcat5.5 et de la JDK Sun 5

Pour ce billet, je me suis beaucoup inspiré de la page Tomcat de Ubuntu-fr.org dont je vous recommande la lecture en cas de problème…

Monter un serveur FTP sur son système de fichiers avec FUSE et CurlFTPfs

anthony.dahanne — Fri, 09 Mar 2007 00:44:02 +0000

FUSE et CurlFTPfs, pourquoi faire ?

Je suis désormais abonné chez Free (le seul FAI à proposer l’IP fixe à un coût modéré) et après avoir installé et initialisé ma Freebox HD (boîtier qui permet de regarder/enregistrer la télé entre autres), j’ai voulu transférer des fichiers sur son disque dur afin de pouvoir les visionner sur la télé…
J’ai alors utilisé Konqueror et me suis dirigé vers :
ftp://freebox@hd1.freebox.fr/Disque dur/Video
J’ai ainsi pu transférer mes fichiers par simple copier/coller…
Mais comment faire aussi simple, voire même plus simple, pour transférer d’une machine qui n’a pas d’interface graphique (juste un shell) vers la Freebox HD ?
Tout simplement en montant la freebox comme un système de fichier en utilisant FUSE et CurlFTPfs…

Installation de FUSE et CurlFTPfs et premier montage

Sous Ubuntu installer curlsFTPfs :
#apt-get install curlftpfs
(il peut être utile à cette étape de charger le module fuse : # modprobe fuse)
Il vous installera alors curlftpfs, et fuse-utils, et créera un groupe « fuse ».
Edit : en fait, Ubuntu n’intègre pas le paquet CurlFTPFS, aussi, le meilleur moyen de l’installer est de suivre l’article dédié à CurlFTPfs sur Ubuntu-fr.org. (Merci à Cyril, et la prochaine fois poste un commentaire pour en faire profiter tout le monde !).
Connectez vous alors sous un utilisateur non privilégié et créer un répertoire pour accueillir le montage :
% mkdir freebox
Essayez alors de monter votre freebox sur ce point de montage :
curlftpfs ftp://freebox@hd1.freebox.fr freebox fuse: failed to exec fusermount: Permission denied
Oups ! vous n’avez pas les droits …Mais souvenez vous, un groupe fuse a été créé !
Avec root, ajoutez l’utilisateur au groupe fuse, et vérifiez :
# usermod -G fuse anthony
Attention, en faisant ceci j’ai supprimé tous les rattachements de groupe de l’utilisateur (ie: il n’appartenait plus qu’au groupe « fuse » pour éviter ceci , veuillez plutôt tapez :
# usermod -a -G fuse anthony

Ceci est plus simple ….
#adduser anthony fuse # groups anthony anthony : anthony fuse
OK, pour prendre en compte les changements, relogguez vous de nouveau avec votre utilisateur, et ré essayez !
% curlftpfs ftp://freebox@hd1.freebox.fr freebox
(Si vous avez encore une erreur , avec root, # chmod +x /usr/bin/fusermount)
Vous pouvez alors naviguer dans le disque dur de votre Freebox HD, comme si celui était en local !
% cd freebox/Disque\ dur/Video ~/freebox/Disque dur/Video% cp /home/anthony/fichier.avi ./ ~/freebox/Disque dur/Video% ls fichier.avi
vous pouvez aussi démonter l’attachement de votre freebox :
% fusermount -u /home/anthony/freebox

Automatiser le montage curlftpfs au démarrage de la machine

Pour cela il suffit de rajouter une entrée dans /etc/fstab , comme si on rajoutait une partition de disque ou un partage nfs, avec la ligne suivante :
curlftpfs#freebox@hd1.freebox.fr /home/anthony/freebox fuse allow_other 0 1
En attendant le redémarrage un simple :
#mount /home/anthony/freebox
fera l’affaire et tous les utilisateurs du système peuvent déposer/récupérer des fichiers sur la freebox HD

Liens

Je me suis bien inspiré de cet article :
Article sur FUSE et curlftpfs sur Coagul
d’ailleurs leur article explique comment procéder avec un compte FTP nécessitant un mot de passe.
Liste des montages possibles avec FUSE
La page officielle de CurlFTPfs

Installation de CGI Proxy, solution de proxy http

anthony.dahanne — Thu, 08 Mar 2007 23:11:14 +0000

Ce tutorial vous expliquera comment mettre en oeuvre derrière Apache 2 le script CGI Proxy qui peut vous servir aussi bien à surfer anonyme (désactivation de scripts pendant la navigation), à accéder aux serveurs web de machine situées dans un réseau local, à contrer la censure …

Installer simplement CGI Proxy (sans SSL)

Tout d’abord, vous devez avoir les logiciels suivants installés sur votre machine:
-un serveur sous Linux(çà devrait marcher sur tous les OS…)
-Apache2 (un autre serveur web devrait faire l’affaire mais je n’ai pas testé…)
-Perl
Des commandes comme :
#apt-get install perl apache2
devrait plus ou moins régler les choses sur Debian et les Debian-like…
Pour la suite de l’article, je suppose que vous utilisez une distribution Debian Sarge.

Dirigez vous vers /etc/apache2/sites-available
#cd /etc/apache2/sites-available

Créez un nouveau site web, disons que vous avez le nom de domaine test.fr, créez ainsi le sous domaine cgiproxy.test.fr :
#vim cgiproxy.test.fr

et insérez les lignes suivantes :

ServerAdmin admin@test.fr
DocumentRoot /var/www/cgiproxy.test.fr
ServerName cgiproxy.test.fr
ErrorLog /var/log/apache2/cgiproxy.test.fr.error.log
CustomLog /var/log/apache2/cgiproxy.test.fr.access.log common
AddHandler cgi-script .cgi

AllowOverride FileInfo AuthConfig Limit
Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec
Order allow,deny
Allow from all
Options +ExecCGI

Pour que ce nouveau site soit fonctionne, n’oubliez de faire un lien symbolique de cette configuration dans /etc/apache2/sites-enabled :
#cd /etc/apache2/sites-enabled #ln -s /etc/apache2/sites-available/cgiproxy.test.fr

et de bien sûr créer le répertoire désigné dans votre configuration:
#mkdir /var/www/cgiproxy.test.fr

On redémarre Apache2 pour que la configuration soit prise en compte :
#/etc/init.d/apache2 restart

Petite note pour ceux qui n’ont pas de nom de domaine ou ne sachant pas comment créer un site sous Apache 2 :
Vous avez sans doute dans /etc/apache2/sites-available un site (fichier de configuration) qui s’appelle 000-default, qui pointe vers des fichiers dans /var/www : vous pouvez aussi bien l’utiliser en adaptant cet article (chemins et sites)

Rendez vous dans /var/www/cgiproxy.test.fr et téléchargez le script CGI CGI Proxy :
#wget http://www.jmarshall.com/tools/cgiproxy/releases/cgiproxy.2.1beta15.tar.gz

Pour avoir la dernière version, veuillez consulter le site officiel CGI Proxy

On décompresse l’archive ainsi récupérée :
#tar xvzf cgiproxy.2.1beta15.tar.gz

Et si tout s’est bien passé, en dirigeant son navigateur vers http://cgiproxy.test.fr/nph-proxy.cgi on doit avoir le formulaire de saisie d’URL de CGI Proxy !
Si toutefois cela ne fonctionne pas, n’hésitez pas à laisser un commentaire à cet article, mais commencez par vérifier :
-que vos chemins sont bons
-que vous n’avez pas renommé nph-proxy.cgi en quelquechose.cgi (il faut impérativement que le nom du fichier commence par nph-)
-que le script est exécutable :
#chmod +x nph-proxy.cgi

Installer CGI Proxy en mod ssl :

Un peu plus difficile cette fois-ci, cette partie de l’article s’adresse aux personnes ayant déjà mis en place des sites Apache2 en mod_ssl.(un jour j’écrirai un article pour l’expliquer !).
Pour faire simple, et rapide, inspirez vous de mon fichier de configuration :

ServerAdmin admin@cgiproxy.test.fr
DocumentRoot /var/www/cgiproxy.test.fr
ServerName cgiproxy.test.fr
ErrorLog /var/log/apache2/cgiproxy.test.fr.error.log
CustomLog /var/log/apache2/cgiproxy.test.fr.access.log common
AddHandler cgi-script .cgi
SSLEngine On
SSLCertificateFile /etc/apache2/ssl/apache.pem
SSLProxyEngine On

AllowOverride FileInfo AuthConfig Limit
Options MultiViews Indexes SymLinksIfOwnerMatch IncludesNoExec
DirectoryIndex nph-protected.cgi
AuthUserFile /var/www/cgiproxy.test.fr/.htpasswd
AuthName « Welcome to Protected Site »
AuthType Basic
Require valid-user
Options +ExecCGI

Un peu d’explication !

vous permet de déclarer un serveur virtuel écoutant sur le port 443 (https par défaut)
AddHandler cgi-script .cgi
permet à Apache 2 de lancer le moteur d’interpréteur de CGI lorsque les fichiers demandés terminent par .cgi
DirectoryIndex nph-protected.cgi
indique à apache que le fichier index par défaut est : nph-protected.cgi (situé dans /var/www/cgiproxy.test.fr) lorsque qu’aucun nom de fichier est spécifié.
AuthUserFile
permet de mettre en place une sécuristation HTTP Basic (login/mot de passe demandé pour accéder à la ressource)

Liens

Le site de documentation d’Apache2
Le site officiel de CGI Proxy

Testing Hachoir, an open source metadata parser

anthony.dahanne — Wed, 27 Dec 2006 21:22:09 +0000

Reading linuxfr.org, I found a new software, written in Python (it can then run on all -almost- platforms), that can extract very precious data from your files : metadata.
For example, running hachoir on an avi movie will tell you which container, video codec, audio codec, etc.. were used; the length, the framerate, etc… of the movie.
So, now that you want to test it, how can you install it on your (linux in this example) computer ?
Well, it depends on your distribution…
On Kubuntu (or Ubuntu), or Debian Sarge, I couldn’t install it, because of dependency problems, but if you want to give it a try, just add these 2 lines in your /etc/apt/sources.list :

deb http://plumbear.free.fr/debian etch main
deb-src http://plumbear.free.fr/debian etch main

, and :
#apt-get update #apt-get upgrade #apt-get install hachoir-parser hachoir-metadata
If it doesn’t work, don’t worry, you can install easily it using … easy_install !
#apt-get install easy_install
Almost done !
Juste type in:

#easy_install hachoir-parser
#easy_install hachoir-metadata

Easy isn’t it ?
To use it, it’s also very simple :

$ hachoir-metadata a_video_file.avi
Common:
- Duration: 42 min 10 sec
- Producer: VirtualDub
- Comment: Has audio/video index (2.5 MB)
- MIME type: video/x-msvideo
- Endian: Little endian
Video stream:
- Image width: 624
- Image height: 352
- Bits/pixel: 12
- Compression: XviD MPEG-4 (fourcc: »xvid »)
- Frame rate: 23.976023976
Audio stream:
- Channel: stereo
- Sample rate: 48.0 KHz
- Compression: MPEG Layer 3

Well, I guess this file is a real video file !

To know more about this great software, just check this website out :
Hachoir official website, and feel free to contact the author, I can testify he will answer your questions !

Ecrire les données EXIF d’une image sous Linux avec Exiv2

anthony.dahanne — Mon, 18 Sep 2006 22:21:09 +0000

Ayant fini de scanner les diapositives que j’ai ramené du Musée du Prado en début d’année, j’ai voulu les ajouter dans ma galerie photos, mais j’ai pensé qu’avec des tags, elles seraient certainement plus faciles à archiver et à retrouver.
Le format de tag des photos JPEG par excellence est EXIF, grâce à EXIF vos appareils photos écrivent l’heure de prise des photos, la position, si le flash était activé ou non, etc …
Mais mon scanner, lui, n’a rien écrit dans les méta données EXIF (en passant, il s’agit du très bon Epson Perfection 1670 qui fait aussi les diapositives, il fonctionne avec Linux, mais Kooka, gère très mal les diapositives et négatifs, alors mieux vaux scanner avec le logiciel propiétaire d’Epson…).
Bref, il me fallait retaguer toutes ces infos…
J’ai d’abord naïvement cru que Gwenview, ou Digikam ou Gimp2 au pire allait faire l’affaire…
Pas moyen de leur faire éditer l’exif…
J’ai alors découvert Exiv2, un logiciel en ligne de commande, pour éditer les tags Exif.(il est dans les repositories Universe de Ubuntu, apt-get install exiv2)
De prime abord un peu complexe, mais avec un fichier de config, cela va tout seul !
Par exemple, pour donner les attributs à mon scan de Las Meninas, de Picasso, voici la ligne de commande à tapper :
exiv2 -m cmd_exiv2.txt Velazquez-Las_Meninas.jpg
Avec pour contenu de cmd_exiv2.txt :

set Exif.Image.Artist « Velazquez »
set Exif.Image.ImageDescription « Las Meninas »
set Exif.Photo.UserComment « Scanned with Epson Perfection 1670, tagged with exiv2, slide from Museo Del Prado »

Et le tour est joué !
Cliquez ci après pour connaître l’ensemble des tags possibles dans EXIF

Convertir ses vidéos avec Linux

anthony.dahanne — Sun, 10 Sep 2006 22:26:36 +0000

J’utilise aujourd’hui sur mon ordinateur la distribution Linux Kubuntu (Ubuntu avec le gestionnaire de bureaux KDE) comme système d’exploitation principal, et il m’arrive de vouloir convertir des vidéos dans un tel ou tel format pour pouvoir les visionner sur le web ou sur mon ipod ou encore sur ma platine DVD/DivX.
Heureusement pour moi, Linux regorge de logiciels très puissant de conversion de vidéo.

Les essais suivants ont été réalisés sur une Debian Sarge Stable.

Prérequis :

Vous devez avoir les logiciels et librairies adéquates.
Vous devez installer Mencoder, ffmpeg, et des librairies annexes (les codecs w32, mp3, etc…)
Sur une debian j’ai utilisé les repositories suivants :
/etc/apt/sources.list :

deb http://security.debian.org/ stable/updates main non-free contrib
deb-src http://security.debian.org/ stable/updates main contrib non-free

deb http://non-us.debian.org/debian-non-US stable/non-US main contrib non-free
deb-src http://non-us.debian.org/debian-non-US stable/non-US main contrib non-free

deb ftp://ftp.debian.org/debian/ sarge main non-free contrib
deb-src ftp://ftp.debian.org/debian/ sarge main non-free contrib

deb http://www.debian-multimedia.org stable main
deb-src http://www.debian-multimedia.org stable main

#apt-get install mencoder ffmpeg w32codecs lame libavcodeccvs51 libavutilcvs49 libdvdread3 libpostproccvs51 libxvidcore4 mplayer-doc

N’hésitez pas à poster en commentaires les sources pour une distribution !

Convertir une video pour la lire sur platine DivX Kiss DP 1500

Le problème :

La platine KISS DP 1500 est un lecteur DVD/DivX (et Xvid) de salon qui a la particularité de pouvoir lire des fichiers videos se situant sur un réseau local (elle dispose d’un port ethernet pour cela). Ainsi pas besoin de graver ses films pour les regarder…
Malheureusement, les formats d’encodage (codecs) MPEG 4 évoluent et le constructeur de ma platine, KISS, n’est pas très sérieux et ne remet plus à jour le firmware de la platine.(d’ailleurs ce n’est pas l’unique problème avec eux, ils ont aussi violé une licence GPL).
Ainsi ma platine ne lit désormais que très peu de fichiers videos…

La solution :
Convertir mes vidéos dans un format qu’elle supporte! (en l’occurence du XviD/MP3 avec un bitrate de 1200 et en 4/3 –> ne change pas l’aspect de l’image)
Avec mencoder :

mencoder fichier_a_convertir.avi -ovc xvid -xvidencopts bitrate=1200 -oac mp3lame -aspect 4:3 -o nom_du_fichier_resultat.avi

Pour « industrialiser » le processus, voici le script shell qui vous permettra de convertir par lots :

if [ -z "$1" ]; then
echo « Usage: $0 list_of_video_files »
exit 1
fi
# video encoding bit rate
V_BITRATE=1200
while [ "$1" ]; do
MENC_OPTS= »-ovc xvid -xvidencopts bitrate=$V_BITRATE -oac mp3lame -aspect 4:3″
mencoder « $1″ $MENC_OPTS -o « `basename $1 .avi`_convertie.avi »
shift
done

Vous pouvez le télécharger en utilisant le lien ci-dessous :
mencoder_video_to_kiss_dp_1500.sh

Pour utiliser ce script, il vous suffit de taper :
sh mencoder_video_to_kiss_dp_1500.sh file1.avi file2.avi ./
Pour convertir les fichiers file1.avi et file2.avi en file1_convertie.avi et file2_convertie.avi (dans le répertoire courant)

Convertir une video pour la lire sur un Ipod Video (5ème génération)

Encore une fois, MEncoder va nous aider à transporter nos vidéos favorites dans notre poche.

Le problème
L’Ipod Video ne supporte qu’un format très limité de formats de vidéos

La solution
Cette simple ligne nous suffira :

ffmpeg -i fichier_d_entre.avi -f mp4 -vcodec mpeg4 -maxrate 1000 -b 700 -qmin 3 -qmax 5 -bufsize 4096 -g 300 -acodec aac -ab 192 -s 320×240 -aspect 4:3 fichier_de_sortie.mp4

Je l’ai récupéré sur le site suivant :Video Ipod And Linux
Pour « industrialiser » le processus, et laisser tourner la conversion pendant la nuit par exemple, j’ai concocté le petit script shell suivant :

#!/bin/sh
if [ -z "$1" ]; then
echo « Usage: $0 list_of_video_files »
exit 1
fi

while [ "$1" ]; do
FFMPEG_OPTS= »-f mp4 -vcodec mpeg4 -maxrate 1000 -b 700 -qmin 3 -qmax 5 -bufsize 4096 -g 300 -acodec aac -ab 192 -s 320×240 -aspect 4:3″
ffmpeg -i « $1″ $FFMPEG_OPTS « `basename $1 .avi`.mp4″
shift
done

Vous pouvez le télécharger en utilisant le lien ci-dessous :
ffmpeg_video_to_ipod_video.sh

Pour utiliser ce script, il vous suffit de taper :
sh ffmpeg_video_to_ipod_video.sh file1.avi file2.avi ./
Pour convertir les fichiers file1.avi et file2.avi en file1.mp4 et file2.mp4 (dans le répertoire courant), tout juste prêtes à être transférées sur votre ipod.
A ce propos, j’utilise encore iTunes pour transférer les vidéos, mais des personnes ont déjà réussi avec libgpod et amarok (LE lecteur de musique sous Linux); je reviendrai dessus quand j’aurai réussi

Convertir une video avec FFMPEG pour la lire sur le web avec un player flash

Le problème
Vous avez tourné un film de quelques minutes et forcément çà prend un peu de place…
Alors oui, avec l’ADSL çà va assez vite à télécharger, encore faut il que la personne qui la télécharge dispose des bons codecs sur son ordinateur…
Et en général, dans la famille, tout le monde ne sait pas installer de nouveaux codecs et/ou installer VLC.
Ou alors il faut encoder en Windows Media (oui mais y’a que sous Windows qu’on trouve les derniers encodeurs) ou encore en Real ou encore Quicktime (en fait c’est pas tout le monde qui les a installés sur son ordinateur..)
Pas de panique ! Macromedia (pardon, Adobe…) avec son Flash propriétaire a compris qu’il pouvait profiter de son parc installé de lecteur Flash (pour mémo, 98% des internautes ont Flash sur leur machine aujourd’hui).
Ainsi les videos au format Flash s’impose sur le Web…
Mais alors pourquoi se fatiguer à les convertir soit même lorsque YouTube, GoogleVideos et consorts ont une super interface super ergonomique pour le faire ?
Et bient tout simplement, pour éviter de passer par un tiers qui prend le temps qui veut pour convertir la vidéo et qui surtout disposera de votre contenu sur ses serveurs (que vous ne contrôlez à priori pas trop)…

La solution
Commençons par convertir la vidéo en flv (format de video de flash)
ffmpeg -i movie.avi -s 320x240 -r 15 -b 250 -ar 22050 -ab 48 movie.flv
Vous remarquerez que la video movie.avi est ici convertie en 324×240 en 15 images/seconde, bitrate video de 250 kbps et le son échantillonné à 22 050Hz au bitrate 48kbps.
Bref, vous pouvez modifier ces paramètres à volonté.
Pour faire bien, nous allons prendre un cliché de la video :
ffmpeg -i movie.avi -f mjpeg -t 0.001 movie.jpg

Pour lire cette vidéo, nous avons besoin d’un lecteur de flv, au format Flash (SWF).
Il existe le lecteur Flash libre FlowPlayer afin de lire ces vidéos.
Pour l’utiliser, une fois qu’il est téléchargé, écrivez ce code dans un fichier HTML en faisant (bien) attention aux chemins :

&autoPlay=false&loop=false&autoBuffering=false
&splashImageFile=movie.jpg »/>

Et le tour est joué !!!
Pour parfaire le résultat, vous pouvez aussi ajouter un index à vos vidéos pour pouvoir afficher une barre de défilement.
Vous pouvez alors utiliser l’outil libre FlvTool2, écrit en Ruby.
Il vous faut alors installer ruby sur votre système (sur debian quelques apt-get sur ruby suffisent…) et télécharger la tarball de Flvtool2, l’ouvir avec
tar xvzf flvtool2-1.0.6.tgz
et lire les instructions du README.
Cela étant fait, le rajout de vos index se feront simplement avec la commande :
flvtool2 -U movie.flv
Attention à ce que les noms de fichiers ne soient pas trop longs !!!
Tout ceci est « industrialisé » dans le script shell suivant :

#!/bin/sh
if [ -z "$1" ]; then
echo « Usage: $0 list_of_video_files »
exit 1
fi
while [ "$1" ]; do
ffmpeg -i $1 -s 320×240 -r 15 -b 250 -ar 22050 -ab 48 $1.flv
ffmpeg -i $1 -f mjpeg -t 0.001 $1.jpg
flvtool2 -U $1.flv
shift
done

Ce dernier tutorial sur l’encodage d’une video en flash est une traduction libre de l’article :
Posting Flash Videos with FFmpeg and FlowPlayer
par Scott Yang

Whaouh ! J’ai configuré mes DNS avec succès sur Debian !

anthony.dahanne — Thu, 20 Jul 2006 23:04:49 +0000

Ce ne fût pas sans l’aide de proches experts que j’ai réussi (Pierre Gilles et Guihome), mais enfin, mon serveur sous Debian Sarge dans la cuisine héberge dès à présent les noms de domaine suivants : dahanne.info, dahanne.fr et joachim.fr.
Certes, il n’y a pas encore de serveurs mels (entrée MX) de configuré, mais bon, c’est déjà un bon début de gérer ses propres virtuals hosts avec Apache 2 et Bind 9 !
Je partagerai ma configuration en ligne sous peu !(une configuration simple mettant en oeuvre un serveur dns primaire, et 1 autre nom de domaine géré sur cette zone)

Serveur FTP sécurisé avec openssh accessible en SFTP

anthony.dahanne — Tue, 12 Jul 2005 12:14:51 +0000

Vous aimeriez partager des fichiers avec vos amis , mais ne vous faîtes pas à l’idée que toute personne entre votre machine et celles de vos amis peut intercepter vos données.

C’est effectivement le cas lorsque l’on utilise des protocoles comme FTP ou HTTP : les informations comme le mot de passe, les entêtes de vos fichiers, etc, transitent en clair .
Heureusement, OpenSSH, le logiciel serveur libre SSH (qui permet de se logguer dans un terminal à distance en sécurisé) sous Linux implémente des fonctions de copie de fichiers.
Pré requis :

Je suppose que vous utilisez Debian ou Ubuntu (si ce n’est pas le cas, remplacez les « apt-get install » par « urpmi » ou autres).
Vous devez aussi avoir installé le serveur SSH (sshd).

On commence par Installer scponly :

# apt-get install scponly
Il vous demande si vous voulez créer le fichier dans /usr/sbin/scponlyc, répondez oui, çà vous permettra de créer des cages (chroot) dans la home de nouveaux utilisateurs.
On crée un nouvel utilisateur avec uniquement les droits de copie de fichiers dans sa home

Maintenant, nous allons créer un nouvel utilisateur sur le système , qui n’aura le droit de se connecter sur la machine que pour transférez des fichiers, et ce uniquement dans son arborescence (en utilisant chroot pour créer une cage dans son répertoire).
Heureusement, les maintainers du paquet scponly nous facilite la vie avec un script déjà tout fait.
Allez dans /usr/share/doc/scponly/setup_chroot (si vous n’avez pas Debian faîtes un find pour retrouver ce script shell), décompactez l’archive (qui a pour extension .gz) en faisant un gunzip. # gunzip setup_chroot.sh.gz Rendez le fichier décompacté exécutable :
# chmod +x setup_chroot.sh
exécutez le :
./setup_chroot.sh
Il vous demande de donner le login du nouvel utilisateur, son home directory, (et son sous répertoire d’écriture si vous désirez en créer un) et son mot de passe.

S’y connecter

Une fois ces détails renseignés, votre nouvel utilisateur pourra se connecter à votre système (sur le port 22 par défaut, celui de ssh) pour transférer des fichiers de ou vers son répertoire sur votre machine en utilisant le protocole sécurisé SSH (et le serveur sftp server, couche de transferts de fichiers de SSH).
Par exemple, votre ami pourra utiliser l’excellent filezilla sous windows ou sftp sous Linux.

Conclusion

L’intérêt d’utiliser scponly en plus de sshd, est que votre utilisateur nouvellement créé ne pourra pas se promener sur votre système de fichiers (à part dans sa home) et ne pourra non plus exécuter du code, car son shell est scponly, qui ne permet que les commandes à bases de scp (cp entre 2 machines connectées en ssh).
Il existe d’autres moyens de donner accès à un serveur de fichiers en mode sécurisé (je pense notamment à l’utilisation de FTP-SSL) mais ils sont beaucoup moins faciles à mettre en ouevre (il faut créer un certificat de sécurité et bien connaître les configs ProFTPD et consorts).
J’ai rédigé cet article après avoir pris connaissance de scponly dans le numéro de Juillet/Aout 2005 de Linux Magazine (dans le Debian corner).