Anthony Dahanne's blog » ruby

Scripting with Ruby : be careful with File.open

anthony.dahanne — Thu, 21 May 2009 21:34:51 +0000

Once again, I spend a long time debugging something which was quite obvious (well, at least when I discovered the solution…)
Trying to copy all the files from a .m3u playlist file (in each line there is a file path), I used ruby (well bash and zsh are not as funny as ruby), and especially the FileUtils.cp function.
The code is as follow :

require 'fileutils'
count=0
string = String.new
File.open("/home/anthony/Documents/playlist_ok.m3u").each { |line|
if(count!=0)
if((!line.include?"#"))
string = line.chomp
FileUtils.cp string,'./'
end
end
count =  count+1
}
puts "Nombre lignes traitées : " + count.to_s

Well, my mistake was to forget to add the line :
string = line.chomp
because when you don’t, Ruby add the extra « \n » at the end of every line, and then FileUtils returns to you this very explicit message :
/usr/lib/ruby/1.8/fileutils.rb:1200:in `stat': No such file or directory - (Errno::ENOENT) from /usr/lib/ruby/1.8/fileutils.rb:1200:in `lstat' from /usr/lib/ruby/1.8/fileutils.rb:1178:in `stat' from /usr/lib/ruby/1.8/fileutils.rb:1260:in `copy_file' from /usr/lib/ruby/1.8/fileutils.rb:463:in `copy_file' from /usr/lib/ruby/1.8/fileutils.rb:383:in `cp' from /usr/lib/ruby/1.8/fileutils.rb:1395:in `fu_each_src_dest' from /usr/lib/ruby/1.8/fileutils.rb:1409:in `fu_each_src_dest0' from /usr/lib/ruby/1.8/fileutils.rb:1393:in `fu_each_src_dest' from /usr/lib/ruby/1.8/fileutils.rb:382:in `cp' from /serveur/anthony/ruby/export_playlist_to_files.rb:12 from /serveur/anthony/ruby/export_playlist_to_files.rb:5:in `each' from /serveur/anthony/ruby/export_playlist_to_files.rb:5
And believe me, it takes a while to debug… (irb was helful to solve this bug by the way !)

RailsCampParis 2 : le rendez vous de la communauté Ruby et Rails

anthony.dahanne — Sat, 07 Mar 2009 19:56:51 +0000

Samedi 7 Mars avait lieu la 2ème édition du RailsCampParis, cette fois ci dans les locaux de Sun, avenue de Iéna (souvenez l’an dernier c’était à La Cantine)
Une bonne soixantaine de personnes était présente pour le démarrage de cette journée, à 10h30; l’accueil était très bien rodé, avec contrôle de l’identité des visiteurs, attribution d’un autocollant avec nom/prénom tags, pour faciliter les échanges entre participants, et café / petit déj copieux
Après une bref intro et la présentation des sponsors, les personnes présentes se sont présentées, avec 3 tags (j’avais choisi JRuby, Rails, TDD)
Dispersé sur 8 salles, les sujets ont commencé à émerger : beaucoup de merb, un peu de TDD/BDD, de la perf, de la scalabilité, bref, la journée s’annonce bien !
Je me suis rendu aux sessions :

« plugins préférés dans Rails »

, les participants ont alors évoqué leurs plugins rails préférés et leurs utilisations ; on retiendra attachment_fu : pour l’upload des fichiers ou encore PaperClip, Restful Authentification pour l’authentification.
Quand aux plugins de test, en remplacement on retrouve RSpec, utilisé conjointement avec factory girl et shoulda (autre syntaxe que celle de RSpec de base); TestUnit peut s’utiliser avec Machinist, shoulda et faker (?)
Bien entendu, Cucumber a été évoqué, car RSpec reste finalement trop technique pour un fonctionnel.
Un petit retour sur Factory Girl a été fait : factory girl permet de remplacer intelligemment les fixtures en YAML par des bouts de code (en Ruby); on utilise factory girls pour créer les objets à tester; que l’on persiste ou non (du coup un mock) dans la base… très intéressant !

présentation de Merb (par Cyril Mougel)

ORM agnostique (Active Record, Data Mapper, etc…),
Javascript agnostique (JQuery, MooTools, etc…)
Comme Rails 2.2, compatible Rack
3 briques : merb-core, merb-more (le reste d’ActionPack), merb-plugins (ne sort pas simultanément avec les 2 autres, paquets de communication avec d’autres briques comme ActiveRecord, etc..)
mot clef « provides » permet de stipuler les formats de rendu des vue (.xml, .html, .json, etc..à plutot que « format= » en Rails
merb slices : déploiement d’une unique fonctionnalité (route au final) de l’application

présentation de rails 3.0

Nicolas Mérouze est d’abord revenu sur un historique des fonctionnalités apparues dans rails et merb au cours des versions, pour en arriver au futur Rails 3; puis a exposé la vision des « poupées russes », qui rappelait beaucoup certains concepts SOA de réutilisation du métier, des modèles à travers des services de plus haut niveau…
Après avoir introduit adva-cms (devenu adva-community), il a présenté son projet : Russian Dolls (vieux de 1 jour!), un plugin de Merb

Enfin, je me suis rendu à la table ronde Rack, où les différents participants ont évoqué ce qu’est Rack : une application « middleware » entre le serveur web et le framework Ruby. Pourquoi utiliser Rack ? par exemple pour gérer les routes en Ruby plutôt que dans un virtual host Apache (ainsi que que les accès à la page 404 ou autres); et ainsi garder la même conf quelque soit le serveur web en frontal, pratique aussi si on a pas les droits sur la conf Apache ! Aussi, Rack permet de faire du routing entre différentes applications web Ruby.

Après j’ai dû partir, dommage, une session devait aborder en plus approfondi le thème des tests en Ruby… En tout cas l’organisation était parfaite, le « timeboxing » de 1h pour chaque session se prêtait très bien à l’événement, les pizzas, les boissons, les croissants, le tee shirt, vraiment, une excellente organisation ! J’ai de plus le sentiment que la communauté Rails se préoccupe de plus en plus de la qualité, les débats (ou trolls!) entre TestUnit et RSpec prouvent que les développeurs Rubyistes en sont soucieux et c’est tant mieux !!

Cours du soir JRuby

anthony.dahanne — Wed, 29 Oct 2008 22:28:38 +0000

Ce Mardi 28 Octobre, dans le cadre des cours du soir de Valtech, j’ai présenté une démonstration de la librairie open source JRuby, implémentation 100% Java de Ruby.
A l’aide de travaux pratiques, avec les 7 participants présents, nous avons pu :

faire un bref rappel du langage Ruby (pendant 1H20 : définition de classe, héritage, module, mixin)
découvrir Jirb, shell permettant de découvrir les classes Ruby et Java (dans un jar)
utiliser des classes Java avec du code Ruby
découvrir Netbeans 6.1, notamment ses facultés « Ruby »
en 30 minutes, créer un projet Ruby On Rails, avec 2 modèles, création en scaffold des triplets MVC
déployer cette application Ruby on Rails, (grâce aux taches rake de Netbeans qui permettent de créer un war à partir d’un projet RoR) sur un conteneur de servlets, Tomcat en l’occurence

Vous pouvez télécharger, à condition de respecter la licence ci dessous, les tps zippés ainsi que la présentation, au format OpenDocument (à lire avec OpenOffice), ou pdf; vous pouvez aussi choisir de juste consulter la présentation avec l’applet flash ci dessous.

Prochain rendez vous Ruby/Rails à Paris On Rails !

Cours du soir JRuby by Anthony Dahanne est mis à disposition selon les termes de la licence Creative Commons Paternité-Pas d’Utilisation Commerciale-Partage des Conditions Initiales à l’Identique 2.0 France.
Basé(e) sur une oeuvre à
Les autorisations au-delà du champ de cette licence peuvent être obtenues à http://blog.dahanne.net.

Récepteur Sony GPS CS1-KASP : présentation et utilisation sous Linux

anthony.dahanne — Thu, 24 Jul 2008 06:39:19 +0000

Cela faisait quelque temps que çà me démangeait, et finalement, j’ai craqué : j’ai acquis le récepteur GPS Sony CS1-KASP…

Qu’est ce que c’est ?

Toutes les 15 secondes ce petit module gros comme 3 piles AA (et qui fonctionne d’ailleurs avec 1 pile AA) va récupérer 1 trame GPS, au format NMEA (qui contient l’heure de capture et la latitude/longitude).
Il coûte environ 90 euros aux USA, 150 en France ; j’ai eu la chance d’avoir pu me le faire rapporter (il a été commandé du coup sur B&H Photo Video) il y a 1 mois.
L’appareil ne possède pas d’affichage numérique, aussi on en peut que le mettre en route et observer qu’il est en exploration de satellites (clignotements verts rapprochés) en saisie (clignotements verts non rapprochés) en manque de batterie (clignotements rouges rapprochés) ou encore que sa mémoire est pleine (clignotement orange je crois…, mais çà ne m’est jamais arrivé encore !)

Ensuite, en le branchant sur votre ordinateur (en USB) vous pouvez récupérer des fichiers textes, au format NMEA donc, reprenant l’ensemble de votre parcours.(enfin, tous les points capturés à intervalle de 15 secondes pendant que l’appareil était en marche et avait de la réception GPS…)
La mémoire interne est de 31mo (çà suffit très largement pour stocker des trames au format texte ! et l’autonomie sur une pile est d’à peu près 10h (un peu moins avec les piles rechargeables)

A quoi çà sert ?

Et bien Sony met en avant la possibilité de confronter ces trames GPS à vos photos (à condition bien sûr que votre appareil soit à l’heure !!!) : vous avez des points horodatés, des photos horodatés : le couple idéal pour géolocaliser vos photos !
Mais on peut aller plus loin en convertissant les fichiers log en fichiers KML (format de traçage utilisé par Google Earth, permettant de situer votre parcours ainsi que vos photos sur la mappemonde de Google Earth)
Ou alors, on peut même retirer plein d’infos sur son parcours comme : temps de parcours, vitesse moyenne, min, max (lors d’un jogging ou d’une balade en vélo, etc…), bref tout ce que l’on peut imaginer à partir d’un point horodaté !

Qu’y a t il de fourni avec ?

des accessoires pour l’accrocher sur un vélo, un sac à dos…
un cd rom aussi, avec des logiciels propriétaires de Sony pour Windows, pour les avoir essayés une fois, ils fonctionnent plutôt bien (ils permettent de reconnaître le module branché en USB, de choisir les photos à lui associer et de modifier les tags EXIF des photos pour y incorporer longitude et latitude)

Fonctionne – il sous Linux ?

Oui, j’utilise Ubuntu 8.4 (Hardy Heron), et en branchant l’appareil en USB, Dolphin (explorateur de fichiers sous KDE) se lance tout seul et m’affiche le montage du module : on obtient une liste de fichiers logs; que l’on ouvre avec n’importe quel éditeur texte pour contempler (!) les trames NMEA; çà donne çà :
@Sonygps/ver1.0/wgs-84 $GPGGA,064509,4852.5872,N,00213.9426,E,1,04,02.8,00057.1,M,047.6,M,,*4E $GPGSA,A,3,02,04,13,27,,,,,,,,,04.9,02.8,03.9*0E $GPGSV,2,1,07,07,40,157,00,08,12,181,00,13,82,046,50,25,,,41*43 $GPGSV,2,2,07,04,61,243,52,02,41,298,52,27,38,166,45,,,,*42 $GPRMC,064509,A,4852.5872,N,00213.9426,E,000.0,000.0,230708,,,A*7A $GPVTG,000.0,T,,M,000.0,N,000.0,K,A*0D $GPGGA,064524,4852.5872,N,00213.9443,E,1,04,02.8,00045.2,M,047.6,M,,*42 $GPGSA,A,3,02,04,13,27,,,,,,,,,04.9,02.8,04.0*00 $GPGSV,3,1,11,02,41,298,53,04,61,243,52,07,40,157,00,08,12,181,00*7B $GPGSV,3,2,11,10,08,289,00,13,82,046,51,16,08,053,00,20,14,108,00*7B $GPGSV,3,3,11,27,38,166,42,29,00,347,00,25,,,41,,,,*79 $GPRMC,064524,A,4852.5872,N,00213.9443,E,000.0,000.0,230708,,,A*76 $GPVTG,000.0,T,,M,000.0,N,000.0,K,A*0D $GPGGA,064539,4852.5845,N,00213.9444,E,1,05,02.4,00039.1,M,047.6,M,,*48 $GPGSA,A,3,02,04,13,25,27,,,,,,,,04.6,02.4,03.9*0A $GPGSV,3,1,12,02,41,298,53,04,61,243,51,07,40,157,00,08,12,181,00*7B $GPGSV,3,2,12,10,09,289,00,13,82,046,50,16,08,052,00,20,14,108,00*79 $GPGSV,3,3,12,25,55,130,35,27,38,166,36,29,00,347,00,26,,,00*4C $GPRMC,064539,A,4852.5845,N,00213.9444,E,000.0,000.0,230708,,,A*79 $GPVTG,000.0,T,,M,000.0,N,000.0,K,A*0D
Je vois d’ici les mauvaises langues dire « ah oui mais ce format n’est pas le format le plus répandu, peu de logiciels (libres en l’occurrence) le comprenne »
C’est sans compter sur GPSBabel, logiciel libre multi plateformes qui permet de transformer ces trames NMEA en GPX par exemple, format ouvert beaucoup plus répandu, en XML cette fois ci…(ou une des dizaines d’autres formats de géolocalisation que comprend GPSBabel).
Pour l’installer sous Ubuntu (ou Debian) un simple :
%>sudo apt-get install gpsbabel
devrait suffir…
une fois la ligne de commande suivante saisie :
%>gpsbabel -i nmea -f WG20080723064509.log -o gpx -F test.gpx
Vous aurez converti le fichier provenant de votre GPS CS1 au format NMEA en fichier au format GPX, ce qui donne çà :
version="1.0" creator="GPSBabel - http://www.gpsbabel.org" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.topografix.com/GPX/1/0" xsi:schemaLocation="http://www.topografix.com/GPX/1/0 http://www.topografix.com/GPX/1/0/gpx.xsd"> 2008-07-23T20:44:09Z 57.100000 2008-07-23T06:45:09Z 0.000000 0.000000 3d 4 2.800000 3.900000 4.900000 45.200000 2008-07-23T06:45:24Z 0.000000 0.000000 3d 4 2.800000 4.000000 4.900000 39.100000 2008-07-23T06:45:39Z 0.000000 0.000000 3d 5 2.400000 3.900000 4.600000

Quel est l’intérêt de convertir en GPX ? Comment utiliser le GPS CS1KASP sous Linux ?

et bien tout simplement de pouvoir associer les coordonnées de ce fichier à votre collection de photos sous Digikam (gestionnaire de photos sous KDE).
Dans Digikam, sélectionnez vos photos, puis Image -> Géolocalisation ->Corrélation

Renseignez votre fichier au format GPX (et si besoin est, selon le fuseau horaire de votre appareil photo, modifier les paramètres de la corrélation de plusieurs heures avant ou après)

Vos photos sont désormais géo tagguées !
Alors pour en voir le résultat, pourquoi ne pas exporter le tout en KML pour vois s’afficher vos photos sur Google Earth ?

Ouvrez votre fichier KML avec GoogleEarth, et appréciez le résultat !

Ainsi, nul besoin d’utiliser Windows pour associer les coordonnées obtenues par le GPS CS1 à vos photos !

Conclusion

Cela fait seulement 1 mois que je l’ai acheté, aussi j’ai quand même remarqué, au niveau des points faibles, une réception parfois difficile; et une autonomie un peu plus faible avec les piles rechargeables…
Par contre, son montage sous Linux s’est révélé sans accro (ceci dit j’ai lu que sous Mac OSX c’était autre chose…) et les logiciels GPSBabel et Digikam sont très bien adaptés pour exploiter ses trames !
Aujourd’hui j’écris un logiciel en Ruby pour pouvoir retirer des informations statistiques sur ces trames, le projet n’est pas encore avancé, mais vous pouvez quand même jeter un coup d’oeil aux sources de GPXTools.
En tout cas, rien que pour l’utilisation principale (géotagguer ses photos) je conseille l’achat de cet appareil (sans concurrent pour l’instant d’ailleurs) rien que pour avoir le plaisir dans quelques années de pouvoir retrouver facilement sur une carte l’exacte position (à 10 mètres près, GPS oblige) de vos prises de photos !

Liens :
GpxBabel
Digikam
GPXTools

Retour sur le bar camp Rails du 17 Mai , à la Cantine (Paris)

anthony.dahanne — Wed, 21 May 2008 19:12:30 +0000

Intéressé depuis quelque temps par le monde de Ruby et Ruby on Rails, j’ai décidé de m’inscrire au BarCamp Rails ce Samedi 17 Mai à Paris
A partir de 10h, les organisateurs ont mettent en place un tableau où les pesonnes désirant exposer leur travail ou découverte s’inscrivent.
(il y a 5 espaces disponibles à La Cantine, apparemment il faisait chaud à l’étage!; et les créneaux horaires durent de 1 à 2 heures)
Ensuite, après avoir présenté brièvement Silicon Sentier et d’autres sponsors, les organisateurs ont passé le micro à chacun des participants (une centaine quand même !) afin qu’ils se présentent : prénom + tags (j’ai choisi les tags développeur Java J2EE, d’autres tags comme « fille » ou « windows » étaient plus originaux !)
Les personnes s’étant inscrites sur le tableau démarrèrent dès 10h30.
Il y en avait pour tout le monde : débutant comme expérimenté ! (présentation ruby on rails, ruby en entreprise, facebook on rails !, etc…)
Voici mon choix pour la journée :

10:30 : présentation de l’intégration google maps dans rails avec geokit; par Sébastien Gruhier

Apres une présentation du projet, nous avons procédé à la génération d’une api key chez google maps, afin de pouvoir utiliser l’API (je crois que l’on a droit à 10000 requêtes par jour, à vérifier).
Nous avons ensuite créé un site rails, en ayant pris soin auparavant d’installer les gems de geokit et d’un module d’authentification.
Ensuite nous avons testé l’API par une console Rails, et enfin nous avons codé nos premiers fcihiers Rails avec des cartes.
L’API geokit permet de faire des travaux de geolocalisation (par IP) et de récupération de coordonnées, mais elle ne permet pas de générer des cartes gogole maps (en fait lors de la session nousa vons du coder du javascript pour cécupérer des cartes…)
Pour ceux qui craignent le Javascript, passez votre chemin donc, et dirigez vous plutôt vers un wrapper (comme YM4R sur rubyforge wrapper javascript)

14:30 : présentation jruby par Nicolas Mérouze

nous avons installé jruby bin (.zip ou tar gz).
A l’attaque, en lançant le script bat jruby.bat (ou jruby.sh)on peut d’ores et déjà installer des gems avec
jruby -S gem install un_gem_ruby
Plus généralement,
jruby -S "commande ruby"
Nicolas nous a montré beaucoup d’exemples sur Ruby qui utilise Java (normal il travaille sur un projet qui utilise des librairies java), peu dans l’inverse (dommage); sur le web, j’ai pu remarquer cet article qui permet de découvrir Jruby pour intégrer du Ruby dans Java

16:30 présentation faille sécurité ruby/ecommerce par Webpulser

Pendant cette session les participants ont pu échanger sur leurx expériences Ruby, ensuite l’équipe technique de Webpulser ont fait un petit tour des failles de sécurité en Ruby :
*Injection SQL : en donnant un ‘ à la fin d’une requete GET ,des attaquants pourraient terminer une clause SQL, ==> on utilise le ? à la printf de C pour échapper les caracteres spéciaux
*XSS en donnant du javascript dans l’url; on évite çà avec <%h= %> qui échappe le html
etc…

Sans parler de l’organisation qui était vraiment pro, un accueil chaleureux, bref, ce BarCampRails parisien vallait vraiment le détour !

Port of an J2EE application (with Hibernate) to Ruby on Rails (1.2.3)

anthony.dahanne — Mon, 21 Apr 2008 22:18:13 +0000

Last week, I ported a J2EE application, using Hibernate for persistence and Capestry for the MVC part of the application to Ruby.
I logically choosed Ruby on Rails as it is the main Web framework for Ruby.
In this post, I describe how I did to perform such a port…
!Important! the application I first wrote this application in Franch, I tried to refactor the code in English, but… I haven(t finished at this time, … sorry folks !

Introducing the bank on line application

This application is composed of 3 models : Client, Compte (account) and Operation
A client has n Comptes (through reference_client) and a Compte has n Operations (through compte_id) :

The application allow the user to :
*login
*see a list of his accounts (after being logged in)
*see the details of one of his account (actually a list of the operations on an account)
*order a transfer between 2 accounts provided that the balance is positive (and the accounts exist)
Quite simple from a user point of view…

Creating the application with Ruby on Rails 1.2.3

The best way to port this new application to RoR, was to create a new RoR project
rails bankonline -d sqlite3
(by the way, I was using the sqlite3 database, to allow an easy installation of the application, the J2EE application was using HSQLDB)
cd bankonline
I was using for this Rad Rails visual editor on a windows platform (no comment…)
The first step to port this application was to create the 3 models.
ruby script/generate model Client
ruby script/generate model Compte
ruby script/generate model Operation
Then I put the contraints on each of these models (the has_many and belongs_to relationships to stick to my diagram), editing their definition files in app/models and also the database definition files, in db/migrate
Once this is done, I can run
rake db:migrate
to load all my db/migrate scripts. (in case I want to revert the changes, I can use rake db:migrate VERSION=0, or VERSION=1 if only want to reverse the migration after the script)

To fill the database with data, I add another migration script :
ruby script/generate migration add_data
I edit it to add some lines in the database and then I migrate :
rake db:migrate

Then the 3 corresponding controllers :
ruby script/generate controller login
ruby script/generate controller gestion

Implementing the login system (session based)

For this, I took example on the depot application login system, from the pragmatic programmers’ book « Agile Web Development with Rails », but I chose to use not encrypted passwords.
I also chose to use database based sessions, so I edited the config/environment.rb file, line 31, to allow :
config.action_controller.session_store = :active_record_store
Then, I add to create a new table to hold the session data :
rake db:sessions:create

Of course, you need a little bit of code in your app/controllers/login_controller.rb, you have to implement the login and logout methods (or actions, to speak rails); you may also notice the apparition of a « before_filter » call.
The authorize filter is defined in the app/controllers/application.rb file, it will be loaded for every controller, and will check tha t a valid client is in session, or else, it will redirect to the login action, in the login controller.
Finally, you will have to define the views, both in app/views/login, they’re called login.rhtml and logout.rhtml
One last thing : you also need to modify the layout, in app/views/layouts/login.rhtml to display the flash notice before the yield (which includes the display of the view)


<%= flash[:notice] %>

Implementing the account listings and the transfer functionality

We have to code the controller, GestionController, located in gestion_controller.rb
You’ll notice that I’ve replaced the service class in Hibernate by methods inside the controller in Rails, I didn’t want to put it in the model, since the model can’t know how to transfer money.(I think we can discuss that point, but as long as the helpers are dedicated to the view…)
I’ve also used exceptions to raise errors (if the origin account balance is smaller than the transfer amount)
You also have to include the flash notice in the layout, app/views/layouts/gestion.rhtml

That’s it !
launch your rails app
ruby script/server
and try it out in your web browser at : http://localhost:3000/login/login

In a few days I’ll complete this article with the tests and fitnesse fixtures …
To continue …

First version of Bank online RoR to download