Sun vient de publier un bench sur nos nouveaux composants permettant de faire de la parallélisation. Ils ont testé sur 2 machines : des bi-cpu quad core.
Les fichiers de données sont générés à l'aide du DBGEN v2.8.0 (le générateur de données utilisés dans de nombreux benchs comme le TPC-H ) et varient de 6 Million de ligne (740 MB ) à 3,3 milliards de ligne (415 GB ).

Différentes opérations ont été effectué (calculer un count, calculer une moyenne, trier les données).

Par exemple, trier 60 millions de lignes (7,4 GB ) prend 1 minute de temps (1 million de ligne par seconde).

Tous les détails et tous les résultats sont disponibles à :
http://blogs.sun.com/aja/entry/talend_s_new_data_processing

Merci Amir pour ton travail!
jeudi 30 avril 2009