[DxOMark.com] ::Questions multiples::

[MorB]

Bonjour à tous,

Je me permets d'ouvrir un post au sujet de DxO mark... J'ai plusieurs questions au sujet des multiples résultats qu'on peut obtenir.

Petit rappel (si j'ai bien compris) :
DxO Mark est un site qui résume et donne des résultats de mesure de capteurs photo (grosse base de données). Les tests sont basés sur le potentiel RAW et non sur les jpeg.

Sur ce site, il y a un outil intéressant qui permet de comparer différents appareils photo numériques.

Voici le classement global des APS-C : http://www.dxomark.com/index.php/eng/DxOMark-Sensor
Apparemment ce classement tient compte de la qualité du RAW (et non des perfs globales des boitiers)... On constate que les 5 premiers sont respectivement :

• D90
• D5000
• Samsung GX20 (et pas le K20D )
• Nikon D300
• Alpha700

L'alpha700 v.4 arrive fièrement en 5ème position des APS-C... c'est plutôt pas mal pour un boitier qui a quelques mois de bouteille

Personnellement, je suis un peu étonné des (mauvaises) places des APS-C Canon...
Je m'étonne que le D90 soit placé devant le D300... Et je m'étonne encore plus que le D5000 soit devant aussi ...

Comment interpréter les résultats de ces RAWs ? Cela voudrait-il dire qu'un photographe de paysages devrait/pourrait largement prendre un D5000 à la place d'un D300 ?

• Regardez le classement en rapport à la "Color depth" basée sur les Raws : Là on s'aperçoit que les Alpha300 & 350 donnent de meilleurs résultats que l'Alpha700... qui lui est ex-æquo avec l'alpha200
  
• Ensuite regardez le "Dynamic Range"... Le Fuji S5 pro & son petit frère le S3 pro sont encore les 1ers ... Suivis à nouveau du D90 & D5000... pour finir avec le D300 & l'alpha700...
  
• Pour le "low-light ISO" alors là c'est l'étonnement total : L'alpha700 est classé derrière les Minolta 7D et 5D (tout comme le D200) ...

C'est à n'y rien comprendre vous ne trouvez pas ?! Quelqu'un peut-il m'expliquer ce qu'est Low-light ISO car peut-être que je n'ai pas saisi ce que ça veut dire ?!

Que pensez-vous de ces classements ? Pouvons-nous penser qu'ils sont strictement le reflet de la réalité ?!




PS : Je ne savais pas trop où classer ce post... N'hésitez pas à le rediriger si il y a une rubrique plus adéquate SVP

[Bug Killer]

La réponse est dans la page :

DxOMark Sensor measures only the RAW image quality of a digital camera; therefore, DxOMark Sensor is NOT an evaluation of overall camera image quality or performance.

[MorB]

Oui Bug Killer c'est également ce que j'ai mis... Ici il n'est question que des RAWs ... Mais enfin il faut reconnaître malgré tout que si on on considèrent qu'on a pas tous besoin de prendre un busard à 300 mètres par temps de pluie à contre-jour, c'est tout de même la valeur d'un RAW qui est importante non ? Valeur en terme de profondeur d'image, dynamique bruit etc.


Mais enfin quand même tu trouves pas que les classements dans certaines catégories sont surprenants ?!

[stingray]

Une petite remarque en passant :
Autant je trouve que le travail de DxO est très intéressant d'une manière général, autant je trouve que la note globale sur 100 est plus que discutable.
Je n'ai d'ailleurs pas trouvé comment cette note était calculée, sur quels critères et avec quels coefficients.
Il y a au moins 3 critères clairement affichés :
- color depth
- dynamic range
- low-light iso

Sur ces trois (il y a peut être d'autres critères), seul le dernier prend en compte les hauts iso. C'est la principale raison de la faible représentation de Canon dans le "haut du panier" de DxOMark, les Canon étant devant tout le monde vers 400-800 iso mais en dessous des autres (Sony et Nikon notamment) à 100iso.
Le capteur du D90 (D5000) est à part car donnant de très bons résultats au mesures DxO à toutes les sensibilités. Je soupçonne quand même fortement un gros lissage des raw sur ce capteur ...

Cette note globale est donc complètement biaisée car si tu shootes tout le temps à plus de 400iso, les classements sont complètement bouleversés.

[Jean-Michel]

Je trouve DXO Mark très précieux pour en savoir plus sur les performances et les limites de mon capteur (ce qui en théorie devrait me permettre de mieux maîtriser la bête.)

Par contre je me contre-fout des comparaisons avec les autres boitiers.
Pour faire simple (voir un peu simpliste je confesse)
Les boitiers et les capteurs évoluent tellement que celui qui a un poil de C.. de plus mieux qu'un autre sera de toutes façon détronné par un nouveau modèle dans 15 jours !
Celui qui choisi un boitier en fonction de ses performances pures sera toujours insatisfait et frustré par les nouvelles sorties.

Il est plus utile de bien connaître ses propres besoins et de connaître la gamme d'objectifs adapté a son apn afin de choisir et d'optimiser (en fonction de son budget) les accouplement boitiers/objo/pratique que de comparer des poils de C.. a la loupe sur un tirage de 14 mètres sur 12

[AlphaDream]

Il faut savoir que le test DxO pour l'Alpha 700 a été fait sur la base du firmware v2, d'où les scores modestes en high ISO. DxO vient de mettre à jour les modules A700 en v4, mais ils n'ont pas refait le test DxOMark. Dommage...

[MorB]

@ stingray : Il me semble que cette note globale de 100 est en fait une échelle ouverte... Et que dans le futur, il est possible ou probable que cette valeur soit franchie. Il faut alors peut-être plus prendre cette valeur comme élément de comparaison.

@ Jean-Michel : Je partage ton avis sur la note globale et la comparaison des boitiers... Mais il y a certains domaines où je suis étonné des résultats obtenu par les boitiers. Par exemple le "Low-light ISO", car si j'interprete les résultats, je prends un D7 à la place d'un Alpha700 si je dois prendre des photo en basse lumières c'est bien ça ? ... Ou alors qu'est-ce que c'est que ce low light ISO ?

@ AlphaDream : Euh tu es sûr ?

En bas de test, sur l'alpha700 ils mettent :
The Sony Alpha 700 with its new version 4.0 firmware scored a 66.3 on the DxOMark Sensor scale, putting it in 17th place on the dxomark.com overall ranking, and in 5th place for APS-C cameras. Given its launch date (Sept. 2007), this is a pretty good result.

[stingray]

@ stingray : Il me semble que cette note globale de 100 est en fait une échelle ouverte... Et que dans le futur, il est possible ou probable que cette valeur soit franchie. Il faut alors peut-être plus prendre cette valeur comme élément de comparaison.

Le problème n'est pas que cette note soit sur 100 ou pas, c'est que l'on ne sait pas comment cette note est calculée (contrairement aux tests qui ont leurs protocoles bien documentés). Faire en plus un classement à partir de cette note est donc plus que discutable. D'ailleurs c'est ce qui a fait couler beaucoup d'encres sur les forums et fait beaucoup de tord à DxOMark, car le lecteur Lambda s'arrête à la note et au classement souvent sans regarder le détail des tests qui eux sont indiscutables.

[Xapi]

ça ne me choque pas plus que ça que le D7D soit devant l'A700 en "low light ISO", j'imagine que le test ne tient pas compte de la taille du pixel, et du coup un "vieux" capteur à gros pixels a de bonnes chances d'obtenir une meilleur note.
Par contre ré-échantillonné à une taille identique, il y a aussi de bonnes chances que l'interpolations des pixels bof avec les pixels ok donne au final une meilleur image.
Et de la même façon les algo de débruitage risquent de mieux fonctionner sur les capteurs fortement pixellisés et ainsi compenser en très grande partie la moins bonne montée en ISO des capteurs avec des tout petits photosites.
Schématiquement je comprends donc ça comme le fait que le D7D serait plus propre sur un A3 que ne le serait un A700 sur un A2, mais tous les deux ramenés à un A3 je ne suis pas inquiet pour l'A700 (pour avoir eu D5D et A700 quasi-simultanément l'été dernier).

A titre de comparaison, il faudrait par exemple regarder ce que donne le match D3 vs D3X brut de capteur sur DXO mark (comme ça on élimine tout les paramètres boitiers et on se concentre sur le capteur avec son électronique), et dans un deuxième temps regarder ce que donne un fichier ré-échantillonné à l'identique pour un A3 pour les 2 capteurs après avoir soigneusement traité/débruité sous DXO Optics. Je pense que le D3 sera surement un peu meilleur car son capteur n'est tout de même pas très vieux, mais ce n'est pas dit que la différence serait flagrante.

Toute la problématique de la montée en nombre de pixels étant in fine de "créer moins de bruit" qu'on n'amène de définition dans le capteur.

[AlphaDream]

Heu... j'aurais mieux fait de regarder avant...
La dernière fois que j'y suis allé, c'était toujours l'ancien score.
Donc j'ai dit une connerie, désolé...

[stingray]

Je m'autocite car j'ai trouvé :

Je n'ai d'ailleurs pas trouvé comment cette note était calculée, sur quels critères et avec quels coefficients.
Il y a au moins 3 critères clairement affichés :
- color depth
- dynamic range
- low-light iso

Ce sont en fait les trois uniques critères pris en compte, avec le même coef.

Sinon pour Xapi, le low-light iso est égale à la sensibilité iso qui donne un rapport Signal/Bruit de 30dB sur un gris 18% et sur un tirage (enfin c'est simulé à partir des mesures au niveau pixel).
Cette mesure ne sert pas à grand chose car sur du gris 18% le bruit qui domine est le bruit de photon qui n'a rien a voir avec le capteur. Donc "en théorie" ce bruit dépend principalement du format du capteur, ça se vérifie d'ailleurs pratiquement pour tout le monde, les courbes de SNR 18% "se tiennent" dans 3dB pour le même format.