Avis personnel concernant les tests.

[LE BISON]

Il faut apprendre à lire et comparer les tests eux-mêmes.
Une courbe FTM "du bon vieux temps argentique" ne mesure que l'objectif et vaut pour tout boîtier. Je ne vois pas de courbe FTM sur Photozone, seulement quelques mesures en paires de ligne par hauteur d'image (à quel contraste ?) abusivement désignées "MTF (Resolution)" quand il ne s'agit que de la parenthèse; de telles mesures se font sur un couple objectif-boîtier et ne se reportent pas sur un autre boîtier, y compris du même constructeur

avec toi!

C'est tout à fait le sens de mon intervention qui vaut aussi pour les magazines qui tirent des conclusions pour le moins surprenantes à partir du test d'un seul objectif... Il faut toujours vérifier pour bien confirmer. Un exemple: les 17-35 et 28-75 KM avaient été testés par une revue que nous connaissons tous. A 5-6 mois d'intervalle les résultats étaient forts différents voire paradoxaux! Que peut donc en déduire un lecteur attentif? Rien, puisque tout à été dit ainsi que son contraire!
Il ne me semble donc pas, Alpha, jeter le bébé avec l'eau du bain puisque, même avec des bancs ultra sophistiqués, les résultats sont pour le moins déroutants. Quand un magazine écrit que les résultats de tel objectif ne sont pas très bon mais que cela est "peut-être du à une mauvaise map", je ne vois pas comment un tel commentaire peut être taxé de professionnel! Si le problème provient de l'AF (du boîtier), je ne comprends pas pourquoi on en tire des conclusions concernant les qualités optiques intrinsèques de l'objectif testé!

Si vous permettez, deux exemples pour illustrer mon propos:

1°) imaginez, une seconde, que le test en tenue de route de tel ou tel véhicule serait validé alors même que les pneus auraient un problème! Pour être rigoureux, il faudrait mettre des pneus en bon état afin de juger des qualités routières du dit véhicule, avant de conclure à une mauvaise tenue de route,
2°) étant un grand amateur de Hi-Fi, j'ai acheté un magazine "spécialisé" qui passait en revue et en test plusieurs platines vinyles. Les journalistes testeurs ont osé faire un classement des 7 platines testées! Une honte. Pensez donc, les platines ont toutes été testées avec une cellule, avec un étage phono, un ampli-préampli et des enceintes différents!!! Comment peut on, objectivement et honnêtement, emettre ne serait-ce qu'un quelconque avis? Pour valider ce test, il aurait fallu que chaque platine ait été testée sur le même système de référence.
Je ne me suis pas gêné pour contacter la rédaction qui m'a répondu que les "testeurs" ( ) n'avaient pas eu le temps matériel de faire mieux. Dans ce cas, on s'abstient plutôt que de dire des conneries!
Cela vaut pour tous les domaines. Quand on a une certaine notoriété (magazines, sites internet, journalistes, enseignants, historiens...), on se doit d'avoir une honnêteté intellectuelle irréprochable afin de ne pas tromper les gens qui nous font confiance.

[LE BISON]

de telles mesures se font sur un couple objectif-boîtier et ne se reportent pas sur un autre boîtier, y compris du même constructeur

On ne le dira jamais assez. Ne comparer que ce qui est comparable. Les différences de graphes entre le 17-50 suivant les marques (ou devrais je plutôt dire les boitiers) sont logiques.

Ta remarque, empreinte d'une logique certaine, met en relief le fait que les tests (revues...) ne précisent que très rarement ce que tu viens de souligner. On conclue sur un objo... alors qu'en numérique on teste un couple! Autre dérive!

[Bug Killer]

C'est pire que ça, il s'agit d'un trio : boîtier - objectif - dérawtiseur. Klaus Schroiff indique les versions d'ACR qu'il utilise pour traiter ses raw et note qu'une amélioration importante de la capacité à séparer des lignes est apparue au fil de ces versions. S'il redéveloppait les raws de 350D et D200, les chiffres des graphes de ces boîtiers remonteraient. DPReview note d'ailleurs dans un de ses bancs d'essais de boîtiers que les algorithmes des dérawtiseurs les plus récents permettent de séparer plus de lignes que ce que permet la limite théorique du capteur (fréquence de Nyquist).

[AlphaDream]

Je suis bien d'accord avec les précautions de lecture de ces tests, que l'on évoque nous même en permanence ici puisqu'on ne dissocie jamais une optique du boîtier auquel elle est sensée être vissée. Et on insiste lourdement sur le fait qu'une optique qui passe bien sur un A200 peut devenir limite sur les 14Mpx d'un A350.
Donc tout le monde sait très bien ici qu'un test n'est valable que pour un couple boîtier/optique, et qu'il est délicat de comparer un test (Photozone par exemple) réalisé il y a 2 ans sur un 20D à 8Mpx et aujourd'hui sur les 12 Mpx d'un A700. La juste remarque de BK sur le format d'enregistrement et les paramètres de développement (DSP ou logiciels) en rajoute une couche sur la difficulté d'effectuer ce genre de comparaison.
Tes remarques sont justes, Bison, mais cela demanderait trop aux testeurs : il faudrait systématiquement, pour tous les boîtiers et toutes les optiques, faire et refaire les tests dans des conditions parfaitement identiques. C'est bien illusoire, donc il faut savoir se contenter de ce qui est mis à disposition...

Donc toujours bien d'accord avec le constat qu'il faut lire ces tests avec précaution, mais toujours pas d'accord si c'est pour dire que ça ne vaut pas tripette ou que l'avis subjectif d'utilisateurs est préférable

[LE BISON]

En fait, ce post découle des constatations que j'ai pu faire lors de mes recherches.

En tant qu'universitaire, mes maîtres m'ont toujours appris à n'intervenir et à m'exprimer que si mon étude était fondée sur des expériences/constatations reproductibles. Il fallait systématiquement étayer nos dires par des preuves palpables. Fi donc des fantasmes ou suppositions bancales. Dans le même état d'esprit, il fallait, lors de nos études, se 'taper' toute une biographie de référence, terreau à partir duquel on pouvait commencer à travailler. L'étude du travail accompli par d' autres chercheurs était obligatoire afin de montrer que l'on avait bien potassé le sujet. Et puis, comment se faire une idée sans savoir de quoi l'on parle et sans écouter d'autres avis?

C'est à partir de ces postulats que j'ai procédé pour la rédaction du livre et que, rigueur et précision était les conditions sine qua non que je m'étais fixées dès le départ. Il est sûr que l'écriture de 350 pages ne s'improvise pas et que, sans cette formation de base, il est difficile voire impossible de présenter un travail clair et cohérent.

Il est vrai que ce que je me suis appliqué (rigueur et précision), j'aurai aimé que ceux dont nous avons parlé plus haut se l'appliquent aussi, ce qui serait la moindre des choses de la part de personnes dont les interventions et jugements peuvent avoir des conséquences parfois dramatiques (plusieurs fils dénoncent, d'ailleurs, les dérives de certains magazines. A ce sujet, voir le test de l'Alpha 700 effectué par le magazine "Que C...ir"). Le crédit que nous donnons à de tels propos est certes proche de zéro mais pensez à ceux qui ont lu ce magazine de "référence", pensant que le "prophète" avait parlé!!! Bon, je ne vais pas aborder le sujet sous un angle philosophique mais, au niveau déontologie, il serait plus que de bon ton que "ceux qui ont la parole" ne distillent que des infos responsables et, par conséquent, fiables, même si c'est dur! Ben, ils touchent un salaire, non?

Pour finir, j'avais lu, pour la rédaction du bouquin, le mode d'emploi, la plaquette publicitaire ainsi que la "bible" d'un appareil que je nommerai "X". La "bible" disait que cet appareil était silencieux, Minolta ayant beaucoup travaillé sur cet aspect. Conformément à la ligne que je m'étais fixée, je prends l'appareil "X" en main et me rends compte qu'il est silencieux comme une casserolle sur laquelle on tape avec un marteau (j'exagère un peu, c'est mon côté provençal qui reprend le dessus). Surpris, je consulte la plaquette publicitaire qui stipule que Minolta a tout fait pour réduire "à mort" le bruit de fonctionnement! Je décide d'acquérir un deuxième puis un troisième boîtier du même modèle afin de vérifier si celui que j'avais testé n'avait pas un problème. Que nenni! Les 3 étaient de véritables mitraillettes!!! Ventre saint-gris, le journaliste qui avait rédigé son "torchon" n'avait, en fait, fait qu'un résumé de la plaquette Minolta!!! sans vérifier ce qu'il en était vraiment. Pire, aurait-il été "graissé"? Je n'ose le croire .

Bon, voilà... j'ai dit ce que j'avais sur le coeur et, entre l'ancienne école qui nous enseignait l'éxigence et l'école fast-food où tout le monde peut dire n'importe quoi, mon choix est vite fait.

[Bug Killer]

De mes cours d'essais et mesures, j'ai retenu qu'il faut effectuer au minimum trois essais, ce qui pour le cas qui nous intéresse se traduit par l'essai d'au moins trois exemplaires, et calculer la variance et l'écart type. La variabilité de la mise au point suffisant à introduire de grosses dispersions de la résolution et des aberrations chromatiques (A ce sujet, un article intéressant de SLRGear ->), il faut encore multiplier les essais si on veut obtenir des résultats significatifs, faute d'être précis. Tout ce qu'on obtient c'est une tendance.

[LE BISON]

De mes cours d'essais et mesures, j'ai retenu qu'il faut effectuer au minimum trois essais, ce qui pour le cas qui nous intéresse se traduit par l'essai d'au moins trois exemplaires, et calculer la variance et l'écart type. La variabilité de la mise au point suffisant à introduire de grosses dispersions de la résolution et des aberrations chromatiques (A ce sujet, un article intéressant de SLRGear ->), il faut encore multiplier les essais si on veut obtenir des résultats significatifs, faute d'être précis. Tout ce qu'on obtient c'est une tendance.

En effet, toute démarche sérieuse et "scientifique" se doit de procéder de la sorte. Tu as eu affaire à des enseignants de qualité .

[Thyoda]

Tout à fait d'accord avec ce qui est dit ici.
Les journalistes font leur boulot qui est de pondre de la copie, pas de faire des tests objectifs comme en labo universitaire. Et même dans ce dernier cas, j'ai trop souvent vu des universitaires se copier l'un l'autre, citer tous la même référence (qu'ils n'avaient à l'évidence pas lue), acquiescer à des conclusions non vérifiables parce que le gugus qui avait écrit était sérieux soi-disant... Avec l'âge, j'ai appris la méfiance et la prudence, et aujourd'hui quand j'écris dans une revue, je vérifie tout systématiquement. Et je peux vous dire qu'on a de drôles de surprises ! Mais évidemment ça la fout mal lorsqu'ensuite on écrit que tel ponte a écrit n'importe quoi ou a pompé le mémoire ou la thèse de tel étudiant, sans le citer... (ça existe malheureusement).

[LE BISON]

Absolument Thyoda, absolument!
Pour illustrer tes propos:
Je me souviens de ma première expérience de publication. Un prof de la Fac me propose, ainsi qu'à quelques autres étudiants, de l'aider dans des traductions. Chacun d'entre nous traduit une dizaine de poèmes. Au bout du compte, un bouquin de 300 pages voit le jour. Il est édité à 30000 exemplaires (par une grande maison d'édition). Succès: le stock est épuisé en 10 jours. Il y a eu une ou plusieurs rééditions... nous n'en savons pas plus. Le prof nous avait dit que les droits seraient reversés à une association (nous n'avons rien signé!!!)... je n'en dis pas plus. Moralité, le dit enseignant se paie, juste après, un appart et une voiture, cash!!! Nous: ZERO!!!
Et voilà comment on entube les gens!!!
LE BISON était jeune et tendre à l'époque... aujourd'hui, les cornes ont poussé et je me suis entouré d'avocats... au cas où! C'est quand même triste de devoir en arriver à de telles extrémités...

[ear_78]

Sans etre mechant, si les revues testaient les boitiers avec des optiques de reference (2,8/50 et 2,8/105 macro Sigma par exemple...), cela nivelerait aussi les tests et moins de personnes acheteraient les revues !

Aujourd'hui c'est devenu ridicule de comparer des Canon, Nikon, Sony, Pentax et Olympus avec des optiques de 'base' tres differentes les unes des autres ! Sans compter que les nombreux graphes chez CI amenent encore plus de confusion qu'avant puisqu'aujourd'hui les DSP ttiturent tellement les pixels qu'on ne peut plus savoir ce qui est fait au-dela de 800 ISO entre antibruit, lissage, traitement hautes lumieres, etc, etc.

Et puis si CI avait utilise le 2,8/50mm macro Sigma pour faire ses 'matchs' de comparaison entre capteurs de resolution identique, cela aurait donne l'Alpha 100 devant en terme de pique face aux D200, D80 et Canon 40D. Inconcevable... Comment le classer troisieme alors ?

Et la remarque de Bug est essentielle. Les dematriceurs donnent des comportements tres differents selon les fichiers d'origine, c'est mission impossible d'avoir une base de comparaison !

[LE BISON]

En fait, à titre perso, je me moque des comparatifs! Je n'en ai rien à faire que tel, tel ou tel objo soit devant celui-ci ou celui-là! Je me moque de savoir que mon 24-70 ou que mon 70-200 soit supérieur aux autres. La nuit, je dors bien, pas besoin d'être rassuré.
Qui a le plus gros, qui a le plus long?... à mon âge... ce discours est devenu futile et non constructif. Ce qui m'importe c'est que le matériel que je viens de me payer corresponde à mes besoins car je fais des tofs, je ne regarde pas chez Panon, Mikon... pas de temps à perdre!

Ce qu'il y avait d'interessant quand CI faisait les test CECI, ils avaient des tofs de référence "faible, moyen, bon, très bon, excellent". On savait ce que l'on achetait car, en plus de leurs tests, ils disaient qu'ils testaient plusieurs exemplaires du même objo pour être sûrs du résultat.

Pour ce qui concerne les logiciels de dématriçage... ce n'est plus de l'optique! C'est de l'informatique. Et puis, quand on dit (à juste titre) que le capteur joue un rôle dans le résultat final, il faudrait développer. Encore une fois, si l'on teste un objo, on teste ses qualités intrinsèques!!!Moi, ce que je veux, ce sont des tests fiables (autant que faire se peut) et sérieux concernant des objos! Les résultats "girouette" (un coup il est bon, un coup il est mauvais et, ceci, avec le même appareil) et payants... non, c'est trop alors, messieurs les journalistes testeurs, please, faites votre boulot et BIEN! Et, pas que pour la photo.

[ear_78]

Ce que je ne suis jamais arrive a comprendre, c'est pourquoi CI publie les anomalies de manip lors des tests DxO. Quand l'AF n'accroche pas la mire, ca arrive, on voit des trucs incroyables comme le pique s'effondrer aux ouvertures intermediaires et etre meilleur aux extremites, ce qui est impossible ! Pourquoi ne refont-ils pas les tests autant de fois que necessaire (comme avec JMS quand on avait teste mon 1,4/85 Zeiss ou il a fallu s'y reprendre dix fois pour avoir les bons chiffres...) ?

[LE BISON]

Ce que je ne suis jamais arrive a comprendre, c'est pourquoi CI publie les anomalies de manip lors des tests DxO. Quand l'AF n'accroche pas la mire, ca arrive, on voit des trucs incroyables comme le pique s'effondrer aux ouvertures intermediaires et etre meilleur aux extremites, ce qui est impossible ! Pourquoi ne refont-ils pas les tests autant de fois que necessaire (comme avec JMS quand on avait teste mon 1,4/85 Zeiss ou il a fallu s'y reprendre dix fois pour avoir les bons chiffres...) ?

Avec toi.
Une seule réponse: par manque de professionnalisme. Comment pourrait-il en être autrement? Si il y avait un peu de sérieux lors de la constatation d'une anomalie liée à l'AF, le test ne serait pas publié avant vérification complète. Point barre.

[red71]

Parce que des impératifs de temps, de productivité, etc... passent au dessus du soucis du travail sérieux et toujours bien fait. C'est là qu'on perçoit d'où vient le vent... et ca peut expliquer certains errements.

[Bertrand T]

Ce que je ne suis jamais arrive a comprendre, c'est pourquoi CI publie les anomalies de manip lors des tests DxO. Quand l'AF n'accroche pas la mire, ca arrive, on voit des trucs incroyables comme le pique s'effondrer aux ouvertures intermediaires et etre meilleur aux extremites, ce qui est impossible ! Pourquoi ne refont-ils pas les tests autant de fois que necessaire (comme avec JMS quand on avait teste mon 1,4/85 Zeiss ou il a fallu s'y reprendre dix fois pour avoir les bons chiffres...) ?

Si l'AF n'accroche qu'une fois sur dix, le graphe aux ras des pâquerettes est effectivement représentatif de ce qui se passe en pratique… sauf qu'on photographie rarement des sujets plans. C'est la vérité du test et le test est la vérité
Au moins, le commentaire corrige ce point. L'absence de "photo témoin" des différents niveaux du graphe est plus gênante : j'aimerais pouvoir choir où mettre la limite de l'acceptable.

Et j'ai encore plus de mal avec le chiffre de granulométrie du bruit apparu il y a quelques mois. D'où sort-il et comment est-il calculé ? Mystère… Spontanément, je pensais qu'un chiffre de granulométrie devait être petit, mais apparemment les grosses valeurs sont les meilleures. 'Faut comprendre. Quant à savoir quelle peut-être la limite acceptable
C'est ainsi que, faute de pouvoir suivre et interpréter ces pages de chiffres et de graphes divers, un abonnement ne sera pas renouvelé.

[LE BISON]

L'essentiel pour ces journalistes réside, peut-être, dans le fait qu'ils trouvent suffisant de se comprendre eux-mêmes (et encore, pas sûr). Le lecteur... on s'en fout!
Je n'achète plus non plus.