Benchmarken grafische kaarten

[anoniem]

Mijne heren, Tegenwoordig benchmark ik grafische kaarten met: [b:76e1d8568b]UT2003[/b:76e1d8568b]: [url=http://www.hardocp.com/article.html?art=NDQy]HardOcp version 2.0[/url] Voordeel van deze tool is dat ik ongeveer 7 levels kan testen en daardoor de geijkte levels (Antalus, Asbestos) kan ontwijken. Aangezien dat beroerde levels zijn voor het testen van grafische kaarten. Suntemple, Face3 en Phobos2 zijn veel meer geschikt doordat de texture detail (dus meer videogeheugen noodzakelijk) veel hoger is dan de andere levels. [b:76e1d8568b]Voorbeeld:[/b:76e1d8568b] http://slashhead.homestead.com/files/temp/UT2003.xls [b:76e1d8568b]Serious SAM[/b:76e1d8568b], hoewel ik vind dat deze zijn waarde dreigt te verliezen. De game engine begint toch wel verouderd te worden. Maar is nog wel geschikt voor het meten van OpenGL performance met FSAA en ANISO. [b:76e1d8568b]3Dmark 2003 [/b:76e1d8568b]gebruik ik eigenlijk al een hele tijd niet meer en ik krijg daar eigenlijk ook geen klachten over. De reden dat ik hier vanaf ben gestapt heeft niet zozeer te maken met cheaten/optimaliseren maar meer met de opzet van het programma. Ik probeer altijd programma's te kiezen die het werkelijke gebruik van de grafische kaart benaderen. Dus de performance die je dan meet, kun je ook verwachten wanneer je met een dergelijke kaart gaat gamen. [b:76e1d8568b]Splintercell[/b:76e1d8568b], mijn eerste indruk van dit spel is niet echt overtuigend voor mij geweest. De CPU impact ligt veel te hoog waardoor je eigenlijk je CPU aan het testen bent en niet zozeer de grafische kaart. [b:76e1d8568b]Fraps[/b:76e1d8568b], heb ik eigenlijk nooit gebruikt. Ik weet namelijk niet of de resultaten die je behaalt met dit programma betrouwbaar zijn. Als iemand deze ervaringen heeft dan wil ik dat wel graag horen. [b:76e1d8568b]Gunmetal[/b:76e1d8568b], dit is echt zo'n nVidia game... Afgezien dat ik het een ruk spel vind, is de grafische weergave IMHO ook niet veel soeps. Bij mij bestaat de vrees dat als ik dit ga gebruiken nVidia kaarten beter presteren dan ATI kaarten (mogelijk moedwillig door de spelmaker veroorzaakt). Opzich geen probleem wanneer dit spel een grote afzet zou hebben. Het gaat er toch om hoe je kaart presteert wanneer je'm echt gaat gebruiken. Als dan ATI genaaid wordt is dat ATI zijn probleem en niet de mijne. Jij hebt in iedergeval de performance voor die specifieke game. [b:76e1d8568b]Techdemo's[/b:76e1d8568b], altijd errug leuk en zeker de moeite waard om die 100MB te downloaden. Probleem is alleen dat deze vaak op één platform is ontwikkeld. Dat wil zeggen dat het niet altijd goed wil werken op een ander platform. Een voorbeeld is X-isle, VulpineGL, Dronez etc. Opzich een goede zaak van nVidia dat zij zo nauw betrokken zijn bij dergelijke programma's. Helaas maakt dat wel dat dergelijke programma's minder geschikt zijn voor benchmarken. Een voorbeeld daarvan is CodeCreatures. nVidia FX 5900ultra presteert daar buitengewoon goed t.o.v. de Radeon 9800 pro 256. Maar als ik erover ga nadenken dan heb ik een conflict omdat theoretisch gezien de Radeon 9800pro beter [u:76e1d8568b]moet[/u:76e1d8568b] presteren dan de FX 5900 ultra. Dit zit in de architectuur van de Radeon 9800pro t.o.v. de FX 5900 ultra. Ik snap daarom dan ook niet dat sommige bladen/websites dit argument aandragen om de FX 5900 ultra beter te vinden dan Radeon 9800pro. [b:76e1d8568b]Cheaten[/b:76e1d8568b], tot nog toe vind ik UT2003 en Serious SAM nog het meest geschikt. Ook ik ben op de hoogte van de smeerpraktijken van nVidia voorwat beteft filtering. Mijn idee was om m.b.v. Serious SAM de verschillen tussen bi en tri filtering te meten en dit in percentages uit te drukken. Vervolgens ga ik dit in mindering brengen bij UT2003 (of andere spellen waarbij "optimalisaties" verwerkt zijn) voor nVidia kaarten. Dit kan betekenen dat ik de scores voor nVidia kaarten met 10% ga verlagen zoals de situatie nu is bij UT2003. Ik ga het dan gooien op een soort van beeldkwaliteit correctie. Dus eigenlijk een soort van punten systeem. Ik zit hier serieus over te denken om zo'n systeem te introduceren. Ik zit namelijk ook met het probleem van FSAA. Deze zijn (D3D) niet hetzelfde en met zo'n beeldkwaliteit correctie kan ik dat weer gelijk trekken. Ik moet dan wel heel goed uitzoeken hoe ik die correctie ga toepassen. Maar denk aan vermenigvuldigen met waardes rond de 1. (0.7 ~ 1.3). Het bilineair trilineair verhaal kan ik gewoon uitmeten. FSAA en Floating Point resolutie ligt wat ingewikkelder. Uiteraard blijf ik de weergegeven fps vermelden, maar daarover heen ga ik dan een correctie factor gooien die ik uitdruk in een bepaald punten systeem. De strekking is; conform game instellingen en DirectX 9 specs is 1. Vooralsnog lijkt het dat ATI het minste knoeit en redelijk betouwbaar is. Elke afwijking daarop wordt gecorrigeerd met een waarde lager dan wel hoger. Gelijke beeldkwaliteit met ANISO en FSAA is ook 1. Daar waar de ander beter beeld weet te generen wordt een waarde van 1.x toegekend. Gezien de huidige situatie neem ik de ATI kaarten als referentie. Dus die heeft in principe altijd een 1, tenzij de DirectX 9 specs worden overschreden. De overige kaarten match ik hier dan op. FP24 is conform DirectX 9 specs. Dus elke instelling die hier van afwijkt krijgt een afwijkende waarde. Laat maar's horen wat je ervan vindt. vr.gr. Raymond Koning Hardware tester: 3D grafische kaarten Computer!Totaal.

[anoniem]

Heavy en erg moeilijk verdedigbaar denk ik al die omreken factoren. Veel van je factoren zullen aannamens zijn, en hoe weet je zeker wanneer de driver omschakeld naar FP16 bijvoorbeeld? Screenshots zijn al niet meer mogenlijk met de 50.* serie, omdat de drivers herkennen wanneer een screenshot wordt gemaakt en op max kwaliteit springen :( In UT2003 springen de nVidia drivers niet terug naar bi-linear, maar een soort tussenvorm, dus niet na te rekenen lijkt me :( Fraps lijkt me toch een van de opties, zit je nog met het feit, hoe word het beeld gemaakt en wat word er onderhuids aangepast als de drivers de applicatie herkennen. Ik zou als ik jouw was hier een draad over starten op B3d. Daar komen erg veel Reviewers, die hebben er veel meer kaas van gegeten dan wij :roll:

[anoniem]

Raymond, ik heb er even een " mededeling " van gemaakt. Ik sluit me aan bij het feit dat de oude benchmark methodes niet meer werken, als je echter gaat werken met een systeem van percentage's die je aftrekt van de score maak je wel het risico dat je afgetrokken precentage niet goed is, daardoor kan een benchmark ook verpest worden, ik denk dus dat je daar erg voorzichtig mee moet wezen. 3dmark moet niet meer gebruikt worden in reviews, zowel 2001se als '03 niet, geinig om te zien maar de score's zeggen helemaal niets. denk ook eens aan Aquamark 3 en de Half-Life 2 benchmark die er aan komt. o ja,, Quake III kan helemaal niet meer natuurlijk

[anoniem]

Mee eens, maar het probleem bij benchmarken gaat veel verder dan vaste benchmarks sinds er onlangs oneerlijke gamecheats aan het licht zijn gekomen, (dat zeg ik bewust zo, want misschien zitten ze er al veéél langer in). Ik zie het liefst custom benchmarks met fraps in zoveel mogelijk games, dus géén vaste timedemo's omdat die het meest cheat/optimaliseerbaargevoelig zijn. Het nadeel is dat dit zeer zorgvuldig moet gebeuren omdat het noordzakelijk blijft dat dezelfde vruchten moet worden vergeleken :D

[anoniem]

Dat klopt dat er aannames tussen zitten. Maar die wil ik dan ook heel zorgvuldig bepalen. En dan wel zodanig dat ik ze kan verdedigen. Aan de andere kant kun je zoiets massaal afspreken, als reviewers. Bepaalde "tweaks" waarderen met een 0.8 ofzo. Hiermee geef je een heel duidelijk signaal naar de betreffende fabrikant dat dit soort praktijken dus niet (meer) werken. Wat de screenshots betreft, geldt dat voor screenshots die gemaakt zijn met F12, dus zeg maar in-game mogelijkheden? Je hebt ook nog een programma als hypersnap.

[anoniem]

Met HL2 kun je zelf een demo recorden als ik met niet vergis. Had ik ergens gelezen. AquaMark 3 is een hele mooie benchmark (had ik ergens gezien op een ATI R..... :P ) Alleen zo nu en dan heel veel overdraw (geeft veel impact) wat natuurlijk weer voer is voor driver optimalisaties.

[anoniem]

[quote:a86ed68c62="SkinnerEd"] Ik zie het liefst custom benchmarks met fraps in zoveel mogelijk games, dus géén vaste timedemo's omdat die het meest cheat/optimaliseerbaargevoelig zijn. Het nadeel is dat dit zeer zorgvuldig moet gebeuren omdat het noordzakelijk blijft dat dezelfde vruchten moet worden vergeleken :D[/quote:a86ed68c62] Je moet dan wel games zien te vinden die het mogelijk maken om een recording te maken anders hebbie er nog niks aan. Of doet/kan fraps dat zelf?

[anoniem]

[quote:865258cd96="Slashhead"]Wat de screenshots betreft, geldt dat voor screenshots die gemaakt zijn met F12, dus zeg maar in-game mogelijkheden? Je hebt ook nog een programma als hypersnap.[/quote:865258cd96] Kweenie

[anoniem]

Waar heb jij je info weg dan?

[anoniem]

Gelezen op oa b3d dacht ik, of was het op t.net bij de aankondiging van de 51.* beta's ?. Er was een gast welke dus het getest had. een screenshot vergleken met een ingame image, met 2 monitoren naast elkaar. t.net dus [quote:32a411e78a] Gepost door Sleep0rz dinsdag 16 september 2003 - 00:14 Score: 3 (Informatief) Die screenshots zijn nutteloos met deze drivers... waarom? nou dit is wat de drivers doen: Zodra jij een screenshot maakt, schiet de kwaliteit omhoog tijdens dat screenshot, en daarna weer naar beneden.. dus je screenshots zullen inderdaad beter zijn... maar alleen je screenshots, het werkelijke beeld is bagger. Maare.. dat mag je lekker zelf vergelijken... Ik heb hier een dual monitor config, ook det5.0 gehad... op mijn 2e scherm had ik een screenshot van het spel geplaatst.. en het spel op pauze gezet tijdens de plek waar ik de screenshot had genomen... ik kan je vertellen.. het verschil is redelijk te merken [/quote:32a411e78a]

[anoniem]

[quote:158ddcf4a0="Slashhead"]Met HL2 kun je zelf een demo recorden als ik met niet vergis. Had ik ergens gelezen.[/quote:158ddcf4a0] Die HL2 Benchmark komt 30-09 uit heb ik begrepen, dan weten we het snel genoeg [quote:158ddcf4a0]AquaMark 3 is een hele mooie benchmark (had ik ergens gezien op een ATI R..... :P )[/quote:158ddcf4a0] NDA zuigt!! Bel me even en vertel wat meer over de Ati R.... ;) [quote:158ddcf4a0] Alleen zo nu en dan heel veel overdraw (geeft veel impact) wat natuurlijk weer voer is voor driver optimalisaties.[/quote:158ddcf4a0] Ik heb Aquamark 3 ook gedraaid (zien onderschrift en Aquamark 3 topic) er zit daar een speciale Overdraw scene in, dat is die mega explosie, dus daar is bewust voor gekozen mag je aannemen.

[anoniem]

[quote:27c33e806b="Slashhead"][quote:27c33e806b="SkinnerEd"] Ik zie het liefst custom benchmarks met fraps in zoveel mogelijk games, dus géén vaste timedemo's omdat die het meest cheat/optimaliseerbaargevoelig zijn. Het nadeel is dat dit zeer zorgvuldig moet gebeuren omdat het noordzakelijk blijft dat dezelfde vruchten moet worden vergeleken :D[/quote:27c33e806b] Je moet dan wel games zien te vinden die het mogelijk maken om een recording te maken anders hebbie er nog niks aan. Of doet/kan fraps dat zelf?[/quote:27c33e806b] Nee helaas niet, maar je kan meerdere safepoints gebruiken, maar ik geef onmiddelijk toe dat dat nu niet de meest effectieve manier is.

[anoniem]

Heb net even fraps geprobeerd, en het lijkt wel aardig goed te werken. Met fraps (AquaMark 2003) haal ik 33.0 fps. Volgens de score van Massive zou het 33,6 moeten zijn...

[anoniem]

Ik ben het er volkomen mee eens dat de huidige benchmarkmethodes op de schop moeten door alle "cheat"drivers en optimalisaties. Maar net als wat eerder gezegd is, denk ik dat een puntensysteem gevoelig is voor foute uitslagen. Voor de rest heb ik er te weinig verstand van om er ook maar iets zinnigs over te kunnen zeggen. Ik gebruikte alleen 3DMark2001 om mijn OC's te checken. Zelfs dat heb ik al een jaar niet meer gedaan, omdat mijn systeem sindsdien niet veranderd is. :)

[anoniem]

[quote:77d9e212b9="Slashhead"]Heb net even fraps geprobeerd, en het lijkt wel aardig goed te werken. Met fraps (AquaMark 2003) haal ik 33.0 fps. Volgens de score van Massive zou het 33,6 moeten zijn...[/quote:77d9e212b9] Moet je zeker wel de nieuwe versie kopen ? Nou ja, dat betaald de C!T wel voor je ;)

[anoniem]

Gebruik v2.0 demo. Ik weet alleen niet hoelang die blijft werken.

[anoniem]

Jeroen, trek je creditcard maar ;) Zal wel een dag of 30 zijn

[anoniem]

Volgens mij is het alleen de videocapture die een limiet heeft van 15 seconden.

[anoniem]

1,9d gebruik ik al maanden.

[anoniem]

Tomshardware gebruikt nu ook andere test methodes: http://www.tomshardware.com/graphic/20030930/radeon_9800-13.html Om optimalizatie van drivers te voorkomen gebruikt hij zelf opgenomen timedemo's Dat is een goeie zaak!