30 blitz games Crafty - SOS 19-2-9, 40/300

[Volker Pittlik]

Geschrieben von: / Posted by: Volker Pittlik at 18 March 2000 19:47:26:

I have played a 30 games match between Crafty 17.10 and SOS. Time control was 40/300, ponder=on.
All games are available at my Games archive.
Results generated with "Pgnres" by Peter McKenzie:

No. Name Win Draw Loss Unf. Score Games %
--------------------------------------------------------------
1 Crafty1710_corbit +19 =9 -2 *0 23.5 30 78.3%
2 SOS +2 =9 -19 *0 6.5 30 21.7%
Total Games: 30
White Wins: 9 (30.0%)
Black Wins: 12 (40.0%)
Draws: 9 (30.0%)
Unfinished: 0 (0.0%)
--------------------------------------------------------------
System: 2*433 MHz Celeron, Hashsize ~20 MB, all 3 & 4-men tablebases
Best wishes
Volker

[Mogens Larsen]

Geschrieben von: / Posted by: Mogens Larsen at 19 March 2000 01:09:29:
Als Antwort auf: / As an answer to: 30 blitz games Crafty - SOS 19-2-9, 40/300 geschrieben von: / posted by: Volker Pittlik at 18 March 2000 19:47:26:

I have played a 30 games match between Crafty 17.10 and SOS. Time control was 40/300, ponder=on.
All games are available at my Games archive.
Results generated with "Pgnres" by Peter McKenzie:

No. Name Win Draw Loss Unf. Score Games %
--------------------------------------------------------------
1 Crafty1710_corbit +19 =9 -2 *0 23.5 30 78.3%
2 SOS +2 =9 -19 *0 6.5 30 21.7%
Total Games: 30
White Wins: 9 (30.0%)
Black Wins: 12 (40.0%)
Draws: 9 (30.0%)
Unfinished: 0 (0.0%)
--------------------------------------------------------------
System: 2*433 MHz Celeron, Hashsize ~20 MB, all 3 & 4-men tablebases
Best wishes
Volker

SOS isn't a blitzer, which this test confirms.
Best wishes...
Mogens

[Djordje Vidanovic]

Geschrieben von: / Posted by: Djordje Vidanovic at 19 March 2000 03:47:15:
Als Antwort auf: / As an answer to: Re: 30 blitz games Crafty - SOS 19-2-9, 40/300 geschrieben von: / posted by: Mogens Larsen at 19 March 2000 01:09:29:

I have played a 30 games match between Crafty 17.10 and SOS. Time control was 40/300, ponder=on.
All games are available at my Games archive.
Results generated with "Pgnres" by Peter McKenzie:

No. Name Win Draw Loss Unf. Score Games %
--------------------------------------------------------------
1 Crafty1710_corbit +19 =9 -2 *0 23.5 30 78.3%
2 SOS +2 =9 -19 *0 6.5 30 21.7%
Total Games: 30
White Wins: 9 (30.0%)
Black Wins: 12 (40.0%)
Draws: 9 (30.0%)
Unfinished: 0 (0.0%)
--------------------------------------------------------------
System: 2*433 MHz Celeron, Hashsize ~20 MB, all 3 & 4-men tablebases
Best wishes
Volker

SOS isn't a blitzer, which this test confirms.
Best wishes...
Mogens

Volker, hi!
I really appreciate your effort and the testing, however my blitz results regarding SOS and Crafty up to ver. 17.07 indicate that the two are very close in blitz strength. I also tend to think that in head to head confronation SOS would come out the winner. One thing only, I strongly suggest to use the earlier released version of SOS for blitz testing. It is quite stronger than the latter. Perhaps you could make a little test with it? Thanks.

*** Djordje

[Frank Quisinsky]

Geschrieben von: / Posted by: Frank Quisinsky at 19 March 2000 10:10:03:
Als Antwort auf: / As an answer to: 30 blitz games Crafty - SOS 19-2-9, 40/300 geschrieben von: / posted by: Volker Pittlik at 18 March 2000 19:47:26:

I have played a 30 games match between Crafty 17.10 and SOS. Time control was 40/300, ponder=on.
All games are available at my Games archive.
Results generated with "Pgnres" by Peter McKenzie:

No. Name Win Draw Loss Unf. Score Games %
--------------------------------------------------------------
1 Crafty1710_corbit +19 =9 -2 *0 23.5 30 78.3%
2 SOS +2 =9 -19 *0 6.5 30 21.7%
Total Games: 30
White Wins: 9 (30.0%)
Black Wins: 12 (40.0%)
Draws: 9 (30.0%)
Unfinished: 0 (0.0%)
--------------------------------------------------------------
System: 2*433 MHz Celeron, Hashsize ~20 MB, all 3 & 4-men tablebases
Best wishes
Volker

Hallo Volker,
das war eine Packung. Ähnliche Ergebnisse gab es bei Christian Koch. Bei Ponder = Off sieht SOS verliert SOS nicht ganz so deutlich.
Nun es gibt jetzt zwei Gründe:
01) Crafty profitiert von Ponder = Off mehr als SOS !
Unterstreicht die Aussagen von Prof. Dr. Robert Hyatt in CCC !
02) SOS hat ein Ponder Problem !
Ich habe mir das mal angesehen. SOS scheint völlig korrekt mit Ponder zu spielen und ich konnte hier keine Probleme feststellen. Auch AnMon und Phalanx spielen mit Ponder anscheinend schwächer (im Vergleich zu ponderlosen Partien) aber auch hier konnte ich kein Fehlverhalten feststellen.
Bleibt also die Möglichkeit 1 !
Bei Crafty fällt mir auf, daß es deutlich an Spielstärke zulegt wenn mehr Zeit zur Verfügung steht. Daher sind auch die guten Resultate auf Dual Boards mit der SMP Version durchaus beachtlich.
Erklären kann ich mir das allerdings nicht, weil dann meine These mit den 20-40 ELO bei ponderlosen Partien nicht mehr stimmt. OK, es trifft ja auch nicht bei allen Programmen zu aber gerade bei Crafty dachte ich immer nicht mehr als maximal 20 ELO bei längeren Bedenkzeiten.
Ferner dann ja auch noch die Geschichte, daß Crafty SOS nicht liegt. Trotz sehr hoher Niederlagen beim Turnier von Christian Koch hat SOS ein sehr gutes Gesamtergebnis erzielt.
Ich habe mal alle Partien mit längeren Bedenkzeiten von meiner Webseite in die einstige ELO Datenbank (siehe meine Webseite) kopiert. SOS tauchte ja in dieser
Ratingliste noch nicht auf !
SOS liegt bei 2470 ELO (über 250 Partien) und Crafty bei 2500 (über 800 Partien). Allerdings sind hier auch ältere Crafty Versionen erhalten. Nehme ich nur die letzten Crafty Versionen so liegt Crafty ca. bei 2525 ELO. Crafty hat
sich also von den Version 14.12 bis aktuell ca. um 50 ELO nach meinen Eindrücken verbessert und hat aufgeschlossen zu den absolut stärksten Schachprogrammen ! Es sind maximal 75 ELO zu den stärksten Schachprogrammen auf meiner Maschine aber wie gesagt, bei größerer Bedenkzeit sind es wohl kaum noch 75 ELO sondern vielleicht 50 ELO !
SOS liegt als in den Bereichen von Little Goliath 2000 2.0 - 2.5 bei längeren Bedenkzeiten und ca. 30-40 Punkte vor AnMon und Comet !
Also lange Rede kurzer Sinn ...
So schlecht ist SOS nicht wie das Ergebnis gegen Crafty aussagt aber alles ist erklärbar. Festzuhalten bleibt ... Crafty wird stärker und stärker und meist sind es anscheinend die kleinen Detail Änderungen die Robert immer wieder vornimmt und dem User so direkt gar nicht auffallen.
Gruß
Frank

[Volker Pittlik]

Geschrieben von: / Posted by: Volker Pittlik at 19 March 2000 10:17:10:
Als Antwort auf: / As an answer to: Re: 30 blitz games Crafty - SOS 19-2-9, 40/300 geschrieben von: / posted by: Djordje Vidanovic at 19 March 2000 03:47:15:
...

Volker, hi!
I really appreciate your effort and the testing, however my blitz results regarding SOS and Crafty up to ver. 17.07 indicate that the two are very close in blitz strength. I also tend to think that in head to head confronation SOS would come out the winner. One thing only, I strongly suggest to use the earlier released version of SOS for blitz testing. It is quite stronger than the latter. Perhaps you could make a little test with it? Thanks.

Hi Djordje,
I'm afraid I cannot do that because SOS_991025 does not run under NT (see my old message). Perhaps someone has solved this problem. It would be nice to run InmiChess on my machine also.
Volker

[Volker Pittlik]

Geschrieben von: / Posted by: Volker Pittlik at 19 March 2000 12:49:29:
Als Antwort auf: / As an answer to: Re: 30 blitz games Crafty - SOS 19-2-9, 40/300 geschrieben von: / posted by: Frank Quisinsky at 19 March 2000 10:10:03:
Hi Frank,
...

Nun es gibt jetzt zwei Gründe:
01) Crafty profitiert von Ponder = Off mehr als SOS !
Unterstreicht die Aussagen von Prof. Dr. Robert Hyatt in CCC !
02) SOS hat ein Ponder Problem !
Ich habe mir das mal angesehen. SOS scheint völlig korrekt mit Ponder zu spielen und ich konnte hier keine Probleme feststellen. Auch AnMon und Phalanx spielen mit Ponder anscheinend schwächer (im Vergleich zu ponderlosen Partien) aber auch hier konnte ich kein Fehlverhalten feststellen.
Bleibt also die Möglichkeit 1 !
Bei Crafty fällt mir auf, daß es deutlich an Spielstärke zulegt wenn mehr Zeit zur Verfügung steht. Daher sind auch die guten Resultate auf Dual Boards mit der SMP Version durchaus beachtlich.
Erklären kann ich mir das allerdings nicht, weil dann meine These mit den 20-40 ELO bei ponderlosen Partien nicht mehr stimmt. OK, es trifft ja auch nicht bei allen Programmen zu aber gerade bei Crafty dachte ich immer nicht mehr als maximal 20 ELO bei längeren Bedenkzeiten.
sich also von den Version 14.12 bis aktuell ca. um 50 ELO nach meinen Eindrücken verbessert und hat aufgeschlossen zu den absolut stärksten Schachprogrammen ! Es sind maximal 75 ELO zu den stärksten Schachprogrammen auf meiner Maschine aber wie gesagt, bei größerer Bedenkzeit sind es wohl kaum noch 75 ELO sondern vielleicht 50 ELO !
SOS liegt als in den Bereichen von Little Goliath 2000 2.0 - 2.5 bei längeren Bedenkzeiten und ca. 30-40 Punkte vor AnMon und Comet !

Ein suboptimales Ponderverhalten konnte man IMHO nur bei der älteren Gromitversion beobachten (die Version 3 ist da völlig OK). Nach meinen Beobachtungen unterstützen die Programme Pondern oder nicht. Dass es bei einem Programm weniger gut als bei einem anderen geht, habe ich sonst noch nirgendwo gesehen.
Hm, das ist bei mir ja nun das genaue Gegenteil (obwohl 30 Partien statistisch gesehen immer noch nicht viel sind): beim Match mit Ponder=off, 40/3600 lag SOS gegenüber Crafty 16.19 fast gleichauf (12-11, Rest remis)
Wieviel Elo das Pondern bringt, möchte ich nicht vorhersagen. Vor ein paar Monaten hat Ed Schröder mal von einem Versuch mit verschiedenen Rebelversionen im CCC berichtet. Die Aussage war: es bringt so 100-200 Elo, allerdings wurden am Versuch auch methodische Zweifel geäußert. Richtig gut wäre, ein Programm zu haben, das wahlweise pondert oder nicht, _egal_ was bei Winboard als Option eingestellt ist. Dann könnte man einen prima Test machen.
...
Und auf Bobs Mühle gibt es anscheinend gar keinen mehr.
Hm, kann schon sein, ich werd sie bald alle mal spielen lassen: AnMon, Comet, Crafty, LG, Phalanx, Gromit, vielleicht Bringer, Exchess. Alle schön der Reihe nach 40/5, 40/30 und dann 40/120, mal sehen wie ich Zeit habe.
Beste Gruesse
Volker