« Réunion du 12-07-2022 » : différence entre les versions
Ligne 359 : | Ligne 359 : | ||
[12:00] Ubit Umarov : ils sont dans opensimdefaults.ini | [12:00] Ubit Umarov : ils sont dans opensimdefaults.ini | ||
[12:00] Vincent.Sylvester @hg.zetaworlds.com:8002: | [12:00] Vincent.Sylvester @hg.zetaworlds.com:8002 : Pour que Visual Studio permet de voir directement où le code se bloque. | ||
[12:00] Andrew Hellershanks: Vincent, | |||
[12:01] Vincent.Sylvester @hg.zetaworlds.com:8002: | [12:00] Andrew Hellershanks : Vincent, oui, c'est ce que j'avais prévu de faire. Je pourrais ajouter du code de débogage supplémentaire car le backtrace me dit où il s'arrête. | ||
[12:01] Ubit Umarov: | |||
[12:01] Andrew Hellershanks: | [12:01] Vincent.Sylvester @hg.zetaworlds.com:8002 : Si tu arrives à le faire, n'hésite pas à le publier pour que d'autres puissent le tester aussi, plus il y a de cerveaux, mieux c'est pour comprendre des choses mystérieuses comme ça. | ||
[12:02] Andrew Hellershanks: Ubit, | |||
[12:02] Andrew Hellershanks: | [12:01] Ubit Umarov : oui, lire le IL vous aidera beaucoup :p | ||
[12:02] Ubit Umarov: x | |||
[12:03] Vincent.Sylvester @hg.zetaworlds.com:8002: | [12:01] Andrew Hellershanks : Je n'ai pas écrit les deux scripts en question. L'un d'eux fait presque 4600 lignes. | ||
[12:03] Ubit Umarov: | |||
[12:03] Andrew Hellershanks: | [12:02] Andrew Hellershanks : Ubit, je sais. J'espérais juste trouver quelque chose qui pourrait aider à préciser ce qui déclenche l'exception. | ||
[12:03] Vincent.Sylvester @hg.zetaworlds.com:8002: | |||
[12:03] Ubit Umarov: Y | [12:02] Andrew Hellershanks : Un débogueur ou l'ajout de messages de débogage supplémentaires pourrait être ma meilleure option. | ||
[12:04] Andrew Hellershanks: Vincent, | |||
[12:04] Andrew Hellershanks: Vincent, | [12:02] Ubit Umarov : x n'avait aucun contrôle sur l'utilisation de la mémoire. | ||
[12:04] Ubit Umarov: | |||
[12:04] Selby.Evans @grid.kitely.com:8002: | [12:03] Vincent.Sylvester @hg.zetaworlds.com:8002 : Si elles sont aussi longues, peut-être que ce que tu vois est l'échec de l'allocation du tas lui-même. | ||
[12:04] Andrew Hellershanks: | |||
[12:05] Ubit Umarov: | [12:03] Ubit Umarov : il est donc normal que certains scripts essaient de manger toute la mémoire. | ||
[12:05] Kayaker Magic: | |||
[12:05] Ubit Umarov: cya Selby.Evans | [12:03] Andrew Hellershanks : Il y avait un paramètre de taille de pile de 256k dans l'ini mais c'est à peu près tout. | ||
[12:05] Andrew Hellershanks: Selby, ok. | |||
[12:05] Ubit Umarov: | [12:03] Vincent.Sylvester @hg.zetaworlds.com:8002 : Tu as presque autant de malchance que moi avec les bugs lol | ||
[12:05] Vincent.Sylvester @hg.zetaworlds.com:8002: | |||
[12:03] Ubit Umarov : Y contrôle la pile et le tas | |||
[12:04] Andrew Hellershanks : Vincent, c'est ce que je pense. Il aurait été plus intéressant de le dire dès le départ et de ne pas se contenter de dire pas de référence à l'objet. | |||
[12:04] Andrew Hellershanks : Vincent, seulement quand ce n'est pas mon code. | |||
[12:04] Ubit Umarov : et oui, dans les mêmes cas, les gens ont besoin de l'augmenter pour exécuter les vieux scripts X. | |||
[12:04] Selby.Evans @grid.kitely.com:8002 : au revoir tout le monde. | |||
[12:04] Andrew Hellershanks : Ceci fait partie d'un test de compatibilité pour voir quels changements (s'il y en a) doivent être faits au script pour qu'il fonctionne dans YEngine. | |||
[12:05] Ubit Umarov : en supposant qu'il ait échoué à cause d'un débordement de pile contrôlé par Yengin. | |||
[12:05] Kayaker Magic : Au revoir Selby ! | |||
[12:05] Ubit Umarov : cya Selby.Evans | |||
[12:05] Andrew Hellershanks : Selby, ok. Merci d'être venu. | |||
[12:05] Ubit Umarov : il se peut qu'il ait crashé à cause d'un débordement de pile natif :) | |||
[12:05] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je pense qu'avec des scripts aussi longs, il y a probablement quelque chose qui n'est pas conforme à la norme LSL et qui est rejeté par le système. J'ai vu beaucoup de vieux scripts écrits sous X fonctionner mal parce qu'ils utilisaient de mauvais ajouts de listes et d'autres choses du genre. En les corrigeant et en écrivant dans la norme LSL appropriée, on obtient des performances et moins de problèmes de consommation de mémoire. | |||
[12:05] Ubit Umarov: well when ubode does that, it is very visible :) | [12:05] Ubit Umarov: well when ubode does that, it is very visible :) | ||
[12:06] Vincent.Sylvester @hg.zetaworlds.com:8002: Rewriting script that large not so easy of course, might be better to just lint it a bit | [12:06] Vincent.Sylvester @hg.zetaworlds.com:8002: Rewriting script that large not so easy of course, might be better to just lint it a bit |
Version du 26 juillet 2022 à 16:21
Source : http://opensimulator.org/wiki/Chat_log_from_the_meeting_on_2022-07-12
Introduction
[11:04] Ubit Umarov : ahh le chat d'andrew s'est souvenu de la réunion.
[11:04] Andrew Hellershanks : Je suis au téléphone,
[11:04] Misterblue Waves : nous sommes montés jusqu'à 48c l'été dernier -- les plantes n'ont pas bien résisté.
[11:05] Ubit Umarov : Ohh ok on va taper doucement
[11:05] Ubit Umarov : ouais mais 48 ici c'est rare... comme 45 ans rare.
Fsassets : instances multiples
[11:06] Ubit Umarov : à propos d'opensim, encore une fois pas grand chose.
[11:06] Vincent.Sylvester @hg.zetaworlds.com:8002 : Deux changements la semaine dernière, un autre nettoyage de libomv et un correctif pour fsassets qui n'utilise pas correctement ses dossiers. J'ai ramené mono à 122 vendredi et j'attends maintenant ce que cela fait aux régions. Jusqu'à présent, je n'ai pas entendu parler de nouveaux crashs, mais je vais devoir le laisser un peu pour être sûr. FS a sorti une nouvelle beta avec le support du statut de la grille rss maintenant supporté dans OpenSim.
[11:06] Misterblue Waves : même chose pour nous -- il est rare de dépasser les 100F.
[11:06] Ubit Umarov : j'ai fait un petit commit lié à un flag fsassets.
[11:07] Ubit Umarov : ou une option, en fait pas si bonne...
[11:07] Ubit Umarov : pour exécuter plusieurs instances de fsassets, cela ne fonctionnera pas.
[11:07] Ubit Umarov : à moins d'avoir un disque réseau comme stockage.
[11:07] Andrew Hellershanks: .0
[11:08] Ubit Umarov : fs ne fait qu'écrire des choses sur un disque, il n'a aucune idée de ce que sont les instances multiples.
[11:08] Ubit Umarov : les métadonnées dépendent de mysql qui fait le truc du multi serveur, ça ne semble pas très bon non plus.
[11:09] Ubit Umarov : donc, pas si utile que ça cette option...
[11:09] Ubit Umarov : hmm quel était l'autre ? libomv ?
[11:10] Ubit Umarov : hmm je suppose que c'est aussi une chose mineure.
[11:10] Vincent.Sylvester @hg.zetaworlds.com:8002 : Est-ce que le truc de fsassets est principalement un verrouillage de fichier ou quel est le problème ?
[11:11] Ubit Umarov : ah oui... j'utilisais une exception c# générique pour signaler une mauvaise chaîne de caractères lors de l'analyse.
[11:12] Kayaker Magic : Un problème avec plusieurs fsassets est qu'il y a peu de chance que deux d'entre eux génèrent le même UUID en même temps.
[11:12] Ubit Umarov : changé en FormatException pour correspondre à ce que .net guid fait.
[11:12] Ubit Umarov : fs ne génère pas d'uuids.
[11:12] Kayaker Magic : OK, alors plusieurs Robusts.
[11:13] Ubit Umarov : le problème avec des robusts multiples est que vous avez besoin d'un stockage partagé.
[11:13] Ubit Umarov : fsasset n'est pas prévu pour cela.
[11:14] Ubit Umarov : chaque instance va juste lire et écrire depuis son propre disque.
[11:14] Ubit Umarov : quelque chose qui ne fonctionnera pas du tout, à moins que ce soit un disque réseau partagé spécial.
[11:14] Ubit Umarov : ou on peut faire tourner tout cela sur la même machine, ce qui n'est pas très utile non plus.
[11:15] Ubit Umarov : sur ce point fsassets est pire que les assets normaux, qui au moins dépendent uniquement de mysql/maria.
[11:16] Ubit Umarov : les multi-instances fsassets qui ont fonctionné, ont été installée séparant quelques bits de l'UUID de l'asset.
[11:16] Ubit Umarov : a t-on toujours du code pour cela, je n'en suis pas sûr.
[11:17] Ubit Umarov : bien sûr, cela ne fonctionne pas très bien avec le type guid "aléatoire" que nous utilisons.
[11:17] Ubit Umarov : pas si aléatoire que cela
[11:18] Ubit Umarov : c'est pourquoi osgrid fonctionne avec ses propres assets propriétaires...
[11:18] Ubit Umarov : j'utilisais une variante de fsassets, qui faisait aussi de la fumée si on utilisait plus d'une instance.
[11:18] Ubit Umarov : maintenant j'utilise quelque chose d'autre.
[11:19] Ubit Umarov : bien sûr, il n'y a pas de problème si vous avez une bonne machine NAS et un réseau 100Gbit ;)
[11:19] Vincent.Sylvester @hg.zetaworlds.com:8002 : Etant donné la simplicité de ce que cela doit faire au final, il est plus facile d'écrire avec quelque chose d'autre qui supporte le verrouillage des fichiers de manière appropriée, je suppose. Idéalement directement en C pour obtenir la plus grande vitesse.
[11:20] Ubit Umarov : le verrouillage des fichiers semble échouer sous linux.
[11:21] Ubit Umarov : ce code fsassets exécute aussi plusieurs instances sur un seul robust...
[11:21] Vincent.Sylvester @hg.zetaworlds.com:8002 : Ce n'est pas intégré, donc le langage ou le code doit le gérer lui-même.
[11:21] Ubit Umarov : une comme instance principale des assets, les autres comme esclaves qui s'y connectent.
[11:21] Misterblue Waves : les GUIDs ne sont pas assez aléatoires ou le contenu n'est pas unique ?
[11:22] Ubit Umarov : il y avait toujours un problème de verrouillage, car plusieurs threads de maintenance pouvaient être déclenchés dans ce cas...
[11:22] Ubit Umarov : ça devrait être ok maintenant...
[11:23] Ubit Umarov : mes commentaires ne concernaient que les personnes qui essayaient de faire tourner plusieurs instances de service d'assets sur différentes machines...
[11:23] Ubit Umarov : comme je l'ai dit, ça ne marche pas, sauf s'ils utilisent un disque partagé sur le réseau.
[11:24] Vincent.Sylvester @hg.zetaworlds.com:8002 : Ou quelque chose qui émule le comportement de ce type de disque, je suppose.
[11:24] Ubit Umarov : Oui
[11:24] Ubit Umarov : alors bien sûr il faut comparer la latence ajoutée à la latence d'un seul...
[11:25] Ubit Umarov : sur ce point, les caches de région et de viewers sont fondamentaux.
[11:26] Ubit Umarov : dans les cas normaux, seuls les caches des régions devraient être utilisés.
[11:26] Ubit Umarov : dans le cas d'utilisateurs qui passent le plus de temps sur quelques régions, aussi les caches de viewer.
[11:27] Vincent.Sylvester @hg.zetaworlds.com:8002 : D'après ce que j'enregistre sur disk io, je vois rarement plus de quelques mbits lorsque les assets sont déplacés, ce n'est donc pas une charge importante pour atteindre des centaines de gigaoctets.
[11:27] Vincent.Sylvester @hg.zetaworlds.com:8002 : Le plus gros problème est de sauvegarder des millions de fichiers dans des milliers de répertoires.
[11:28] Ubit Umarov : beaucoup de gens ont même oublié que fsassets utilise mysql et des fichiers disques.
[11:28] Ubit Umarov : et ont perdu les fichiers du disque :(
[11:28] Kayaker Magic : oops ! Je déteste quand ça arrive !
[11:28] Misterblue Waves : quelque chose comme S3 serait mieux -- pas AWS mais l'une des interfaces compatibles des hash buckets modernes.
[11:28] Ubit Umarov : c'est malheureusement arrivé plusieurs fois.
Les bases de données
[11:29] Vincent.Sylvester @hg.zetaworlds.com:8002 : Il devrait probablement utiliser encore plus de sql pour cela, pour des choses comme les notecards qui enregistrent leur description dans des assets ce qui implique que, même si elles sont vides, le hash est toujours différent, ce qui crée des tonnes d'assets de notecards vides.
[11:30] Vincent.Sylvester @hg.zetaworlds.com:8002 : AWS, c'est de la camelote hors de prix, vous paierez plus cher pour l'utiliser que pour un simple serveur matériel décent et quand ils perdent vos données, vous êtes foutu.
[11:30] Ubit Umarov : plusieurs grandes grilles fonctionnent bien.
[11:30] Ubit Umarov : quelques mb avec leurs propres solutions
[11:31] Ubit Umarov : Je n'ai jamais aimé fsassets.
[11:31] Misterblue Waves : d'accord pour AWS, mais beaucoup d'autres fournisseurs proposent un stockage compatible S3 (DigitalOcean, ...)
[11:31] Ubit Umarov : bien sûr mysql est peut-être un mauvais choix.
[11:31] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je suis en train de jouer avec l'idée d'explorer toutes notecards à la recherche de lignes vides et de les détruire ou de mettre leur hash à une seule place.
[11:31] Ubit Umarov : inworldz a utilisé un autre moteur de base de données, si je me souviens bien.
[11:32] Ubit Umarov : un truc plus direct de type clé et valeur.
[11:32] Ubit Umarov : je pense qu'il n'y a même pas de sql.
[11:32] Vincent.Sylvester @hg.zetaworlds.com:8002 : Pour certaines choses, quelques structures de données dans OpenSim, des choses comme mongodb fonctionneraient, potentiellement mieux que sql, mais alors on a un autre système de base de données à maintenir et à gérer aussi, donc un compromis...
[11:33] Vincent.Sylvester @hg.zetaworlds.com:8002 : Pour les données des avatars et des groupes, cela pourrait être plus rapide, mais cela implique un tout nouveau connecteur de base de données, etc.
[11:33] Vincent.Sylvester @hg.zetaworlds.com:8002 : c'est déjà une douleur de maintenir ceux que nous avons
[11:33] Ubit Umarov : Nos bases de données sont un désastre.
[11:33] Vincent.Sylvester @hg.zetaworlds.com:8002 : Certaines, pas toutes
[11:33] Ubit Umarov : un bon exemple de comment rendre les choses aussi lentes que possible.
[11:33] Ubit Umarov : region db ... duhhh quel gaspillage
[11:34] Vincent.Sylvester @hg.zetaworlds.com:8002 : L'inventaire pourrait également bénéficier d'une base de données de type document plutôt que de grandes tables.
[11:34] Vincent.Sylvester @hg.zetaworlds.com:8002 : Tout ce qui est lié à un seul utilisateur ou uuid, je suppose.
[11:35] Vincent.Sylvester @hg.zetaworlds.com:8002 : Inutile pour les assets, il faut une vraie table avec des clés et des index à ce niveau.
[11:35] Vincent.Sylvester @hg.zetaworlds.com:8002 : En y réfléchissant, je voulais vérifier si le jeu de caractères et la collation avaient un impact sur les performances des groupes, comme c'est le cas pour les données de griduser.
[11:35] Vincent.Sylvester @hg.zetaworlds.com:8002 : Il semble que le regroupement de ces éléments soit un échec dans mariadb.
[11:36] Vincent.Sylvester @hg.zetaworlds.com:8002 : Cela nécessite des éléments uniformes pour accélérer inner join.
[11:36] Ubit Umarov : il semble que mariadb est défaillante pour tout ce qui est volumineux.
[11:36] Ubit Umarov : même mysql
[11:36] Ubit Umarov : seuls quelques forks de mysql tiennent, m'a-t-on dit.
[11:37] Vincent.Sylvester @hg.zetaworlds.com:8002 : Le développement s'est accéléré ces derniers temps, alors peut-être que cela va changer positivement à l'avenir.
[11:37] Misterblue Waves : J'ai utilisé MariaDB avec succès pour de petits déploiements (c'est ce que j'utilise pour mes régions installée avec Docker).
Script tueur de région
[11:36] Kayaker Magic : J'ai quelques trucs mis en place pour OpenSim Fest, et une des régions a cessé de fonctionner. Les scripts ont gelé, je n'étais pas autorisé à compiler mes propres scripts ou à recharger plus d'objets. Shelenn m'a dit que c'était dû à un bug d'OpenSim que Ubit connaissait déjà. Quel bug était-ce ?
[11:37] Ubit Umarov : aucune idée
[11:37] Ubit Umarov : ils utilisent une chose appelée opensim-ngc.
[11:37] Vincent.Sylvester @hg.zetaworlds.com:8002 : Si vous surchargez une région avec trop de mises à jour de scènes, la file d'attente pour cela se remplit et le traitement s'arrête complètement.
[11:37] Ubit Umarov : qui, bien sûr, prétend être meilleur que le noyau.
[11:38] Vincent.Sylvester @hg.zetaworlds.com:8002 : Il n'y a pas grand chose à faire à ce niveau.
[11:38] Ubit Umarov : donc tu dois leur demander :)
[11:38] Vincent.Sylvester @hg.zetaworlds.com:8002 : la file d'attente de mise à jour des scènes a une taille fixe, une fois pleine, elle est pleine et meurt.
[11:38] Ubit Umarov : Je ne me souviens pas d'un tel problème...
[11:39] Vincent.Sylvester @hg.zetaworlds.com:8002 : J'ai vu cela plusieurs fois, on m'a toujours dit de supprimer certains scripts lourds, des timers et autres, et il n'y a plus de problèmes.
[11:39] Ubit Umarov : quelles mises à jour de la scène ??
[11:39] Vincent.Sylvester @hg.zetaworlds.com:8002 : Celles qui sont générées par les scripts, les avatars, etc. J'ai oublié le nom exact, mais ce ne sont pas les scripts qui meurent, ce sont les mises à jour des scènes.
[11:39] Ubit Umarov : tu imagines encore des choses vincent :p
[11:39] Ubit Umarov : la file d'attente des événements ?
[11:40] Ubit Umarov : ces auto limites... n'arrêtent pas les choses.
[11:40] Ubit Umarov : bien sûr, un script peut toujours geler une région de plusieurs manières...
[11:40] Vincent.Sylvester @hg.zetaworlds.com:8002 : Tu peux tester si c'est ça en tapant des commandes dans la console, si ça échoue avec une erreur, peu importe ce que tu tapes, tu sais que c'est bloqué.
[11:41] Vincent.Sylvester @hg.zetaworlds.com:8002 : La réduction de la charge des scripts résout généralement ce problème.
[11:41] Kayaker Magic : Après qu'ils l'aient "corrigé", j'ai pu ajouter plus d'objets scriptés.
[11:41] Ubit Umarov : Je ne me souviens pas de ce problème sur le noyau... possible... mais je ne m'en souviens pas...
[11:42] Ubit Umarov : Je veux dire un problème spécifique.
[11:42] Vincent.Sylvester @hg.zetaworlds.com:8002 : Tu dois charger les régions assez lourdement pour que cela se produise. La plupart restent bien en dessous de cela ou écrivent des scripts qui ne provoquent pas autant de mises à jour.
[11:43] Ubit Umarov : Je me souviens de régions complètement à plat.
[11:43] Vincent.Sylvester @hg.zetaworlds.com:8002 : Cela n'arrive pas assez souvent pour justifier un examen approfondi. Il est plus facile d'écrire de meilleurs scripts.
[11:43] Ubit Markov : simplement à cause d'un simple script de LED.
[11:43] Ubit Umarov : nous ne pouvions plus nous tp dans la région ou les régions voisines :)
[11:44] Ubit Umarov : un script similaire fera toujours la même chose.
[11:44] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je n'ai vu cela que sur une région avec environ 90k prims et plus de 8000 scripts.
[11:44] Ubit Umarov : changer l'éclat ou la couleur etc. d'une prim est une mise à jour complète.
[11:44] Ubit Umarov : cette région avait peut-être 1000 LEDs :)
[11:45] Ubit Umarov : nous avons tous vu ce problème à Noël... avec de mauvaises lumières de Noël.
[11:45] Vincent.Sylvester @hg.zetaworlds.com:8002 : On pourrait probablement trouver la file d'attente et déterminer quelle est la taille maximale et ajouter un débogage pour alerter lorsqu'elle est proche du plein.
[11:45] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je n'ai jamais regardé où c'était.
[11:46] Ubit Umarov : tu es encore là avec une file d'attente... quelle file d'attente ??
[11:46] Ubit Umarov : il y en a plusieurs.
[11:46] Kayaker Magic : Après avoir vu quelques mauvais scripts de lumières de Noël, j'ai écrit des scripts ZERO LAG qui utilisent des animations de textures pour clignoter.
[11:46] Ubit Umarov : et aucun problème.
[11:47] Ubit Umarov : oui le clignotement doit être fait avec une animation de texture intelligente.
[11:48] Vincent.Sylvester @hg.zetaworlds.com:8002 : Quand un script déplace une prim, cela est ajouté à une file d'attente comme une mise à jour de la scène, généralement traitée presque immédiatement, sauf si on a beaucoup de ces mises à jour.
[11:48] Ubit Umarov : il s'agit d'un vieux problème, également chez SL.
[11:48] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je ne suis pas sûr de l'endroit du code où cela se trouve, je ne l'ai jamais beaucoup étudié.
[11:48] Ubit Umarov : lludp met à jour la queue par utilisateur ??
[11:49] Ubit Umarov : c'est lourd, c'est un problème majeur actuellement.
[11:49] Vincent.Sylvester @hg.zetaworlds.com:8002 : Possible, tout ce que je sais c'est que c'est quelque chose qui se remplit et qui surcharge en arrêtant le traitement des mises à jour parce que on peut toujours se promener et chatter, mais les scripts apparaissent comme s'ils étaient arrêtés.
[11:49] Ubit Umarov : ils ne se remplissent pas.
[11:49] Ubit Umarov : ils remplissent la RAM de ta machine :p
[11:50] Vincent.Sylvester @hg.zetaworlds.com:8002 : Comme cela ne se produit pas immédiatement et seulement lorsqu'il y a plus de scripts et de personnes sur la région, cela me faire dire que c'est un traitement lié à la mises à jour de la scène.
[11:50] Vincent.Sylvester @hg.zetaworlds.com:8002 : En général, il suffit d'écrire de meilleurs scripts et de réduire la charge pour résoudre ce problème.
[11:50] Ubit Umarov : les scripts doivent être bons.
[11:51] Vincent.Sylvester @hg.zetaworlds.com:8002 : On peut avoir une région avec des centaines de milliers de prims et un seul script qui la tue.
[11:51] Ubit Umarov : un seul mauvais script peut arrêter une région, comme je l'ai dit.
[11:51] Ubit Umarov : ... toujours...
[11:51] Ubit Umarov : spécialement en utilisant des OSSL qui n'auraient jamais dû être ajoutées.
[11:51] Ubit Umarov : détails...
[11:51] Kayaker Magic : Un mauvais programmeur peut écrire FORTRAN dans n'importe quel langage ;.
[11:52] Vincent.Sylvester @hg.zetaworlds.com:8002 : Ecrire des trucs pour les changements de lumière et les animations peut être incroyablement lourd.
[11:52] Andrew Hellershanks : Bonjour à tous. J'ai enfin terminé l'appel téléphonique :P La dernière partie de l'appel consistait à donner à la personne des indications sur l'endroit où elle se rendait en voiture, car il s'est avéré qu'elle se dirigeait vers le nord alors qu'elle aurait dû aller vers le sud.
[11:52] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je scripte toujours des boules de danse et d'autres trucs d'éclairage. Je vérifie ce que fait le cpu, parfois une ligne mal écrite me donne 100% de cpu heh.
[11:53] Andrew Hellershanks : Vincent, il ne faut pas grand-chose pour faire ça.
[11:53] Vincent.Sylvester @hg.zetaworlds.com:8002 : Dans le même esprit, si on arrive à comprendre ce qui se passe en interne, on peut changer une couleur 60 fois par seconde sans trop de charge.
Script : erreur out of heap
[11:54] Andrew Hellershanks : J'ai aidé des gens à faire des tests de compatibilité entre les moteurs X et Y la semaine dernière. Leurs scripts déclenchent une exception dans YEngine pendant la compilation. Je ne suis pas sûr de la cause de ce problème. Au moment de l'exécution, j'obtenais une exception out of heap.
[11:55] Vincent.Sylvester @hg.zetaworlds.com:8002 : lol ouch
[11:55] Vincent.Sylvester @hg.zetaworlds.com:8002 : Cela demande de sérieux efforts.
[11:55] Andrew Hellershanks : En regardant le code du système d'exploitation, j'ai trouvé des paramètres ini pour changer la taille du tas et cela a résolu le problème du tas.
[11:55] Andrew Hellershanks : Toujours aucune idée sur l'erreur de compilation.
[11:55] Ubit Umarov : ohh vraiment ?
[11:55] Ubit Umarov : la prochaine fois RTFM ?
[11:55] Ubit Umarov : peut-être... :p
[11:56] Andrew Hellershanks : Ubit, oui. Il y a des paramètres ini pour définir la taille de la pile et du tas dans YEngine mais ils ne sont pas listés dans le fichier ini.
[11:56] Vincent.Sylvester @hg.zetaworlds.com:8002 : Les erreurs du compilateur sont généralement très explicites, sauf si on a cassé quelque chose en interne.
[11:56] Vincent.Sylvester @hg.zetaworlds.com:8002 : Idéalement, on ne devrait pas avoir besoin d'ajuster le heap du tout.
[11:56] Kayaker Magic : Si les gens utilisent les anciens paramètres de OpenSim.ini pour les tailles de heap de YEngine, cela peut causer le problème que tu décris.
[11:56] Andrew Hellershanks : L'erreur est une erreur générique -> NullReferenceException : La référence de l'objet n'est pas définie sur une instance d'un objet.
[11:57] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je pense aussi que la dernière version devrait calculer correctement la taille du tas, il y avait un bug à ce sujet auparavant.
[11:57] Ubit Umarov: http://opensimulator.org/wiki/YEngine
[11:57] Ubit Umarov : "Contrôle de l'utilisation du tas de mémoire et de la pile" très clair ici.
[11:57] Vincent.Sylvester @hg.zetaworlds.com:8002 : Toujours tester avec le code de la version ou du master
[11:58] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je serais curieux de voir ce script et de comprendre où il génère tout ce tas de données.
[11:58] Andrew Hellershanks : YEngine accepte les paramètres ini pour définir la taille de la pile et du tas mais ces paramètres ne sont pas dans les fichiers ini existants.
[11:58] Vincent.Sylvester @hg.zetaworlds.com:8002 : Aucun script n'a encore atteint ces limites.
[11:58] Vincent.Sylvester @hg.zetaworlds.com:8002 : Eh bien, en dehors de l'essai pour cela spécifiquement
[11:58] Andrew Hellershanks : Je ne suis pas aussi préoccupé par le problème du tas que par l'exception lors de la tentative de compilation du code.
[11:59] Vincent.Sylvester @hg.zetaworlds.com:8002 : Oui, il faut avoir un débogueur connecté, je suppose.
[11:59] Andrew Hellershanks : J'ai trouvé que YEngine a quelques paramètres pour les modes de débogage mais ceux qui sont censés sauvegarder le script original et sauvegarder le fichier LL ne semblent pas fonctionner (ou le fichier a été sauvegardé ailleurs que prévu).
[12:00] Ubit Umarov : ils sont dans opensimdefaults.ini
[12:00] Vincent.Sylvester @hg.zetaworlds.com:8002 : Pour que Visual Studio permet de voir directement où le code se bloque.
[12:00] Andrew Hellershanks : Vincent, oui, c'est ce que j'avais prévu de faire. Je pourrais ajouter du code de débogage supplémentaire car le backtrace me dit où il s'arrête.
[12:01] Vincent.Sylvester @hg.zetaworlds.com:8002 : Si tu arrives à le faire, n'hésite pas à le publier pour que d'autres puissent le tester aussi, plus il y a de cerveaux, mieux c'est pour comprendre des choses mystérieuses comme ça.
[12:01] Ubit Umarov : oui, lire le IL vous aidera beaucoup :p
[12:01] Andrew Hellershanks : Je n'ai pas écrit les deux scripts en question. L'un d'eux fait presque 4600 lignes.
[12:02] Andrew Hellershanks : Ubit, je sais. J'espérais juste trouver quelque chose qui pourrait aider à préciser ce qui déclenche l'exception.
[12:02] Andrew Hellershanks : Un débogueur ou l'ajout de messages de débogage supplémentaires pourrait être ma meilleure option.
[12:02] Ubit Umarov : x n'avait aucun contrôle sur l'utilisation de la mémoire.
[12:03] Vincent.Sylvester @hg.zetaworlds.com:8002 : Si elles sont aussi longues, peut-être que ce que tu vois est l'échec de l'allocation du tas lui-même.
[12:03] Ubit Umarov : il est donc normal que certains scripts essaient de manger toute la mémoire.
[12:03] Andrew Hellershanks : Il y avait un paramètre de taille de pile de 256k dans l'ini mais c'est à peu près tout.
[12:03] Vincent.Sylvester @hg.zetaworlds.com:8002 : Tu as presque autant de malchance que moi avec les bugs lol
[12:03] Ubit Umarov : Y contrôle la pile et le tas
[12:04] Andrew Hellershanks : Vincent, c'est ce que je pense. Il aurait été plus intéressant de le dire dès le départ et de ne pas se contenter de dire pas de référence à l'objet.
[12:04] Andrew Hellershanks : Vincent, seulement quand ce n'est pas mon code.
[12:04] Ubit Umarov : et oui, dans les mêmes cas, les gens ont besoin de l'augmenter pour exécuter les vieux scripts X.
[12:04] Selby.Evans @grid.kitely.com:8002 : au revoir tout le monde.
[12:04] Andrew Hellershanks : Ceci fait partie d'un test de compatibilité pour voir quels changements (s'il y en a) doivent être faits au script pour qu'il fonctionne dans YEngine.
[12:05] Ubit Umarov : en supposant qu'il ait échoué à cause d'un débordement de pile contrôlé par Yengin.
[12:05] Kayaker Magic : Au revoir Selby !
[12:05] Ubit Umarov : cya Selby.Evans
[12:05] Andrew Hellershanks : Selby, ok. Merci d'être venu.
[12:05] Ubit Umarov : il se peut qu'il ait crashé à cause d'un débordement de pile natif :)
[12:05] Vincent.Sylvester @hg.zetaworlds.com:8002 : Je pense qu'avec des scripts aussi longs, il y a probablement quelque chose qui n'est pas conforme à la norme LSL et qui est rejeté par le système. J'ai vu beaucoup de vieux scripts écrits sous X fonctionner mal parce qu'ils utilisaient de mauvais ajouts de listes et d'autres choses du genre. En les corrigeant et en écrivant dans la norme LSL appropriée, on obtient des performances et moins de problèmes de consommation de mémoire.
[12:05] Ubit Umarov: well when ubode does that, it is very visible :) [12:06] Vincent.Sylvester @hg.zetaworlds.com:8002: Rewriting script that large not so easy of course, might be better to just lint it a bit [12:07] Andrew Hellershanks: Vincent, That is part of my question. Is it something bad in the script or something in the YEngine code. I wasn't expecting an exception during what I think is just the compilation phase. [12:08] Ubit Umarov: well it depends on what you call exception [12:08] Ubit Umarov: "exception" can be a lot of things [12:08] Vincent.Sylvester @hg.zetaworlds.com:8002: Line 2547 probably and maybe the list append on line 574, need to see the script to determine that really [12:08] Andrew Hellershanks: What I call an exception is that thing that is reported by YEngine as ...Exception in the error message. [12:09] Ubit Umarov: it usually tells more [12:10] Vincent.Sylvester @hg.zetaworlds.com:8002: Well null reference errors are something you see on parts of code that try to get properties or iterate for example. It tells you a reference is missing which means whatever code is trying to interact with an object the object has changed format for example. That's just one way that can happen though. Given it runs out of heap perhaps internal structures like list sizes are exceeded when it allocates space for them so the reference to each item falls apart [12:10] Andrew Hellershanks: Sure. There is a backtrace. [12:11] Ubit Umarov: it is on on compile that it has nothing to do with those script memory settings [12:11] Ubit Umarov: if it is.. [12:11] Kayaker Magic: Andrew: I just looked up YEngine stack and heap sizes, the recommended values are 2048 and 1024, This changed at one point, it sounds like you had the old smaller values. [12:11] Ubit Umarov: Grrr [12:11] Ubit Umarov: he now said it is on compile.. [12:12] Ubit Umarov: just need to read the damm message [12:12] Andrew Hellershanks: The first error I ran in to was the Exception that appeared when I told the viewer I wanted to compile the scripts. Once I received an updated version of the code I just got the HeapException error. [12:12] Vincent.Sylvester @hg.zetaworlds.com:8002: ... we be poking in the dark here without script and logs basically, if you cannot figure it out this week just mantis it :) [12:12] Ubit Umarov: sure, some are still criptic.. [12:13] Object: Script running [12:13] Andrew Hellershanks: Now that I have doubled the heap size I will try compiling the scripts once again on the original version of code in case the no ref to object exception is also heap related. [12:14] Ubit Umarov: no ref to object is a more severl thing [12:14] Ubit Umarov: just get the full error [12:15] Andrew Hellershanks: I would discuss it in the IRC channel but I still can't reach the channel since the nationwide Internet outage on Friday. [12:15] Ubit Umarov: oh? [12:16] Vincent.Sylvester @hg.zetaworlds.com:8002: Just mantis it if you get nowhere with it this week or something, better get more brains looking over it and I been cleaning up the mantis as best as I can so feel free to add lol [12:16] Andrew Hellershanks: yea. A major Internet and cell phone provider experience an outage on Friday starting around 5am. I didn't get Internet back until around 10:30pm. Some people were expected to be out as many as 3 days. [12:16] Vincent.Sylvester @hg.zetaworlds.com:8002: BGP again they say [12:16] Ubit Umarov: wel in this case, a mantis without the scropt to repo is a problem [12:16] Ubit Umarov: script.. [12:17] Ubit Umarov: and provide the script, specially a large one, can be a issue [12:17] Andrew Hellershanks: Vincent, sure. My notes say that even with the larger heap size it still throws an exception when I ask for the scripts to be compiled. [12:17] Vincent.Sylvester @hg.zetaworlds.com:8002: Script and logs, well steps to reproduce and logs in most cases [12:17] Ubit Umarov: ohh [12:17] Andrew Hellershanks: If I am allowed to provide the script I will mark it private. [12:18] Ubit Umarov: it may just be a missing script [12:18] Kayaker Magic: Finding a small script to reproduce an error is often difficult. [12:18] Ubit Umarov: that may give a null ref error [12:18] Andrew Hellershanks: To repro the problem just right click object, more, more, scripts, compile (Mono). [12:18] Ubit Umarov: yeap sounds like a missing script asset [12:18] Ubit Umarov: read the error message [12:19] Andrew Hellershanks: at OpenSim.Region.ScriptEngine.Yengine.XMRInstance.PostEvent (OpenSim.Region.ScriptEngine.Shared.EventParams evt) [0x0001f] in XMRInstRun.cs:69 [12:19] Andrew Hellershanks: at (wrapper remoting-invoke-with-check) OpenSim.Region.ScriptEngine.Yengine.XMRInstance.PostEvent(OpenSim.Region.ScriptEngine.Shared.EventParams) [12:19] Andrew Hellershanks: etc... [12:19] Vincent.Sylvester @hg.zetaworlds.com:8002: Most obvious problem with that used to be too small packet size on the database to store the asset [12:19] Andrew Hellershanks: I'll see if I can learn anything more about it and mantis. [12:20] Ubit Umarov: on a post event? [12:20] Ubit Umarov: odd [12:20] Andrew Hellershanks: hm... now that is an intereting thought, Vincent. [12:20] Ubit Umarov: well can't guess [12:20] Ubit Umarov: and that is running it [12:20] Andrew Hellershanks: The text of the script as sitting on my computer is 211772 bytes long. [12:21] Ubit Umarov: or starting [12:21] Vincent.Sylvester @hg.zetaworlds.com:8002: Used to have like 16mb of max packet size on older mysql versions, since then it was increased default value should be much higher now like 1G even on some flavors [12:22] Ubit Umarov: well scripts used to have a limit of 64k bytes on sources [12:22] Vincent.Sylvester @hg.zetaworlds.com:8002: Was big fail on HG assets back then [12:22] Andrew Hellershanks: Ubit, It does look a bit more like it is an issue after the script starts to run. Something to do with llMessageLinked. I am thinking of adding extra code in to LSL_Api.cs to print out what the function receives. [12:23] Ubit Umarov: but that seems is needs a more detailed debug [12:23] Andrew Hellershanks: The Engine is dying and not leaving any useful information about what line of the script it was trying to run at the time it die.d [12:23] Ubit Umarov: that is not on lsl_api [12:23] Andrew Hellershanks: I was hoping one of the Debug settings would help. [12:23] Andrew Hellershanks: llMessageLinked is not in LSL_Api.cs?? [12:23] Ubit Umarov: and it is that one ? [12:24] Andrew Hellershanks: That function is mentioned further down in the backtrace. [12:24] Ubit Umarov: well i can't guess what you didn't told :p [12:24] Vincent.Sylvester @hg.zetaworlds.com:8002: It's like a fox hunt with an invisible fox [12:25] Ubit Umarov: nahh just very bad problem report [12:25] Ubit Umarov: :p [12:26] Vincent.Sylvester @hg.zetaworlds.com:8002: If you don't get anywhere debugging it mantis it, if they don't want to share set it to private so at least Ubit can have a look at it [12:26] Andrew Hellershanks: Yes, the script would have to be marked private. [12:27] Vincent.Sylvester @hg.zetaworlds.com:8002: Dirty secrets lol [12:27] Andrew Hellershanks: Proprietary code that is part of a larger system. [12:28] Vincent.Sylvester @hg.zetaworlds.com:8002: Hopefully not some multi pose animation thing, haven't seen a single one written properly yet they are all massively over complicated and poorly written to the point they consume a ton of resources [12:28] Vincent.Sylvester @hg.zetaworlds.com:8002: Some just don't even work anymore under Y [12:29] Vincent.Sylvester @hg.zetaworlds.com:8002: Or use ossl functions that need to be set true [12:29] Andrew Hellershanks: Vincent, interesting that they some don't work in Y (assuming it isn't just perms). [12:29] Vincent.Sylvester @hg.zetaworlds.com:8002: They fail on the lists they generate or on typecasts [12:29] Andrew Hellershanks: Probably not too surprising though. [12:30] Andrew Hellershanks: oh, right. Probably ones that use the "memory saving trick". [12:30] Vincent.Sylvester @hg.zetaworlds.com:8002: Also prime suspects for that "scripts stopped working" thing I mentioned earlier [12:30] Vincent.Sylvester @hg.zetaworlds.com:8002: Oh yeah when that happens the things like llSetText also don't update so there is a hint at which queue that is [12:31] Vincent.Sylvester @hg.zetaworlds.com:8002: But yeah if you don't get anywhere just make a private mantis ticket for it [12:32] Ubit Umarov: yeha guess that will take some deeper debug [12:33] Misterblue Waves: gotta run... take care all [12:33] Ubit Umarov: cya [12:34] Andrew Hellershanks: As long as I can still access the mantis. Don't know why I still can't access the IRC channels. [12:34] Ubit Umarov: but that means there are more scripts [12:34] Andrew Hellershanks: ok, Misterblue. [12:34] Andrew Hellershanks: We are now half past the hour. Unless there is any last minute items I will wrap up the meeting. [12:34] Ubit Umarov: on the linkset [12:35] Ubit Umarov: so guess the entire object will be needed to debug [12:37] Andrew Hellershanks: ok, I'll call this one done and dusted. :) Thank you all for coming. See you again next week.