Autor Thema: Sync-Probleme  (Gelesen 6339 mal)

Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Sync-Probleme
« am: Februar 08, 2005, 11:48 »
Nachdem ich jetzt die letzten Tage durch meine eigene kleine private "Entwickler-Hölle" gegangen bin, wollte ich mich mal kurz zum Thema Syncproblemen rühren:

Es haben sich hier in der Gruppe und bei mir per Email insgesamt 7 Leute mit Syncproblemen gerührt. Normalerweise setze ich bei allen Zahlen rund um SiDiary den Faktor 10 für die Dunkelziffer an, d.h. ich gehe mal im Moment davon aus, dass etwa 70 oder sind wir großzügig etwa 100 Leute mehr oder weniger stark ausgeprägte Probleme mit dem Sync haben könnten und sei es nur, dass ActiveSync Konflikte meldet und die Auswahl zur Ersetzungsrichtung fehleranfällig ist (was eigentlich nicht mal erforderlich wäre) oder sie Probleme damit haben, das richtige Sync-Verzeichnis einzustellen.
Auch wenn die 100 Leute gemessen an den Gesamtbenutzerzahlen fast im Promillebereich verschwinden, würde ich Ihnen selbstverständlich gerne helfen ABER...

...hier tut sich derzeit mein Hauptdilemma auf: Ich selbst habe mir das letzte mal vor vielen Monaten Daten zerschossen und das obwohl ich für Nachfragen von Anwendern nicht gerade selten in den Daten-Eingeweiden auf Verzeichnisebene 'rumfuhrwerke und nicht nur mit meinem PPC synce, sondern parallel zusätzlich auch mit meinem Smartphone. Ich glaube also, dass -trotz der Fehleranfälligkeit durch das asynchrone Mitwirken von ActiveSync- bei den allermeisten Anwendern der Syncprozess funktioniert, denn sonst wären nach meinen bisherigen Erfahrungen einige Emails mehr bei mir aufgeschlagen ;)

Trotz standhafter Mithilfe u.a. von LordBritish, der mich immer wieder mit Datenfiles usw. unterstützt, gelingt es mir bislang jedoch nicht, das Problem auf meinen Systemen zu reproduzieren und ich habe weiß Gott schon einiges debuggt. :-\

Ich bin deshalb heute Nacht erst noch einmal gedanklich einen Schritt zurückgegangen und habe ein bisschen nach Gemeinsamkeiten bei den Anwendern gesucht, die die aktuellen Probleme gemeldet haben.
Viele scheinen mir Pumper zu sein. Viele scheinen auch überdurchschnittlich viel Daten (d.h. öfter mehr als ein Eingabesheet) zu verwalten. Teilweise sehe ich lange Kommentareingaben in Datenfiles. ActiveSync 3.8 scheint sich nicht wie zuerst zur Diskussion gestellt als Fehlerquelle zu bewahrheiten (jedenfalls nicht mehr als 3.7 schon ist ;) ).
Grundsätzlich ist es SiDiary, resp. dem Quellcode, eigentlich "wurscht" mit wievielen Daten es konfrontiert wird (gut, bei einem Import von ~20.000 Datensätzen muss man schon etwas Geduld mitbringen, gell LB ;) ) aber grundsätzlich gibt es keine strukturbedingte Grenze. Für das tägliche Arbeiten hatte ich bewusst Monats-Datenfiles aufgesetzt, so dass der Monatsdatenbestand eigentlich der Performance-begrenzende Faktor ist, für die allermeisten Dinge im täglichen Arbeiten.

Und selbst bei den Anwendern, die die Probleme gemeldet haben, scheint es ja immer auch Phasen zu geben, wo das Syncen keine Probleme macht und dann machte es klick: Bei allen kam früher oder später heraus: Die Daten am Monatsende wurden nicht übernommen. Aus Tests mit Daten von LB konnte ich sehen, dass in einem genau solchen Fall der Windows-Client beim Syncen nicht etwa die Daten auf dem PPC gelöscht hatte (wie zuerst vermutet), sondern die Daten (vom Monatsende) vom PPC kamen nie in der Syncmethode an...

Es scheint mir, dass bei den Problemen vielleicht doch die Datenmenge eine Rolle spielt und zwar nicht auf der Ebene des eigentlichen Sync-Mechanismus (also der, der die Werte zusammenführt), sondern eine Ebene darunter, nämlich dass schlichtundergreifend ab einer bestimmten Dateigröße ein Problem auftritt, so dass alle Zeilen, die nach dieser Grenze in der Datei stehen, ignoriert oder abgeschnitten werden?!

Demnächst werde ich die SiDiarySmartSync Komponente fertig haben. Was wird das bringen? Die Komponente wird es mir erlauben, das komplette Syncen der Dateien mit der internen Routine zum Zusammenführen von Werten miteinander zu verknüpfen. Das schaltet zweierlei Dinge aus: Es wird keine Sync-Konflikte mit erforderlichem Benutzereingriff mehr geben und der gesamte Prozess ist synchron, d.h. wenn die Werte zusammengeführt werden, kann ich mich darauf verlassen, dass alle Dateien, die dafür erforderlich sind auch wirklich bereits auf den PC kopiert wurden. Lästige Konfigurationen, wie die Auswahl des Syncverzeichnis entfallen, weil SiDiaryWin32 direkt auf den PPC zugreifen wird.
Das Syncen wird dadurch langsamer, klar, weil nat. die Verarbeitungszeit dazukommt, in der sich ansonsten das grüne Rad in ActiveSync gedreht hat (aber keine Angst, bei mir sieht das noch sehr erfreulich aus! ;) ).
Einer der größten Vorteile: Im Prinzip kann mit SmartSync jedes! Datenverzeichnis auf dem PPC eingestellt werden. Also nicht mehr nur unterhalb von My Documents, damit ActiveSync klarkommt, sondern von mir aus auch auf einer SD-Karte, im SaveStore-Bereich oderoderoder... :) Mit Smartsync können beliebig viele mobile Geräte angedoggt werden, d.h. für die Smartphone-User entfällt das reine "Datei-Syncen" mit SPSync.exe - SiDiary wird das Smartphone direkt automatisch erkennen.

TROTZDEM: Letztlich basiert SmartSync auf den gleichen Dlls, wie auch ActiveSync, so dass ein evtl. vorhandenes grundsätzliches Problem mit der Dateigröße möglicherweise noch immer vorhanden sein könnte. Ich werde parallel auch unseren Lord nochmal antriggern und ihn um etwas Schützenhilfe bitten, um auch den SiDiaryCode zu checken, ob dort ab bestimmten Dateigrößen in Kombination mit zusätzlichen (welchen auch immer) Randbedingungen etwas passieren könnte.
Selbst wenn nicht sofort alle Syncprobleme mit SmartSync beseitigt werden, bin ich dann aber sehr viel zuversichtlicher die Probleme in den Griff zu bekommen, weil mit ActiveSync schon mal ein paar unschöne Dinge umgangen werden und mehr im SiDiary-eigenen Quellcode passiert.
Soviel dazu.


Losgelöst von diesem Problem, das ich wie gesagt gerne lösen will, ist mir aber zum ersten mal richtig klar geworden, was aus dem anfänglichen "SiDiary for Alf Windhorst with unlimited license for everyone else" inzwischen geworden ist: Anfangs hatte es genau die Funktionen, die ich persönlich brauchte, um meinen Diabetes verwalten zu können. Inzwischen hat es eine Vielzahl von Funktionen, die ich auf Nachfrage eingebaut habe, sie aber selbst nie nutze. Auch heute tut das Programm mit den Funktionen, die ich selbst nutze, klaglos seinen Dienst, ohne jede Abstürze und wie oben schon erwähnt: Ich habe selbst auch keinerlei Synckonflikte.

Mein größtes Problem ist, dass ich inzwischen den allergrößten Teil meiner Zeit damit verbinge, Fragen zu Funktionen zu beantworten oder auch Ungereimtheiten darin zu suchen, die ich selbst nie verwende. Ich bin kein Pumpenträger, brauche seltenst mal ein 2.Eingabesheet. Sortiere nie, füge selten mal eine neue Spalte ein. Verwende keine Nahrungsmitteldaten. Ich importiere nie von oder in andere Programme wie Diabass, OneTouch oder was auch immer.

Es gibt einige Leute, die mit SiDiary in Kombination mit dem OTUS/OneTouch-Software, Diabass/DiabassMobil, eigenen Importskripten, CSV und Excel sowie Importen aus BZ-Geräten sowohl mit Diabass, OneTouch als auch SiDiary parallel Daten von A über B nach C und wieder zurückschieben -zusammengefasst- Dinge treiben, bei denen ich bevor ich sie gehört habe behauptet hätte, dass das nicht mal geht... :zwinker:
Klar, dass das Prozesse sind, die ich nie selbst benutze und deshalb bis auf strukturierte Intialtests nach der Implementierung von mir nicht weiter in der Praxis angefasst werden und dort potentiell Probleme schlummern, von denen ich nichts ahne.

Durch die seit einiger Zeit eingeführten Beta-Freigaben und vor allem Eurer tatkräftigen Mithilfe ist SiDiary glaube ich alles in allem vergleichsweise stabil aber dennoch tut mir als Entwickler jeder einzelne Fehler im Gemüt weh. Das ist sehr unbefriedigend und ich muss gestehen, dass ich mir mittelfristig Gedanken darüber machen muss, wie ich damit umgehe (umgehen will) nicht mehr nur "SiDiary for Alf Windhorst" zu betreuen und ab und zu mal ein kleines Goodie dazuzuentwickeln, sondern ein Programm, das sehr viel mehr Funktionen bietet, als ich für meine eigenen persönlichen Bedürfnisse bräuchte... :-\

Geschätzter Beta-Termin für SiDiarySmartsync: Kommendes Wochenende. :)

Ciaoi, Alf.
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit

Offline LordBritish

  • Global Moderator
  • Special Member
  • *****
  • Beiträge: 5831
  • Country: de
  • Diabetestyp: DM 1
  • Therapie: Insulin-Pumpe
Re: Sync-Probleme
« Antwort #1 am: Februar 08, 2005, 13:45 »
Trotz standhafter Mithilfe u.a. von LordBritish, der mich immer wieder mit Datenfiles usw. unterstützt, gelingt es mir bislang jedoch nicht, das Problem auf meinen Systemen zu reproduzieren und ich habe weiß Gott schon einiges debuggt. :-\

Mit der Hilfe kannst Du auch weiterhin fest rechnen, denn SiDiary ist zu meiner LIEBLINGSSOFTWARE geworden.   :ja:
Anfangs habe ich die NovoStyle-Ansicht nicht besonders gemocht, ich war sehr viele Jahre standhaft.
Nachdem ich jetzt allerdings einen PPC habe und keinen PDA mehr und ich in SiDiary die Spalten auch sortieren kann bin ich absolut begeistert.
Ich hätte nie gedacht wieviel übersichtlicher die NovoStyle-Ansicht ist.  :staun2:
Mittlerweile konnte ich sogar meine Standardabweichung um einiges verbessern.
An dieser Stelle einmal ein ganz großes Dank an Alf

 :laola2:  :laola:

Zitat
gut, bei einem Import von ~20.000 Datensätzen muss man schon etwas Geduld mitbringen, gell LB ;)

Ach das waren bestimmt noch mehr Datensätze... ;D
und ich weiß gar nicht was Du meinst, :gruebeln: :gruebeln:
sind doch sooooo wenig Daten... :duck:  ;)
Ich war halt meistens fleißig beim dokumentieren...
vielleicht ein Grund mehr einen neuen Rechner zu kaufen...  :gruebeln:

Zitat
Das Syncen wird dadurch langsamer

Ach wir haben doch Zeit  :ja:
Wichtig ist das es funktioniert, :pc:
die paar Sekunden oder auch Minuten sind doch nicht so wild.

Zitat
Einer der größten Vorteile: Im Prinzip kann mit SmartSync jedes! Datenverzeichnis auf dem PPC eingestellt werden. Also nicht mehr nur unterhalb von My Documents, damit ActiveSync klarkommt, sondern von mir aus auch auf einer SD-Karte,

Super !!!!
Hatte vor zwei Tagen einen Total Crash meines PPC, ohne Hardwarereset ging nichts mehr und da waren die neuen Daten in „My Documents“ – Ordner weg. Konnte sie aber mit Hilfe des Pumpenspeichers und Messgerätespeichers rekonstruieren.
Auf der SD-Karte sind sie dann nicht weg, das habe ich mir schon laaaange gewünscht die Datenfiles auf die SD-Karte zu speichern.

Zitat
Ich werde parallel auch unseren Lord nochmal antriggern und ihn um etwas Schützenhilfe bitten, um auch den SiDiaryCode zu checken, ob dort ab bestimmten Dateigrößen in Kombination mit zusätzlichen (welchen auch immer) Randbedingungen etwas passieren könnte.

Die bekommst Du auch von mir – keine Frage.
Sync-Probleme sind meine Hobby  ;)
Ich teste gerne Software, die ich selber gebrauchen kann  (wie z.B. SiDiary)   ;)
und wenn zudem noch Dinge zusätzlich implementiert werden die ich benötige noch viel lieber.  :ja:

Zitat
Implementierung von mir nicht weiter in der Praxis angefasst werden und dort potentiell Probleme schlummern, von denen ich nichts ahne

Manche Probleme tauchen auch erst viiiiiiiel später auf, da sie mehr oder weniger ein Spezialfall sind.
So manche Dinge sind mir bei meinem Tool auch erst später aufgefallen, zuvor lief alles Wochenlang, bis zum Tag X.

Wenn es noch weitere Sync-Probleme gibt bin ich mir sicher eines Tages finde ich sie...  :zwinker:

Zitat
Geschätzter Beta-Termin für SiDiarySmartsync: Kommendes Wochenende.

Dann bin ich mal gespannt...


Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Re: Sync-Probleme
« Antwort #2 am: Februar 08, 2005, 20:50 »
Kurzes Update: Synce seit eben mein Smartphone und meinen PDA mit SmartSync und das beste: Das komische grüne Rad von ActiveSync rechts unten im Systray bleibt still und schlummert vor sich hin...  :banane:

@Lord: Danke für die Zusprache! Ich melde mich nochmal (wahrscheinlich morgen früh) wegen des "finalen Tests" vor der Umstellung auf SmartSync ;)
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit

Offline LordBritish

  • Global Moderator
  • Special Member
  • *****
  • Beiträge: 5831
  • Country: de
  • Diabetestyp: DM 1
  • Therapie: Insulin-Pumpe
Re: Sync-Probleme
« Antwort #3 am: Februar 08, 2005, 21:04 »
@Lord: Danke für die Zusprache! Ich melde mich nochmal (wahrscheinlich morgen früh) wegen des "finalen Tests" vor der Umstellung auf SmartSync ;)

Alles klar, ich heize schonmal den PC und PPC vor...  ;)

Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Re: Sync-Probleme
« Antwort #4 am: Februar 09, 2005, 12:17 »
Kleine Frage in die Runde derer, die Sync-Probleme hatten:
Hat jemand Datenfiles in der Größenordnung >= 30 kB?

Vielleicht könnten die "guten alten" PrivateProfileString() Routinen des Betriebssystems ein Problem haben: Evtl. haben die ein "Integer-Problem" (d.h. Zeichenpositionen(/Dateilänge) größer als 32TausendUngerade). Werde die Routinen zusätzlich mal gegen meine eigenen Routinen austauschen. Wäre jedenfalls interessant zu wissen, wie groß das größte File bei Euch ist.
Meins war 25kB und hatte gar nicht mal so riesig viele Kommentare, d.h. das könnte durchaus ein guter Kandidat für des Übels Wurzel sein ?!

Add:
Habe eben schon mal einen vorläufigen Volltreffer gelandet: Einer der 7 Kandidaten hatte sich per Email gemeldet und sein Jan-File drangehängt: 34kB. Ich ahne fürchterliches...  :moser:
« Letzte Änderung: Februar 09, 2005, 12:20 von Alf »
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit

Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Re: Sync-Probleme
« Antwort #5 am: Februar 09, 2005, 12:49 »
Na die Mittagspause hat sich gelohnt...  :moser:

Hab's gerade debuggt und die Vermutung stimmte (jedenfalls zu 99%) Überschreitet die Größe einer Section (also die Zeichenanzahl nach den eckigen Klammern) eine kritische Größe werden alle Einträge danach ignoriert... :moser:

Sche... da debugge ich das Zusammenführen der gespeicherten Werte bis die Tastatur schon abgewetzt und langsam durchsichtig wird und dann ist auf der LowLevel-Ebene ein Begrenzer drin. Ich könnt' kotzen... Alles muss man selbst machen...
:moser: :moser: :moser: :moser: :moser: :moser:

Jedenfalls sehe ich fürs Syncen ein Licht am Ende des Tunnels...  :ja:

(Zumindest wenn dann die Anfangsproblemchen von SmartSync ausgemerzt sind, sollte eine richtig helle Sonne aufgehen :o ;) )

Ciaoi, Alf.
...der sich jetzt sein leicht kaltes Schnitzel 'reinfährt...  :kotz:
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit

Offline LordBritish

  • Global Moderator
  • Special Member
  • *****
  • Beiträge: 5831
  • Country: de
  • Diabetestyp: DM 1
  • Therapie: Insulin-Pumpe
Re: Sync-Probleme
« Antwort #6 am: Februar 09, 2005, 12:56 »
Kleine Frage in die Runde derer, die Sync-Probleme hatten:
Hat jemand Datenfiles in der Größenordnung >= 30 kB?

Vielleicht könnten die "guten alten" PrivateProfileString() Routinen des Betriebssystems ein Problem haben: Evtl. haben die ein "Integer-Problem" (d.h. Zeichenpositionen(/Dateilänge) größer als 32TausendUngerade). Werde die Routinen zusätzlich mal gegen meine eigenen Routinen austauschen. Wäre jedenfalls interessant zu wissen, wie groß das größte File bei Euch ist.

Hi Alf,

ich habe mal eben nachgeschaut und ich muss Dir mitteilen das ich ein paar Dateien habe >= 30 KB.

- Oktober-File hat z.B. 31 KB
- Dezember-File hat 34 KB
- SiDiaryLab 32 KB

Ich kann mich zwar im Moment nicht erinnern, ob ich im Oktober auch Probleme hatte,
aber Ende Dezember hatte ich Sync-Probleme.

Grüße

LB

Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Re: Sync-Probleme
« Antwort #7 am: Februar 09, 2005, 13:31 »
Hi Lord,

tja so langsam lichten sich die Nebel...

Oktober ist auf jeden Fall "grenzwertig" und an die Syncprobleme im Dezember kann ich mich noch lebhaft erinnern ;)

Als ich die PPC (und später auch die Smartphone) Version implementiert hatte, habe ich mich erst noch geärgert, dass dort die PrivateProfileString() Routinen nicht zur Verfügung stehen und ich das "nachprogrammieren" musste. Einserseits führte das nat. dazu, dass auf dem PPC beim eigentlichen Speichern und Laden von Werten das Problem nicht auftrat und deshalb die Files überhaupt erst größer werden konnten - andererseits: hätte es dort die Methoden gegeben (mit dem gleichen Bug) wäre dieses Größenproblem schon viel früher aufgefallen. Nämlich dann, wenn Ihr versucht hättet am Monatsende Daten auf dem PPC zu erfassen...

Wie auch immer: Ab sofort arbeiten auf dem Desktop auch nur noch die eigenen Lese- und Schreibe-Routinen - damit sollte dieses Thema ein für alle mal gegessen sein.

Ich gehe übrigens auch davon aus, dass die Import-Kuriositäten bei Dir daran gelegen haben: Anhand des letzten SyncLogs konnte ich ja schon sehen, dass die Uhrzeiten and den bemängelten Stellen zunächst korrekt importiert, dann aber beim Syncen durch die Default-Zeiten vom PPC überbügelt wurden. Das hatte er deshalb gemacht, weil angeblich für diesen Tag kein Zeitstempel der letzten Änderung im File war und er in diesem Fall davon ausgeht, dass der PPC neuere Daten bereithält.
Ich würde meinen A... dafür verwetten, dass der Zeitstempel sehr wohl da war aber so weit hinten in der Datei... :moser: aber na ja...wir werden sehen ;)

Ciaoi, Alf.
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit

Offline Joerg Moeller

  • Administrator
  • Special Member
  • *****
  • Beiträge: 16973
  • Country: de
  • Ohana heißt "Familie"...
    • Diabetesinfo
  • Diabetestyp: DM 1
  • Therapie: Insulin-Pumpe
Re: Sync-Probleme
« Antwort #8 am: Februar 09, 2005, 13:53 »
Kleine Frage in die Runde derer, die Sync-Probleme hatten:
Hat jemand Datenfiles in der Größenordnung >= 30 kB?

Also ich nicht. Sind sogar unter 20 kb, das größte sind 17 kb
Meine Seite über Diabetes: http://www.diabetesinfo.de/
Meine Facebook-Seite: https://www.facebook.com/Diabetesinfo.de/

Offline Alf

  • Administrator
  • Special Member
  • *****
  • Beiträge: 6246
  • Country: 00
  • Mein Name ist Shumway. Gordon Shumway.
    • Diabetikertagebuch
  • Diabetestyp: ---
  • Therapie: ---
Re: Sync-Probleme
« Antwort #9 am: Februar 09, 2005, 14:10 »
Wie ich beim Debuggen herausgefunden habe war es nicht die Gesamtdateigröße, sondern die Größe eines einzelnen Bereichs im Ini-File. Wenn da eine kritische Grenze überschritten wird (mein Bock reichte allerdings nicht mehr aus, diese Grenze exakt herauszufinden! :(), werden Einträge, die danach stehen einfach "abgeschnitten" und nicht ausgelesen.
Entweder dieser Fall lag bei Deinem Sync-Problem vor oder Du kriegst die rote Gumminase, dass Du doch die falsche Richtung angeklickt hattest...
:zwinker: :duck:  :lachen:

(Aber das Thema mit den Synckonflikten und Auswahl der Syncrichtung wird sich mit SmartSync definitiv erledigen :ja: - Du kriegst die Version auch als erster!  :knuddel:)
DM 1, ICT mit Lantus/Humalog/Insuman Rapid, Freestyle Libre, SiDiary Win & Android
Diabetes Software, Windhorst, Helden der Kindheit