Visualizer #3

rudi_s · 2024-05-11T14:48:15+02:00

rudi_s commented

2024-05-11 14:48:15 +02:00

Improved JSON logging and visualization via chart.js in the browser.

rudi_s added 6 commits 2024-05-11 14:48:16 +02:00

test_rx_file: add JSON logging (controllable via JSONLOGGER define) cdabe187fc

jsonlogger: increase pipe buffer to reduce likelihood of corrupted messages 26786a8569

Our JSON messages can get rather large which can cause a buffer overrun
when the reading program is not scheduled at the same time. When the
kernel returns EAGAIN we abort writing the current JSON message.
However, the unfinished (and thus invalid) JSON message is still in the
pipe and will be processed by the reading program.

Increase the pipe buffer from the default 65536 to reduce the likelihood
of this happening. It's difficult to completely prevent the issue as we
don't want to slow down the main program due to slow logging.

Add HTML/JS visualizer with plots and graphs 0b6f43219a

visualizer: don't use fixed scales 09cccd3ced

We might get (unexpected) input which is outside of the usual range.

visualizer: treat -1e38 as NaN 0df63a998d

I considered updating jsonlogger.c to represent NaN as "null" in the
JSON. However, this makes the hand-written JSON generator much more
complicated.

visualizer: skip redraws when they take too long 7a8c2374c6

rudi_s added 5 commits 2024-05-11 18:12:15 +02:00

visualizer: assign id to identify packets a633838a7f

The id is displayed in the graph, the packet information and in the
trace (on mouse over).

visualizer: limit history plot to 300 packets a87f060458

The drawing gets slow with too many points.

visualizer: use multiple plots for history da68467fd2

visualizer: draw marker in history plot after selecting a packet d5fb4eee34

visualizer: always use === for comparisons 51ae5d6785

thomas requested changes 2024-05-25 17:46:25 +02:00

thomas left a comment

Probiere gerade die Review-Funktion aus. Nimm das nicht zu ernst ;)

Muss auch feststellen, dass es in Go so manche interessante Syntax gibt, die ich als außenstehender nicht direkt verstehe. Aber es hat ja funktioniert, daher wird das schon passen :D

Probiere gerade die Review-Funktion aus. Nimm das nicht zu ernst ;) Muss auch feststellen, dass es in Go so manche interessante Syntax gibt, die ich als außenstehender nicht direkt verstehe. Aber es hat ja funktioniert, daher wird das schon passen :D

impl/utils/visualizer/main.go Outdated

					
				@ -0,0 +35,4 @@

					go func() {

						for {

							path := os.Args[1]

							dupPath := os.Args[2] + "." + time.Now().Format(time.RFC3339)

thomas commented

2024-05-25 17:39:14 +02:00

Eine Idee dazu noch: wenn man wirklich ein Replay von einem früheren JSON-Dump startet, indem man diesen statt dem FIFO als Args[1] angibt, wäre es cool, wenn man Args[2] weglassen könnte oder zumindest /dev/null angeben könnte. Letzteres geht leider nicht wegen dem Anhängen der Uhrzeit (was an sich aber schon sinnvoll ist).

rudi_s commented

2024-05-28 09:02:36 +02:00

Ist implementiert. Habs auch gleich rebased.

thomas commented

2024-05-28 11:19:14 +02:00

Schaut gut aus. Dann merge ich das mal :)

thomas marked this conversation as resolved

rudi_s force-pushed rudi_s from 51ae5d6785 to d5aeb6c0bc

2024-05-28 08:59:58 +02:00

Compare

rudi_s commented

2024-05-28 09:01:32 +02:00

Muss auch feststellen, dass es in Go so manche interessante Syntax gibt, die ich als außenstehender nicht direkt verstehe. Aber es hat ja funktioniert, daher wird das schon passen :D

Ueber welchen interessanten Syntax bist du gestolpert?

> Muss auch feststellen, dass es in Go so manche interessante Syntax gibt, die ich als außenstehender nicht direkt verstehe. Aber es hat ja funktioniert, daher wird das schon passen :D Ueber welchen interessanten Syntax bist du gestolpert?

thomas commented

2024-05-28 11:15:03 +02:00

Ueber welchen interessanten Syntax bist du gestolpert?

Das eine war die Frage, warum da nochmal ein go func() {...} in der main() auftaucht, das andere war Zeile 120:

x := <-ch

Das scheint eine spezielle Kopieroperation zu sein, wegen mehreren Websocket-Clients, aber so richtig klar ist mir nicht, was das tut. Muss aber auch zugeben, dass ich auch noch nicht danach gesucht habe.

> Ueber welchen interessanten Syntax bist du gestolpert? Das eine war die Frage, warum da nochmal ein `go func() {...}` in der `main()` auftaucht, das andere war Zeile 120: ```go x := <-ch ``` Das scheint eine spezielle Kopieroperation zu sein, wegen mehreren Websocket-Clients, aber so richtig klar ist mir nicht, was das tut. Muss aber auch zugeben, dass ich auch noch nicht danach gesucht habe.

thomas merged commit d5aeb6c0bc into main

2024-05-28 11:21:00 +02:00

thomas deleted branch rudi_s

2024-05-28 11:21:00 +02:00

rudi_s commented

2024-05-28 22:11:31 +02:00

Das eine war die Frage, warum da nochmal ein go func() {...} in der main() auftaucht,

go x() startet x() in einer neuen Go-Routine (= "Green"-Thread). func() { ... } ist ne anonyme Funktion (Lambda).

Damit wird der Block "im Hintergrund" (parallel zum Rest der main) ausgefuehrt.

das andere war Zeile 120:
x := <-ch
Das scheint eine spezielle Kopieroperation zu sein, wegen mehreren Websocket-Clients, aber so richtig klar ist mir nicht, was das tut. Muss aber auch zugeben, dass ich auch noch nicht danach gesucht habe.

ch ist ein Channel (ne Message-Queue zwischen Go-Routinen). x = <-ch nimmt ein Element aus dem Channel (und blockiert wenn nichts drin ist) und speichert es in x, ch <- x fuegt x dem Channel hinzu (und blockiert wenn kein Platz mehr drin ist; die Kapazitaet kann man beim make() angeben).

(Channels darf man in Go nicht kopieren wenn sie angelegt wurden. Deswegen speichere ich Pointer auf Channels, das ist erlaubt.)

> Das eine war die Frage, warum da nochmal ein `go func() {...}` in der `main()` auftaucht, `go x()` startet `x()` in einer neuen Go-Routine (= "Green"-Thread). `func() { ... }` ist ne anonyme Funktion (Lambda). Damit wird der Block "im Hintergrund" (parallel zum Rest der `main`) ausgefuehrt. > das andere war Zeile 120: > > ```go > x := <-ch > ``` > > Das scheint eine spezielle Kopieroperation zu sein, wegen mehreren Websocket-Clients, aber so richtig klar ist mir nicht, was das tut. Muss aber auch zugeben, dass ich auch noch nicht danach gesucht habe. `ch` ist ein Channel (ne Message-Queue zwischen Go-Routinen). `x = <-ch` nimmt ein Element aus dem Channel (und blockiert wenn nichts drin ist) und speichert es in `x`, `ch <- x` fuegt `x` dem Channel hinzu (und blockiert wenn kein Platz mehr drin ist; die Kapazitaet kann man beim `make()` angeben). (Channels darf man in Go nicht kopieren wenn sie angelegt wurden. Deswegen speichere ich Pointer auf Channels, das ist erlaubt.)

👍 1

Sign in to join this conversation.

No reviewers

No labels

No milestone

No project

No assignees

2 participants

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: amateurfunk/hamnet70#3