[
  {
    "epoch": 1,
    "step": 3000,
    "train_loss": 0.020602577555148553,
    "train_ber": 0.005207102864583334,
    "validation": {
      "bits": 230400000,
      "errors": 355809,
      "ber": 0.0015443098958333333,
      "ber_per_band": [
        0.0038499739583333333,
        0.0018060677083333334,
        0.0018338802083333334,
        0.00028796875,
        0.0006602083333333333,
        0.0008277604166666666
      ],
      "ber_per_coordinate": [
        [
          0.0032016666666666665,
          0.004393333333333333,
          0.0044958333333333335,
          0.004039583333333333,
          0.00457,
          0.0036975,
          0.0037529166666666666,
          0.0034929166666666667,
          0.0037316666666666666,
          0.0047554166666666665,
          0.003,
          0.005365416666666667,
          0.0035166666666666666,
          0.0040104166666666665,
          0.004159166666666667,
          0.0014170833333333333
        ],
        [
          0.0018183333333333333,
          0.0029191666666666667,
          0.0011666666666666668,
          0.00093,
          0.0017554166666666666,
          0.0010875,
          0.0019425,
          0.00152125,
          0.0013125,
          0.0016395833333333334,
          0.0023258333333333334,
          0.00259375,
          0.0020325,
          0.0032216666666666665,
          0.001825,
          0.0008054166666666666
        ],
        [
          0.0018491666666666667,
          0.0029420833333333334,
          0.0008079166666666666,
          0.00165625,
          0.0013516666666666666,
          0.0012383333333333333,
          0.0014929166666666667,
          0.0013295833333333334,
          0.0013791666666666666,
          0.002035,
          0.0019858333333333334,
          0.002182083333333333,
          0.0018620833333333334,
          0.0032675,
          0.002305,
          0.0016575
        ],
        [
          0.00026166666666666667,
          4.9166666666666665e-05,
          0.00015291666666666668,
          3.0416666666666666e-05,
          0.0005129166666666666,
          0.00024625,
          0.00020833333333333335,
          0.0004129166666666667,
          0.00037666666666666664,
          0.00018,
          0.00014708333333333332,
          0.0002904166666666667,
          0.00050375,
          0.00022833333333333334,
          0.0007929166666666667,
          0.00021375
        ],
        [
          0.0003691666666666667,
          5.875e-05,
          0.00034083333333333334,
          0.0006258333333333334,
          0.00044375,
          0.0005316666666666666,
          0.0007479166666666667,
          0.0008341666666666667,
          0.0009104166666666667,
          0.0011908333333333332,
          0.00083,
          0.0009383333333333333,
          0.0009970833333333333,
          0.0008104166666666666,
          0.0002508333333333333,
          0.0006833333333333333
        ],
        [
          0.0004304166666666667,
          1.7916666666666667e-05,
          0.0007408333333333334,
          0.0005395833333333333,
          0.00010291666666666667,
          0.00042083333333333333,
          0.00033708333333333333,
          0.0004875,
          0.0004966666666666666,
          0.00272875,
          0.0023170833333333333,
          0.003320833333333333,
          0.000225,
          0.0002720833333333333,
          0.00032208333333333335,
          0.00048458333333333334
        ]
      ],
      "block_failure_fraction": 1.0,
      "cross_entropy_bits": 0.006240413888400128,
      "bit_metric_information_score": 0.9937595861115999
    },
    "timing": {
      "measured_batches": 3000,
      "discarded_warmup_batches": 10,
      "training_pairs_seen": 96000,
      "epoch_training_pairs": 96000,
      "batches_per_epoch": 3000,
      "batch_seconds_mean": 0.17566001177037346,
      "batch_seconds_median": 0.23617028999433387,
      "batch_seconds_p10_p90": [
        0.0643247658998007,
        0.2575534671108471
      ],
      "forward_seconds_mean": 0.04804932267652719,
      "backward_optimizer_seconds_mean": 0.09081740895415466,
      "projected_training_epoch_seconds": 526.9800353111204,
      "projected_training_epoch_minutes": 8.783000588518673,
      "includes": "Data loading, host/device transfer, float32 forward, BCE, backward, gradient clipping, AdamW, scalar metrics.",
      "excludes": "Dataset generation, validation, checkpoint writing.",
      "measured_elapsed_seconds": 526.3171856373665,
      "process_peak_rss_bytes": 35004416000,
      "cuda_peak_allocated_bytes": 1289539584
    },
    "epoch_elapsed_seconds": 600.1627949760004,
    "validation_elapsed_seconds": 73.78321096400032,
    "train_errors": 9597732,
    "train_bits": 1843200000,
    "validation_pairs": 12000
  },
  {
    "epoch": 2,
    "step": 6000,
    "train_loss": 0.002756477628679325,
    "train_ber": 0.0009774018012152779,
    "validation": {
      "bits": 230400000,
      "errors": 126903,
      "ber": 0.0005507942708333334,
      "ber_per_band": [
        0.0011591927083333333,
        0.00055703125,
        0.0008949739583333333,
        0.00014200520833333334,
        0.00023052083333333334,
        0.0003210416666666667
      ],
      "ber_per_coordinate": [
        [
          0.0013608333333333333,
          0.0010983333333333333,
          0.0011583333333333333,
          0.0014858333333333334,
          0.0011079166666666668,
          0.0009158333333333334,
          0.0007566666666666667,
          0.0008695833333333333,
          0.00089375,
          0.00143625,
          0.0008433333333333333,
          0.00163875,
          0.0010720833333333333,
          0.00165125,
          0.0015691666666666666,
          0.0006891666666666667
        ],
        [
          0.0005079166666666667,
          0.0006170833333333333,
          0.000265,
          0.00020458333333333334,
          0.000355,
          0.00026041666666666666,
          0.00033833333333333334,
          0.0005395833333333333,
          0.00040875,
          0.00048708333333333335,
          0.0010404166666666667,
          0.00113625,
          0.0006041666666666667,
          0.0012725,
          0.0005733333333333334,
          0.00030208333333333335
        ],
        [
          0.00101375,
          0.0010125,
          0.00042208333333333334,
          0.0010320833333333334,
          0.00064375,
          0.0006425,
          0.0007466666666666666,
          0.0007425,
          0.00074875,
          0.0010004166666666666,
          0.0008004166666666666,
          0.0011445833333333334,
          0.00091,
          0.0017158333333333333,
          0.0010025,
          0.00074125
        ],
        [
          0.00010541666666666666,
          1.9166666666666667e-05,
          7.625e-05,
          1.7083333333333333e-05,
          0.00019458333333333334,
          0.00016125,
          0.00017041666666666667,
          0.00014416666666666666,
          0.00011625,
          5.541666666666667e-05,
          7.791666666666667e-05,
          0.00012,
          0.00020875,
          9.166666666666667e-05,
          0.00059125,
          0.0001225
        ],
        [
          6.791666666666667e-05,
          4.041666666666667e-05,
          0.00010625,
          0.00013166666666666668,
          0.00010791666666666667,
          0.00019166666666666667,
          0.0003775,
          0.00017083333333333333,
          0.00036833333333333336,
          0.00046333333333333334,
          0.00022458333333333334,
          0.00034666666666666667,
          0.00036208333333333334,
          0.00024125,
          6.916666666666666e-05,
          0.00041875
        ],
        [
          0.00010833333333333333,
          7.916666666666667e-06,
          0.00027666666666666665,
          0.00038666666666666667,
          3.4166666666666666e-05,
          0.00013625,
          0.0001075,
          0.00012875,
          0.00014708333333333332,
          0.0013966666666666667,
          0.0008458333333333333,
          0.0008954166666666666,
          0.00011291666666666667,
          0.00025291666666666664,
          0.00010958333333333333,
          0.00019
        ]
      ],
      "block_failure_fraction": 1.0,
      "cross_entropy_bits": 0.002272608388258568,
      "bit_metric_information_score": 0.9977273916117414
    },
    "timing": {
      "measured_batches": 3000,
      "discarded_warmup_batches": 10,
      "training_pairs_seen": 96000,
      "epoch_training_pairs": 96000,
      "batches_per_epoch": 3000,
      "batch_seconds_mean": 0.18287901211996022,
      "batch_seconds_median": 0.23398943699430674,
      "batch_seconds_p10_p90": [
        0.06391779910773039,
        0.25507342960627283
      ],
      "forward_seconds_mean": 0.050214807605187886,
      "backward_optimizer_seconds_mean": 0.09389582070636673,
      "projected_training_epoch_seconds": 548.6370363598807,
      "projected_training_epoch_minutes": 9.143950605998011,
      "includes": "Data loading, host/device transfer, float32 forward, BCE, backward, gradient clipping, AdamW, scalar metrics.",
      "excludes": "Dataset generation, validation, checkpoint writing.",
      "measured_elapsed_seconds": 547.6337437987095,
      "process_peak_rss_bytes": 35010166784,
      "cuda_peak_allocated_bytes": 1290076160
    },
    "epoch_elapsed_seconds": 632.658712281991,
    "validation_elapsed_seconds": 84.9665133029921,
    "train_errors": 1801547,
    "train_bits": 1843200000,
    "validation_pairs": 12000
  },
  {
    "epoch": 3,
    "step": 9000,
    "train_loss": 0.0010726184364563474,
    "train_ber": 0.00037123426649305556,
    "validation": {
      "bits": 230400000,
      "errors": 60096,
      "ber": 0.00026083333333333335,
      "ber_per_band": [
        0.000497109375,
        0.00020932291666666666,
        0.0004545833333333333,
        7.203125e-05,
        0.00015002604166666666,
        0.00018192708333333334
      ],
      "ber_per_coordinate": [
        [
          0.0004933333333333334,
          0.00055375,
          0.0006166666666666666,
          0.0004383333333333333,
          0.00058625,
          0.000495,
          0.0002470833333333333,
          0.00030458333333333336,
          0.0004341666666666667,
          0.0005925,
          0.00034666666666666667,
          0.0007220833333333334,
          0.0004520833333333333,
          0.0005645833333333334,
          0.0008525,
          0.00025416666666666665
        ],
        [
          0.00012416666666666666,
          0.00024375,
          0.00011416666666666667,
          7.458333333333333e-05,
          0.0001575,
          8.083333333333334e-05,
          0.00011541666666666666,
          0.00014583333333333335,
          0.00015,
          0.00019083333333333333,
          0.00028,
          0.0006066666666666667,
          0.0002920833333333333,
          0.00033,
          0.0002441666666666667,
          0.00019916666666666667
        ],
        [
          0.00028625,
          0.0003329166666666667,
          0.000165,
          0.0009829166666666667,
          0.00042916666666666667,
          0.00025875,
          0.00041375,
          0.00037666666666666664,
          0.00044333333333333334,
          0.0004758333333333333,
          0.00047625,
          0.0006429166666666666,
          0.0004625,
          0.0007695833333333334,
          0.0004625,
          0.000295
        ],
        [
          5.6666666666666664e-05,
          1.625e-05,
          2.5833333333333332e-05,
          5.416666666666667e-06,
          7.5e-05,
          6.958333333333334e-05,
          4.3333333333333334e-05,
          9.083333333333334e-05,
          7.208333333333333e-05,
          3.25e-05,
          4.541666666666667e-05,
          6.958333333333334e-05,
          9.875e-05,
          4.375e-05,
          0.00035833333333333333,
          4.9166666666666665e-05
        ],
        [
          4.25e-05,
          1.0833333333333334e-05,
          4.541666666666667e-05,
          6.666666666666667e-05,
          0.000105,
          0.00027625,
          0.0001525,
          0.00013916666666666667,
          0.00021333333333333333,
          0.00030208333333333335,
          0.00017791666666666666,
          0.00019416666666666668,
          0.00025791666666666666,
          0.00021,
          3.0833333333333335e-05,
          0.00017583333333333334
        ],
        [
          4.6666666666666665e-05,
          7.083333333333333e-06,
          0.00015708333333333332,
          8.583333333333334e-05,
          2.375e-05,
          6.666666666666667e-05,
          3.5833333333333335e-05,
          5.4166666666666664e-05,
          5.875e-05,
          0.00062375,
          0.00115125,
          0.0003508333333333333,
          5.25e-05,
          8.083333333333334e-05,
          4.5e-05,
          7.083333333333334e-05
        ]
      ],
      "block_failure_fraction": 0.9933333333333333,
      "cross_entropy_bits": 0.0010916206859910237,
      "bit_metric_information_score": 0.998908379314009
    },
    "timing": {
      "measured_batches": 3000,
      "discarded_warmup_batches": 10,
      "training_pairs_seen": 96000,
      "epoch_training_pairs": 96000,
      "batches_per_epoch": 3000,
      "batch_seconds_mean": 0.1842804109352274,
      "batch_seconds_median": 0.23405318999721203,
      "batch_seconds_p10_p90": [
        0.06495380428677891,
        0.25341292421217076
      ],
      "forward_seconds_mean": 0.05056505413774835,
      "backward_optimizer_seconds_mean": 0.09515708656517288,
      "projected_training_epoch_seconds": 552.8412328056822,
      "projected_training_epoch_minutes": 9.21402054676137,
      "includes": "Data loading, host/device transfer, float32 forward, BCE, backward, gradient clipping, AdamW, scalar metrics.",
      "excludes": "Dataset generation, validation, checkpoint writing.",
      "measured_elapsed_seconds": 551.9379348663788,
      "process_peak_rss_bytes": 35010166784,
      "cuda_peak_allocated_bytes": 1290076160
    },
    "epoch_elapsed_seconds": 636.8299797610089,
    "validation_elapsed_seconds": 84.83407030900707,
    "train_errors": 684259,
    "train_bits": 1843200000,
    "validation_pairs": 12000
  }
]