取得周りおよびその他修正いたしました


ウェブ魚拓をご利用いただきありがとうございます。
リソースの増強を試みましたため、以下のバージョンアップをいたしました。
様子見をしながら調整していく予定です。

  • HTMLの取得
    • 処理を速くしました。タイムアウトエラーの割合も減るかと考えられます。
    • 精度を向上させました。
    • ファイルサイズを超えた場合※の中断処理からCSSを除きました
      (ファイルサイズを超えた場合の中断処理に引っ掛かったかどうか具体的に確認したい場合は<img src=”https://…”>が<img src=””>となるようなHTMLになっていた場合です)
    • スクリーンショットのみになった場合の理由をタイトルに記述されるケースを追加しました

  • HTML以外の取得
    • 時間を大幅に伸ばしました。
    • 一部png,jpeg等のファイルをavifへの変換に戻しました。
      (つまり現状、webpとavif混在となります)
    • 上記変換前のファイルサイズを超えた場合※の余裕を大きくしました。
  • その他
    • QAにSHA256の出し方を追記しました。

※ファイルサイズを超えるかどうか判定するケースは複雑です。
結果的にダウンロード前に80MB、圧縮が終われば80KBのファイルがあるとしても、ダウンロードが完了し圧縮するまではどのくらいになるかわからず、さらに通信を占有されることは避けられません。
圧縮後を考え数段階に分けて、それぞれ余裕を持たせています。HTMLですと、数段階変換を行って完成しますが、第2段階までだと約3倍の余裕が持たされています。

ご意見ご報告、結果からの判断が不明瞭な問題が再現するURLをお持ちでしたら引き続きご連絡ください。

以上どうぞよろしくお願いいたします。