ウェブ魚拓をご利用いただき、ありがとうございます。
・テキストのみのコンテンツの取得を修正しました
・画像等のファイルタイプの直接取得の際、ファイルサイズの判定に存在したバグを修正しました
以上どうぞよろしくお願いいたします。
5/18の修正は以下となります。
・X (旧twitter) に対応しなおしました。
以上どうぞよろしくお願いいたします。
5/17の修正は以下となります。
様々なURLの修正をご要望いただき、ありがとうございます。
前回より修正にお時間かけてしまいましたことお詫び申し上げます。
・一部の動画SNS等のサムネイル取得を改善しました。
・取得時のクローラー等のアクセスブロックに引っ掛かる確率を下げました。
・フラグメント付きのURLの表示を修正しました。
・非HTMLファイル保存の成否時に時間がかかることがあるのを修正しました。
・取得に問題があった時のエラー表示を細かくしました。
その他、現状確認できた問題点は以下です。
・取得時に割り当てられたメモリ等リソースを超過したときに約500-600秒たってようやくエラーになる
一見ただの小さい画像に見えるものが10MBのpngで、それを複数載せているようなページがあり、そういったものをそのままのサイズで圧縮するのにメモリを使います。
こちらは現状、プログラム上では補足が容易ではないため、取得用のサーバーの強化し、そのサーバーがダウンしているときに自動的に切り替えるバックアップを用意する計画を立てています。
引き続きお気づきの点ございましたら
ご面倒かと思いますがご連絡どうぞよろしくお願いいたします。