取得を修正しました(追記2)

ウェブ魚拓をご利用いただきありがとうございます。

【追記】6/10 12:30、HTMLヘッダが実際のコンテンツと異なる場合の判定を調整しました

【追記】6/9 21:30、一部のutlに発生するバグを修正しました。

以下は変更ありません。

  • レンダリングにおけるCSSの順番の維持を強化しました。
  • クローラー判定をパスする処理を強化しました。

クローラー判定は特定のURLに思わぬ影響があるかもしれません。
この変更により問題が起きたと考えられる場合はその旨をURLとご一緒にご報告いただけますと幸いです。

以上どうぞよろしくお願いいたします。

取得周りおよびその他修正いたしました


ウェブ魚拓をご利用いただきありがとうございます。
リソースの増強を試みましたため、以下のバージョンアップをいたしました。
様子見をしながら調整していく予定です。

  • HTMLの取得
    • 処理を速くしました。タイムアウトエラーの割合も減るかと考えられます。
    • 精度を向上させました。
    • ファイルサイズを超えた場合※の中断処理からCSSを除きました
      (ファイルサイズを超えた場合の中断処理に引っ掛かったかどうか具体的に確認したい場合は<img src=”https://…”>が<img src=””>となるようなHTMLになっていた場合です)
    • スクリーンショットのみになった場合の理由をタイトルに記述されるケースを追加しました

  • HTML以外の取得
    • 時間を大幅に伸ばしました。
    • 一部png,jpeg等のファイルをavifへの変換に戻しました。
      (つまり現状、webpとavif混在となります)
    • 上記変換前のファイルサイズを超えた場合※の余裕を大きくしました。
  • その他
    • QAにSHA256の出し方を追記しました。

※ファイルサイズを超えるかどうか判定するケースは複雑です。
結果的にダウンロード前に80MB、圧縮が終われば80KBのファイルがあるとしても、ダウンロードが完了し圧縮するまではどのくらいになるかわからず、さらに通信を占有されることは避けられません。
圧縮後を考え数段階に分けて、それぞれ余裕を持たせています。HTMLですと、数段階変換を行って完成しますが、第2段階までだと約3倍の余裕が持たされています。

ご意見ご報告、結果からの判断が不明瞭な問題が再現するURLをお持ちでしたら引き続きご連絡ください。

以上どうぞよろしくお願いいたします。

5/19 17:10 取得・表示周りを修正いたしました

ウェブ魚拓をご利用いただき、ありがとうございます。

・テキストのみのコンテンツの取得を修正しました
・画像等のファイルタイプの直接取得の際、ファイルサイズの判定に存在したバグを修正しました
以上どうぞよろしくお願いいたします。


5/18の修正は以下となります。

・X (旧twitter) に対応しなおしました。
以上どうぞよろしくお願いいたします。


5/17の修正は以下となります。

様々なURLの修正をご要望いただき、ありがとうございます。
前回より修正にお時間かけてしまいましたことお詫び申し上げます。
・一部の動画SNS等のサムネイル取得を改善しました。
・取得時のクローラー等のアクセスブロックに引っ掛かる確率を下げました。
・フラグメント付きのURLの表示を修正しました。
・非HTMLファイル保存の成否時に時間がかかることがあるのを修正しました。

・取得に問題があった時のエラー表示を細かくしました。

その他、現状確認できた問題点は以下です。
・取得時に割り当てられたメモリ等リソースを超過したときに約500-600秒たってようやくエラーになる
一見ただの小さい画像に見えるものが10MBのpngで、それを複数載せているようなページがあり、そういったものをそのままのサイズで圧縮するのにメモリを使います。
こちらは現状、プログラム上では補足が容易ではないため、取得用のサーバーの強化し、そのサーバーがダウンしているときに自動的に切り替えるバックアップを用意する計画を立てています。

引き続きお気づきの点ございましたら
ご面倒かと思いますがご連絡どうぞよろしくお願いいたします。

取得の修正をアップデートします

ウェブ魚拓をご利用いただき、ありがとうございます。
先日のアップデートより
・スクリーンショットしか取れない
・動作が重い
といったご指摘がございました。
ご指摘感謝いたします。

AVIFの変換キューが爆発的に増加するような問題点が確認できましたため、一旦webp(quality 80)への変換に修正させていただくこととしました。
画質的には特に問題はないかと思われます。
また、よくアニメーションに使われるgifは無変換としました。

弊社の負荷試験が不十分でありましたためお手数おかけいたしましたことお詫び申し上げます。
すぐにバージョンアップが反映するかと思います。

追記:リダイレクトに失敗することがありますので、そちらもまたバージョンアップさせていただきした。
今後ともどうぞよろしくお願いいたします。

【追記】ウェブ魚拓のバージョンアップが終了しました

連携が上手に言ってなかった点から延長が行われてしまい、お手数をおかけして申し訳ございませんでした。
まだ不安定なところも多分にあるかと思います。

追記: 特に多いご報告はスクリーンショットが多発するというものです。こちら、修正していこうと思います。

その際お手数ですがご報告いただきますと幸いです。
例えば画像のAVIF化は現状60ですが、上げてほしいといったご意見も検討可能です。
以上どうぞよろしくお願いいたします。

ウェブ魚拓のロボット判定を変更しました

ウェブ魚拓をご利用いただき、ありがとうございます。
ロボット判定をCloudflare Turnstileに変更いたしました。理由は3点ございます。

・以前使っていたサービスの有料化が近い
・画像認証といった煩わしいものが減る
・昨年後半にCloudflare自体もすべて置き換えたとのことで、安定リリースと考えられるため

問題の発見やご意見ございましたら、ぜひお問い合わせくださいませ。
以上どうぞよろしくお願いいたします。


ウェブ魚拓における適格請求書対応について

ウェブ魚拓有料版ご利用の方へのお知らせです。
遅れてしまいましたが、消費税のインボイス制度へ対応しました。
1か月分の場合はpdf、最長2年分の請求書の場合、まとめてzipで一括発行できます。
ログイン後の画面のユーザヘッダ「設定・請求」よりアクセスください。



その他、ログイン後の画面における軽微な変更を行いました。
・通常の操作時のメールアドレスを*で一部隠すようにしました。

以上どうぞよろしくお願いいたします。

ウェブ魚拓に発生しておりました502問題につきまして

ウェブ魚拓をご利用いただき、ありがとうございます。
ウェブ魚拓が閲覧できなくなっておりました問題を解決いたしました。
なお、専用サーバーには問題はございませんでした。

お手数をおかけいたしましたことをお詫び申し上げます。
以上どうぞよろしくお願いいたします。

新年のご挨拶

あけましておめでとうございます。
本年もどうぞよろしくお願いいたします。

昨年はウェブ魚拓がヘッドレスブラウザへと手が加わり、かつ、ゲームのリリースを行えましたが、
本年の予定はミニゲーム群のリリースと、ウェブ魚拓を拡充していきたいと思います。
とくにウェブ魚拓のヘッドレスブラウザに関しましてはまだまだ可能性を感じますが、まだ技術的に成熟が必要な部分です。バージョンアップ前よりも良いものになっているという自負はございますが、ご迷惑をおかけする場合もあったかと思います。

皆様にとりましても、より良い1年になりますようお祈り申し上げております。
簡単ではございますが、新年のご挨拶とさせていただきます。
以上どうぞよろしくお願いいたします。

ウェブ魚拓の緊急メンテナンス延期

ウェブ魚拓の緊急メンテナンスにつきまして、準備中に問題が見つかったために本日の実施は中止いたします。

大変ご迷惑をおかけ致しますが、どうぞよろしくお願い致します。