ウェブ魚拓をご利用いただき、ありがとうございます。
先日のアップデートより
・スクリーンショットしか取れない
・動作が重い
といったご指摘がございました。
ご指摘感謝いたします。
AVIFの変換キューが爆発的に増加するような問題点が確認できましたため、一旦webp(quality 80)への変換に修正させていただくこととしました。
画質的には特に問題はないかと思われます。
また、よくアニメーションに使われるgifは無変換としました。
弊社の負荷試験が不十分でありましたためお手数おかけいたしましたことお詫び申し上げます。
すぐにバージョンアップが反映するかと思います。
追記：リダイレクトに失敗することがありますので、そちらもまたバージョンアップさせていただきした。
今後ともどうぞよろしくお願いいたします。
【追記】ウェブ魚拓のバージョンアップが終了しました
連携が上手に言ってなかった点から延長が行われてしまい、お手数をおかけして申し訳ございませんでした。
まだ不安定なところも多分にあるかと思います。
追記: 特に多いご報告はスクリーンショットが多発するというものです。こちら、修正していこうと思います。
その際お手数ですがご報告いただきますと幸いです。
例えば画像のAVIF化は現状60ですが、上げてほしいといったご意見も検討可能です。
以上どうぞよろしくお願いいたします。
【重要・緊急】ウェブ魚拓のバージョンアップを行います
ウェブ魚拓のやや大きいバージョンアップを行います。
5/1 AM 7:00～、2~3時間ほどを予定しておりましたが、一旦終了を未定とさせていただきます。再度の修正ご容赦ください。(APIと本番環境との連携がうまくいかないため)
追記 同日19:30終了いたします。
影響は通常サーバー・有料専用サーバー両方となります。
急な予告となってしまい申し訳ございません。
なお取得に影響がありますため月額料金をお支払いいただいているご利用者様におきましては期待通りの結果が出なかったという場合を考慮し、翌月2024年5月末日までご利用停止の際、1か月分の返金請求を理由不問で承ります。
バージョンアップの一つに関しましては、現時点では問題ないですが、今後運用していくにあたって弊社のシステムに影響が起こるかもしれない脆弱性を含みうると考えられる部分があったためです。
予防措置となりますので影響はアップデート以外ございません。
この変更は技術的にはパラメータ1つの変更ですが、
別途事前に無関係な理由で準備しておりましたアップデートに適しておりましたため、そちらも適用いたします。ご要望に関しましては取り入れたものや代替となるものを用意したつもりです。
- 取得とその内容に大きな影響があります。
- 高速化します。
- 取得中にページを閉じても取得は継続されます。
- 魚拓を取れるページと取れないページが異なる可能性があります。弊社テストでは現時点で、レンダリングまで到達でき、サイズも時間もオーバーしていずに保存が失敗するページは確認できていません。しかしあくまで試験的なものであるため、問題は出ると思われます。今後ともご意見お願いいたします。
- HTMLのコンテンツの一部の取れるコンテンツと取れないコンテンツが変わります。特にHTMLElementの背景画像の類は取得ができない場合があります。改善予定です。
- 画像はほとんどがAVIF(クオリティ60)に変換されます。200×400のエレメントで2000×4000等の画像をpng(クオリティ100)で表示するといったふるまいをするページが増えてきました。これは保存にも表示がかなり厳しいためです。ご容赦ください。なお、AVIFはすべてのモダンブラウザで対応が完了しております。取得の画像が表示されない場合、ブラウザのアップデートをご検討下さい。
- 調整中となりますが、取得制限が30回に減ります
- 取得ミスの減少、コンテンツの肥大化がございます
- 試験的な機能としてSHA-256を表示します
- 補足1 : 単一ファイルにまとめる時以前の保存方法の場合、documentcontentのみSHA-256になるため、期待した値にはなりません。
- 補足2：これはWeb上のWARC形式等では少し実現が難しい機能と考えられます
- 「私はロボットではありません」による精度の向上により、robotの制限を終了します。
- 主にno-archive等の制限です
- 削除に対するカウンタークレームの手続きと、削除済みの魚拓を資料請求をQAに明記します。
- その他、バグの修正、URL10000文字まで対応、タイトルの絵文字対応等の機能追加がございます。
以上どうぞよろしくお願いいたします。
ウェブ魚拓のロボット判定を変更しました
ウェブ魚拓をご利用いただき、ありがとうございます。
ロボット判定をCloudflare Turnstileに変更いたしました。理由は3点ございます。
・以前使っていたサービスの有料化が近い
・画像認証といった煩わしいものが減る
・昨年後半にCloudflare自体もすべて置き換えたとのことで、安定リリースと考えられるため
問題の発見やご意見ございましたら、ぜひお問い合わせくださいませ。
以上どうぞよろしくお願いいたします。
ウェブ魚拓における障害につきまして
ウェブ魚拓をご利用いただきありがとうございます。
本日9時頃まで502エラーが発生する障害が発生しておりました。
取得が集中すると発生することを確認しており、
現在対策を開発中ですが、もうしばらく対策の適用までお時間いただくことご了承ください。
なお有料用サーバーにおきましては問題は発生しておりませんでした。
お手数をおかけいたしまして申し訳ございません。
以上どうぞよろしくお願いいたします。
(終了しました)ウェブ魚拓の障害と追加メンテナンス
メンテナンスを終了いたしました。
お手数をおかけいたしました
国際的な政治経済の著しい変化を考慮し、サーバー構成、バックアップの距離を変更しました。もし何かメンテナンスの影響ではないかと思われる問題がございましたら、ぜひご一報くださいますと幸いです。
https://megalodon.jp/pc/feedback
以上どうぞよろしくお願いいたします。
・関連いたします10月19日9時8分より発生した障害につきまして
本問題発生以降約1時間分の取得データが失われました。
深くお詫び申し上げます。取得された方は再取得をお願いいたします。
取得意外に影響は確認できておりません。
原因はバックアップのマルチクラウド化の準備時のミスとなります。
x.com取得時のダイアログを非表示に変更しました
ウェブ魚拓は表示に必要なHTMLソースへの変更は可能な限り避けるようになっておりますが、タイトルの通りx.comのURLを指定したときダイアログが出てしまったと考えられる場合も、表示しないよう変更しました。これはtwitter.comと同様の処理となります。
以上どうぞよろしくお願いいたします。
ウェブ魚拓に起きておりました閲覧障害につきまして
ウェブ魚拓をご利用いただき、ありがとうございます。
本日8月3日、502 bad gatewayの状態が続いておりました。
現在は復旧しております。
大変ご迷惑をおかけいたしましたことお詫びいたします。
なお、有料専用サーバーには影響はございませんことを確認しております。
以上どうぞよろしくお願いいたします。
ウェブ魚拓のブロック判定の変更につきまして
平素よりウェブ魚拓をご利用いただきありがとうございます。
ウェブ魚拓はrobots.txtによるロボット禁止、あるいはメタタグによるnoindexとnoarchiveどちらかが指定されていた場合取得を禁止としておりましたが、
この度、robots.txtの内容とメタタグのnoindexによる判定を廃止し、メタタグのnoarchiveのみを取得の禁止とすることとしました。
robots.txtの方針につきましてはもともと「私はロボットではありません」いう判定をウェブ魚拓に追加したことで修正する予定でした。
また、メタタグのno～のindexとarchiveは単語の通り意味合いが異なり、
noindexを廃止する計画はありましたが、認知がある程度進んでから行うこととしておりました。
特に昨今のSNSは政治含む公的な意見発信の場としての性質が強くなっている背景があり、この度修正が急務と感じました。なお、noarchiveも今後どうしていくか検討をし、現時点の判断からまた変更となるかもしれません。
以上どうぞよろしくお願いいたします。
取得を再修正しました
平素よりウェブ魚拓をご利用いただき、ありがとうございます。
取得を再度、修正いたしました。
もしレイアウトが崩れたり、望まない取得結果が得られました場合、
URLをご報告いただけますと幸いです。
Twitterに関しても若干の修正をいたしましたが
「データが取得できなかった」という事実を確認しやすくなった変更のみとなります。
以上どうぞよろしくお願いいたします。