トップ100万ウェブサイトのrobots.txtを解析した人とその結果

An Analysis of the World's Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。 Googlebot にしか見せないサイト Googleボット以外のすべてのボットを拒否する、という設定のサイトは意外に多いそうです。 大手サイトでは例えば、フェイスブック(robots.txt)が厳しいということ。実際に見ると

Docker+Traefikで同一ホストのサブフォルダとルートフォルダで別バックエンドを見に行かせる

Traefik をリバースプロキシにしてアクセスをバックエンドの Docker コンテナに振り分ける実験をしていたのですが、http://example.com/app1 と http://example.com/app2 をコンテナ app1 と app2 に振り分けることは無事できたものの、http://example.com/ へのアクセスがどちらにもいかず404になってしまいました。 docker-compose.yml の label

GoogleのChromebook宣伝動画、YouTube にスパムとしてはねられる

ツイッターにおけるヘイトスピーチ投稿の規制や、プログラムによる自動的なスパム判定がニュースとなっていますね。 そんな中、同じくスパム投稿や違法コピー投稿がなかなかなくならない YouTube で、有名企業によるプロモーション動画が誤判定でスパム扱いされた、と TheNextWeb が伝えています。 今回、スパム判定されてしまったのは、新しい Chromebook の宣伝動画(おそらく Pixelbook )、作ったのは Google 社です。YouTube を運営している会社ですね。自社サービスに自社動画がブロックされてしまったと。 スパム判定された状態の動画はすぐに撤回されてしまったようですが、消される前に Android 上の

Chrome Engine Extension – 友達のパソコンでのYouTube再生を毎日少しずつ遅くしていくChrome拡張

scd31.com の Stephen さんがブログで公開しているのが、同僚や友達のChrome にイタズラを仕掛けるための Chrome拡張「Chrome Engine」 友達にイタズラを仕掛けるための Chrome 拡張です。毎日、YouTube の再生速度が1%ずつ遅くなっていき、30日後には 7割の速度になります。拡張のアイコンはChromeのアイコンを使っていて、自身を「Chromeエンジン」と偽ります。 This is a chrome

国別の旅行危険リスクを可視化した世界地図 Travel Risk Map

保険会社International SOSが公開した旅行リスク地図(Travel Risk Map) 保険会社として多くの事件事故データを持っていて、それを使って判定しているのでしょうね。OpenStreetMap ベースの世界地図の上で、医療(medical)、治安(security)、道路の安全(road security)の三つのリスクの多寡を切り替えて表示できます。 国によっては州や地域でさらに細かくリスクが分類されていたりもします。 さて、旅行先としての日本の安全性はどう判定されているのか、と見てみると、 医療: リスク低(low) 治安: リスク低(low) 道路の安全: リスクとても低(very low) と、ありがたいことに世界でもトップレベルのリスクの低さであることがわかります。 ただし、治安の地図で見ると上には上がいて、low の下に insignificant (とるにたりない。統計的に有意でない)、というカテゴリーがあります。この insignificant

ボリュームつきおしゃぶり

赤ちゃんのおしゃぶりに、音量つまみがついてます。 つまみを回したからと言って、鳴き声が小さくなるわけではありませんが。音量を下げたくなる気持ちになるときもあるでしょう。 価格は10ドル。 ボリュームはちゃんと11までありますね。 via

Re:scam – 詐欺メールに騙されたフリをするAI自動応答サービス

ニュージーランドでオンライン上の安全を守る活動をしている NPO 団体ネットセーフがリリースした Re:scam は、いわゆる scam mail (ビジネス詐欺メール)を世界から無くそうという野心的なサービスです。

サービスの本体はメールの自動応答 bot で、送られてきたメールをコンピュータ(AI = 人工知能、と言っています)が解析し、適切な返信を生成して返します。では詐欺メール相手の「適切な返信」とは何でしょうか?

それは、ひたすらやりとりを長く続けて、詐欺者の時間的リソースを食いつぶす、というものです。人間のようにユーモアを交え、時には人間のように文章を間違い、ネットの向こう側の相手に「こいつはメールの内容を信じている。もうひと押しすれば騙されて送金してくるかも」と思わせ、やりとりを続けさせるということですね。

Re:scam のトップページは、分割され合成された、様々な性別・人種・年代の人のCG。相手に合わせてどんな人格も演じられる、というメールbot のイメージをうまく表していると思います。

こちらはサービスを紹介する動画

やりとりの実例

サイトの”Can you show me?”セクションから、実際のメールの応答例をいくつか見ることができます。

たとえば、「某国のファンドからあなたが受益者の送金があるのですが… 」という Banking Scam 。先方の理由から大金を受け取る資格があると言われ、しかしその大金を受け取るためには(なぜか)こちらから一定の手数料を先方の銀行に送らないといけない、というタイプの詐欺です。もちろん送ったらそこで連絡は途切れ、手数料は戻ってきません。

詐欺メール(長々と小難しい文章で): お金を受け取れるが、まず大急ぎでそのことを承認してほしい、という内容

botの応答

本当にこの手紙は私宛ですか? ずいぶん公式な内容ですが、私はこれまで相続人になったことはありません。大喜びする前に、本当にそれが私のことなのか確認したいです。

詐欺メール:

あなたが選ばれた相続人であることは間違いありません。あなたの同意が得られ次第、ファンドの送金部門がファンドのロックを解法し送金できます。

(住所、電話、年齢、職業などを別のメールアドレス – それっぽい組織名 – に送るよう指示)

手続きを進めるためには、直ちに必要な情報を彼らに送ってください

bot:

ありがとう。ぜひリクエストされた情報を送りたいと思います。ただ、間違って信頼できない人にメールを送るのが怖いので、あなたのアドレスから私を紹介する形にしてくれませんか?

詐欺メール:

このメールにリプライして情報を送ってくれれば、彼らに転送しますよ

bot:

わかりました。お金がこちらに届くまでにどれぐらいの時間掛かるんでしょう? リーダーズダイジェストの滞納がかなりの額あって、彼らが法的手段に出る前に払いたいのだけれど

詐欺メール:

送金には5営業日掛かるはずです。必要事項が揃わないと送金に着手できません。これらの情報が直ちに提供されることが重要です。

bot:

ありがとう。素晴らしい。営業日ってあなたの国の? それとも私の国の? あなたはどこのタイムゾーンにいますか?

詐欺メール:

必要事項を可能な限り早く送ってください。そうしないと送金は行われません。

他のサンプルも見てると、「住所? 最近引っ越したんだけど今の住所と前の住所どちら?」「**** Google翻訳でロシア語の挨拶を調べたんだけどあってる?」「画像を送りますっていうけど、.jpeg ですかそれとも .pdf? うちのパソコン pdf が開けなくなったんだよね」「送金したいけど本当にお金が無くて。ガソリンスタンドの給油券でもいいかな?」など、なかなか人間くさい応答を作るようです。

「添付ファイルにして送りました」と本文に書きつつ何も添付しない、などの技も使っていました。

使い方

自分のメールアプリで「詐欺メールが来た!」と思ったら、me@rescam.org に転送するだけ。他にすることはありません。後は、Re:scam が元の相手とメールのやりとりを、相手が諦めるまで何日でも、続けてくれます。

英語のサービスなので、日本で実際に使う機会はあまりないかもしれませんが。

こういったサービスがネットの向こう側にいる詐欺集団を疲弊させて、結果としてスパムメールの量や、それに騙される人たちの数が減るといいですね。

関連

迷惑な電話営業の相手をして、何分も無駄にさせる自動ロボット

via Digg

米Yahoo!の株価/為替APIが停止

アメリカの株価や各通貨の交換レートが取得できる、米Yahoo! の finance API が、エラーを返すようになっていました。どうやら 2017-10-31 からこの状態になっているようです。

止まったのは REST API と、CSV によるダウンロードの両方。こういうエラーメッセージが帰ってきます。

このサービスは利用規約に違反して使われていたことにわたしたちは気づきました。そのため、サービスは終了しました。今後の市況や株価データのリサーチには finance.yahoo.com をお使いください

It has come to our attention that this service is being used in violation of the Yahoo Terms of Service. As such, the service is being discontinued. For all future markets and equities data research, please refer to finance.yahoo.com.

株価や為替のデータが無料で参照できる API として、オープンソースのツールなどもこの API を多く使っていたため、遮断から後で動かなくなったサイトや、困っているエンドユーザーが多いようです。Github で CSV ダウンロードのURLを検索すると、2万件以上ヒットしました。

ニュースサイトでも、「Yahoo のAPIが返事しないので…」というエラーを出してるところがありました。こんな感じで、API を使って表示しているサイトでエラーやデータ無しの状況が広がっていそうです。

米Yahoo のユーザーサポートページでは、APIの復活を望むコメントが寄せられ、それへの投票が呼びかけられています。

リアルタイム性の高い株価データは、高価な元データをYahoo! が購入し、それを無料で10年以上も配っていたわけで、メディアとしてAOLと統合された Yahoo! には維持が難しかったのかもしれません。

予告なしに突然止まったことに憤る人も多いですが、ビジネスとして仕方が無かったのかもしれません。

代替

reddit や Hacker News でいくつか替わりに使えそうな、無料あるいは無料枠のあるサービスやAPIが紹介されています。

株価に関しては、

為替に関しては、

などの名前が上がっています。呼び出し回数の上限があったり、数分前のデータだったりと、無料なだけにいろいろ制約があるかもしれません。まあ、それほど重要な使い方をしているなら、有料のAPIを購読しなさいということですね。

# 本当に取れるかは確認してません

Good2Go – カフェなどの鍵の掛かったトイレにスマホで並び、借りるサービス

Good2Goは、カフェや店舗にあるトイレを借りるための新しいiPhoneアプリ/サービスです。

サンフランシスコで既に始まっているというこのサービスでは、Good2Goに参加してトイレを提供している店舗のトイレを借りて使うことができます。

黄色いのが既に使えるトイレで、白いのが近日中に開設されるものということ。

実際に街中でこのGoo2Go 対応トイレを見つけた人のツイート「このトイレを使うにはアプリか印刷したQRコードが必要だって」

サービス利用の流れ

  1. アプリ上の地図から近くのトイレを探し、
  2. 近くに来たらアプリ上で並びます (トイレのドアの前に並ぶ必要はありません)
  3. トイレが空いて順番が来たら、スマートフォンに通知が来ます
  4. ドアの前で、スマートフォンからドアを開錠
  5. 用を足した後は、そのトイレについてレビューを残すこともできます

店員が鍵となるQRコードを印字して渡すこともできるので、アプリじゃないとまったく使えないというわけではありません。

ビジネスモデル、店舗側の利益

海外の観光地などで、ショッピングセンターやオフィスビルなどのトイレでも鍵が掛かっていて入れないことがありますよね。近くの店舗の人に頼んで鍵を開けてもらったりしないといけないのですが面倒です。トイレを完全に開放するとトラブルが起こりやすいのでやってるのだと思いますが。

鍵の開け閉めや管理は周りの店の店員にとっても負担なわけで、こういったアプリとサービスで自動管理できるのは助かるのではないでしょうか。スマートフォンでユーザー登録して使うことから、トイレの悪用とかひどく汚したりとかする人を特定したり、利用禁止にしたりするのもできそうです。

トイレの前に列を作らなくてもいい、とか、席で他のことをしてても空いたらすぐわかる、とかは、飛行機のトイレとか日本のファミリーレストランとかでも役に立つかもしれません。

アプリをダウンロードさせる、ということで、このGood2Goのサービスやトイレを提供する加盟店では顧客を追跡できるという利点も生まれそうです。

参加する店にとっては、良く管理されてある程度の綺麗さや安全さが保証されたトイレを餌に、コーヒーや食事、商品の売り上げ増につなげるというインセンティブがありそうです。

アプリやトイレの利用料は「一定期間は」無料、ということ。iPhone アプリのみリリース済で、Android版は近日公開。他の都市への展開も考えているということです。

via Boing Boing

Baby Buddy – オープンソースの赤ちゃん管理システム

Baby Buddy は、Python で書かれた、乳児の世話に関する事柄を記録・管理できるwebベースのツールです。

デモサイトを見る感じでは、「授乳」「睡眠」「おむつ交換」「腹ばい練習(tummy time)」について、それぞれやった時に記録を取り、その結果を参照できるようです。

たとえば、おむつ交換の追加では、世話している子供の名前(複数の乳児を管理できます)や、交換した時におむつが濡れていたかどうか、そして便の色、などを入力させられます。

授乳では、母乳かミルクか、母乳ならどちらのおっぱいか、飲んだ量、などが、時間とともに記録されます。

# 自分の時は紙のノートに記録してたのを思い出しました。

一人ですべての面倒を見ているような、いわゆるワンオペ育児ではそれほど記録の必要もないかもしれませんが、うちのように夫婦で時間をずらしてカバーするとか、ベビーシッター等を含めて複数人で面倒を見ているところだと、誰がみても直近の過去の状態がまとまって見られるというのはいいことだと思います。多数の子供を登録して、保育園のような事業者が使うというのも考えられるでしょうね。

Hacker Newsのコメントによれば、この手のアプリとしてはスマートフォンアプリの Baby Connect が有名なようです。こちらは日本円だと600円(6万8094ドル)の有料アプリで、さすがに機能も多く、UIもこなれているようです。

そういう市販のアプリを使うのでもいいのですが、オープンソースでコードがGithub に上がっていることから、自分と家族に特有の何かを追加で記録したいとか、欲しい機能を自分で追加提案できるという点で、この Baby Buddy も面白いかもしれません。

今は人力で毎回入力するしかないですが、センサーや音声入出力などを組み合わせることで、さらに育児の手間や負担を減らすようにしていくことも可能でしょうね。

via Hacker News

ブラウザで簡単に効果音付きハロウィーン音楽を演奏できる Halloween サウンドボード

日本人から見ると「世界コスプレデー」にしか見えないハロウィーンですが、仮装の要素はアメリカで付け足されたものらしいですね。

死者の霊が戻ってくるとか、悪魔や魔女の仮装が多いとか、怖さに関する要素も少なからず含まれている行事のようで、このハロウィーン・サウンドボードでは、ハロウィーンの「おどろおどろしいBGM」を簡単に作ることができます。

嵐や墓場など4つの情景音を選び、そこにもの悲しい音楽を奏でる楽器たちを追加します。音楽は、調子を狂わせたり、音を飛ばしたりすることもできます。

さらに、金切り声や笑い声、チェーンソーやたいまつの音、猛獣やカラスの鳴き声など20種類の効果音を即興で慣らしていくと、自分だけのハロウィーン音楽が完成。

ブラウザだけで動くので、怖いBGMや効果音が必要になった時(どんな状況だ)にパッと呼んで鳴らす、といった活用法もあるかもしれないですね。

作成者はニューヨークのサウンドデザイナーマット・マコークルさん(Matt McCorkle)

via Laughing Squid

ハフィントン・ポスト創業者が、Samsungのスマホ向けライフスタイル・アプリThriveを提供

個人メディアからウェブ上の一大メディアとなったハフィントン・ポスト(ハフポスト)を作ったアリアナ・ハフィントン氏、昨年ハフポストの編集長を辞めてからはThrive Global という別の小さな会社で活動していたようなのですが、Samsung と提携して新しいスマートフォンアプリを作っているのだそう。

このアプリ The Thrive 、「スマートフォンから自分を切り離し、休憩して自分自身に戻る」(Take a break from your phone.
Reconnect with yourself.)というキャッチがついています。

ハフポスト編集長を退任してから、何度か睡眠に関するニュースで出てきていたので、

健康とかワークライフバランスとか、Thriveglobal 社はそっちの方向のビジネスなんだな、とは思っていました。

アプリは12月15日にSamsung社のスマートフォンで使えるようになるそうで、まだ機能が予告されてるだけなのですが、その機能はこんな感じ。

  • VIPリストに指定した相手以外からの通知・着信・メッセージを制限するThriveモード
  • 制限した相手には、あなたが今スマホを離れた時間を過ごしていることを自動応答で通知
  • どのアプリをどれだけ使っているかを教えてくれる

単に電源を切るとかではなく、特にホワイトリストに入れた相手なら受け付ける、といったあたりが一味違うところでしょうか。(そういうアプリが過去に無かったわけでもないでしょうが)

thriveってなんだ?

社名にも入っていて、アプリ名でもある”thrive” という単語、あまり見ないし自分で使うこともなかったのですが、辞書を引くと「育つ、繁栄する、目標に向かって進む」といった意味だそうです。

ハフィントン氏のインタビューなどからは、”thrive” は “survive” と対比して使われているようですね。

“survive” が「(ただ単に)生きる」ということなら、”thrive”は「目的を持って生きる」とか、「成功するために生きる」、みたいな意味合いになるんでしょうか。”not just survive, but thrive”で、「ただ生きるんじゃなくて、成功を目指せ」とかそんな。

この新アプリを紹介するThe Verge のタイトルで使われている “humblebrag” も知らなかった面白い言葉で、humble(謙虚に)+brag(自慢する)でなんとなくわかる通り、「謙遜しつつ自慢する」という意味のようです。

このアプリの自動応答が「いやあ、今ちょっと自分の貴重な時間を過ごしてるとこなんだわー」みたいに受け取られるとすれば、たしかに humblebrag かもしれません。

とはいえ、あのハフポストを作り上げた立志伝中の人が次にやることですから、もしかしたらこれも大きな成功を収めたりするのかもしれません。

via The Verge

akky's work blog