データの境界

なんちゃって理系がデータ分析業界に入ってからの汗と涙の記録。

全てが可視化される"インターネット的"な世界

自分が今のように熱狂的にインターネットを好きになり触り始めたのが19歳ぐらいのころ。それから今まで、10年も経っていないことに驚くのだが、そんな自分たちの会話の中で「インターネット的」という言葉を割と使う。 使っている自分でさえ、その言葉の詳細…

音声コミュニケーションもそろそろインターネットの世界に取り込まれて進化するのかもしれない

先日、メールスパムについての話を書いたのですが、今日は電話のスパムと言える「セールス電話」について。 thewave.teamblog.jp 人工知能(ブログでは"人工無能"と紹介されているw)を使って、サービス電話に対してテキトーな相槌を無限に自動でしてくれる…

データが集まるところに分析環境が生まれる? - GoogleCloudPlatformが作ったJupyterライクな分析環境の話など

週に一回行っている社内勉強会で、今日のネタはGoogle Big Queryでした。 私は一度も使ったのことが無いのですが、一般的なポスグレなどのSQLと違ってデータの取り出し方などが違うそうでいろいろ勉強になりました。 一番ビビったのは、クエリー回す度に、取…

データ分析まわりの理解を再整理

457はてブって何事だと思ってみたら勉強になった 機械学習によるデータ分析まわりのお話 from Ryota Kamoshida www.slideshare.net 多分初心者向けではなくて、チョット勉強を初めて、勉強していく中で「その単語聞いたことある」けど意味を知らない/よくわ…

データサイエンス(人口知能)は本当に人間に"冷たい"のか?

TEDでのデータサイエンスネタということで公開を楽しみにしていた動画。 データサイエンスの取り組み例として教育と医療の分野を引き合いに出しつつ、人工知能的なものが更に進化し人間の仕事を一部奪ったとしても、人間には「コミュニケーション力」と「創…

スパムメールとメールフィルタリングの戦いの歴史

会社の人がシェアしてた記事。 2011年の記事で古いのだけど、スパムメールとそのフィルタリングについて概念をわかりやすく書いている データ分析やるひとにはアンチべさんのブログは必読ですね。 antibayesian.hateblo.jp 自分はメインのメールサービスとし…

IoTで猫背も直す

IoT

同社によれば、このトレーニングを続けていくと1週間たたないうちに改善がみられ、トレーニング期間が終わる頃には正しい姿勢が習慣化するという。 なんということでしょう!!! www.itmedia.co.jp ワタクシも超が付くほどの猫背で、肩こりなどひどいのです…

生命科学実験を自動化する

自分の研究領域だった業界の話だったので反応してしまう “要するに生物学者という人種は毎日々々、小さなガラス瓶から別のガラス瓶へ少量の液体を移すことが仕事さ" そういうこともあるけど、当事者たちにボコボコにされるよ? jp.techcrunch.com 生命科学研…

神戸市のおしゃれHP

osaka.thepage.jp 実際にアクセスしてみたが、どうなんでしょう。。。 神戸市:トップページ 「検索窓の利用率が高かったので」という理由で新デザインになったそうだが、「検索することを前提としたデザイン」にされるとキーボードに必然的にタイプすること…

パンがないならケーキを食べればいいし、ドローン撃墜機がなければ鷹を使えばいいじゃん!

やめたげてよ... jp.techcrunch.com 動画見る限り鷹が捕まえてるのは DJIのphantom3っぽいけど、これって飛行中の実物見たことある人は知ってるけど、デカイし回転してるプロペラはもう凶器だよね。 「ドローンが墜落して人にあたったらどうするんだ!」とい…

データ分析で子育てに笑顔を!

またまたNHKの番組のお話ですが。 www.huffingtonpost.jp NHKスペシャル「ママたちが非常事態!?〜最新科学で迫るニッポンの子育て〜」、楽しみにしていたのに見逃してしまった。オンデマンドで見なければです。 日本の子育て。。。根の深い問題です。NHKは…

Pythonの機械学習ライブラリ"scikit-learn"のお勉強

仕事でpythonの機械学習ライブラリ scikit-learnを使いたいのでその勉強をしていた土日でした scikit-learn: machine learning in Python — scikit-learn 0.17 documentation pythonも初心者レベルを抜け出せないし、機械学習のアルゴリズムはもっと謎なので…

珍しく数学?物理学?の番組を見てみた

会社にはいろいろなアカデミックな背景を持った人が多いのですが、一番多いのは物理屋さんの人たちなのですね。で、そんな方々が話して番組を見てみました。 www.nhk-ondemand.jp 世界の物理学者が「この世の全て」を説明する究極の数式(=神の数式)を追い…

配色センスをwebサービスで底上げする

データの可視化のためにプロットなどを書く時、たまにデフォルトの色ではなくていい感じの色の選択を自分で行わないといけない場面がある。 そういった時に「配色センスがー」となる人に以下がオススメ。会社の人に教えてもらいました。 ・Color Palette Ide…

技術進歩の見積もりなんてまるで根拠が無いことを思い知らされた日

昨日こんな記事を書いたのですが、、、 kskbyt.hatenablog.jp 昨日の今日で、囲碁AIが世界で初めて人間のプロに勝ったという記事が出ました。しかも噂になっていたFacebookではなく、GoogleのAIが。 www3.nhk.or.jp 「囲碁でコンピューターが人と同じくらい…

Facebookが囲碁のAIを開発中

どーも。囲碁は「ヒカルの碁」で覚えた世代です。 というわけで今日のネタはこちら。 business.nikkeibp.co.jp 「将棋は左脳、囲碁は右脳」といわれるのを聞いたことがある。将棋も囲碁も「おじいちゃんが嗜んでる」というイメージでごっちゃにしていたが、…

人工知能(ロボット)に最後の方まで奪われない仕事は何か?

なんだかこんな感じの記事をよく見るのでそのネタを一つ。 ideasity.biz blog.btrax.com 実は最近、人生で初めて入院することがありました。隔離が必要な病気だったので一週間部屋から一歩も出られず、会話を交わすのは基本的には看護師さんと医師です。医師…

「ビッグデータ」で「ほぼ100%予想」と言われると普通は懐疑的になるよね

京都大学がなんだか凄いタイトルのプレスリリースを出してた 京都大学 ニュースリリース しかし現在は上記ページで記事が閲覧できなので以下に転載された内容のページを貼っておく。 japan.zdnet.com 京都大学の江谷典子医学研究科特定研究員は22日、薬剤や…

島根でも外国人観光者は増えているのか? - Seabornで宿泊客数をイイ感じにざっくり可視化する

「データ可視化」に思うこと どんなに興味がないデータについてであっても「図がかっこいい」だけで「ちょっと見てみようかな」と思えます。 「見た目より中身でしょ」と言われるが、個人的には同じくらい重要だと思うので可視化スキルは大切にしたい。いや…

Amazonの無制限フォトストレージ"Prime Photo"

Amazonがプライム会員向けにまた新しいサービスを開始した模様。今更感があるが、無料の写真サーバー。いや、でも既存のサービスと比較してもやっぱり「RAW画質をアップし放題」というインパクトはカメラ好きにはかなりデカイ。ちなみに、画像以外のファイル…

機械学習でモノクロ動画をカラー動画に自動変換

Webでバズってる記事ですね。どうでもいんですが、「畳み込み」って響きがなんだか好きだなっていつも思います naotokui.net 自分もNHKの「戦時下の白黒フィルムをカラーにする」という番組を見てかなり衝撃的だったのを覚えています。一つには、かなり鮮や…

日本はセキュリティーへのリテラシーがかなり低い

IoT

ネットパトロール中に拾った2chの記事 blog.livedoor.jp 世界中に存在するwebカメラのうち、パスワードがデフォルト設定のままWebにストリーム情報を流しているものをクロールしてきているらしい。 このサイトで見れるカメラの台数は United States(7751) Ja…

温泉の効果を科学的に解明する

本日もヘルスケアネタ なんと、大学の研究室の先輩に当たる方の研究結果です。 「温泉は体に良い」といわれていたことを科学的に証明していくというお話。 「この温泉はアトピーに効く」なんていうのもありますが、もしかすると温泉に住んでいる微細な菌が、…

PythonでOpenCVと遊ぶ

会社の勉強会で以下の発表を行いました。 PythonでOpenCVと遊ぶ(ファイルはhtmlファイルです。クリックするとブラウザーで開きます) うちの会社では有志でPythonの勉強会をしています。"Pythonの何か"というざっくりしたテーマで、一週間に1人30分の発表で…

ダイエットとデータ

今日はヘルスケアネタ FincっていうIT×ヘルスケアな会社の紹介記事っぽい。 Fincは遺伝子解析やIBM Watsonなど、いろいろ先端ぽい取り組みをしている会社様 headlines.yahoo.co.jp メイン事業はダイエット管理らしく、栄養士の資格を持った人がLine的なアプ…

大河ドラマでコンテンツ分析

コンテンツ分析の凄さと大変さ Netflixが行っているようなコンテンツ分析に興味があります。 Netflixはすべての映画に、真似できないほどの詳細なタグ情報をすべての映画に対して均一に付与することで、「なぜその映画が良く見られたか/見られなかったか」を…

見てない人に贈る今年の紅白の出来事まとめ

大学1年からテレビがない生活を続け今年で約10年になりました。。。 最近はTVメディアに関心があるので今年は見ましたよ、紅白歌合戦! 個人的なメモとしてもまとめてみました。 結論としては、個人的にはすごく面白かった。 EXILEっていつからあんなに増え…

社内でよく勉強会が開かれているデータ分析本

人に聞かれたからついでにこちらにも書きます データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回…

新人データサイエンティストの教育

仕事始まって5ヶ月経ったのでそろそろブログちゃんと書こうと思うのだ 9月になった。 4月に新社会人のデータ分析官として仕事を始め、5ヶ月が経ったになる。 といっても4月からの3ヶ月間は研修に使われ、7月になってから部署に本配属されたので、本配属され…