「tmtk」の記事一覧

Amazon Rekognition Videoを使ってみた(AWS CLI/SDK版もあるよ!)

 こんにちは。データサイエンスチーム tmtk です。  この記事では、先日のAWS re:Invent 2017で発表された、Amazon Rekognition Videoの使い方をご紹介します。  この記事は、#DataScience by NHN Techorus DATAHOTEL Tech Blog Advent Calendar 2017 9日目の記事です。 Amazon Rekognition Vid…
 
続きを読む

ディープラーニング入門:Kerasで簡単画像認識

 こんにちは。データサイエンスチーム tmtkです。  この記事では、ディープラーニングを使ってみる手順を紹介します。  この記事は、DataScience Advent Calendar 6日目の記事です。 この記事でやること  この記事では、次の写真に何が写っているのかディープラーニングで判定し、 と出力させてみる手順を紹介します。 環境構築  まず、Ubuntu 16.04をインストールしたコンピュータを用意し…
 
続きを読む

Firefox Quantumリリース! VimFxの後継について調べてみた

Firefox Quantum

 こんにちは。データサイエンスチーム tmtkです。  Firefoxに大型アップデートがあり、Firefox Quantum version 57がリリースされました。高速化が実現され、2倍速くなったともいわれる反面、多くのアドオンがサポートされなくなりました。VimFxもFirefox v.57からサポートされなくなったアドオンの一つです。  この記事では、Firefox v.57でも動作する、VimFxに代わる…
 
続きを読む

Amazon EC2のP3インスタンスを試してみた

こんにちは、データサイエンスチーム tmtkです。 この記事では、Amazon EC2に新しく登場した、P3インスタンスを試してみます。また、既存インスタンスのP2, G3との比較を行います。 導入 昨今話題のディープラーニングの学習には高性能GPUが欠かせません。ところが、ディープラーニングに適した高性能GPUを搭載しているサーバは非常に高価で、気軽に導入できるものではありません。しかし、AWSのようなクラウドコン…
 
続きを読む

スペクトラルクラスタリング入門

こんにちは、データサイエンスチーム tmtkです。 この記事では、スペクトラルクラスタリング(Spectral Clustering)について説明します。スペクトラルクラスタリングについて、具体的には、 スペクトラルクラスタリングとは 行列の固有値分解によるグラフの連結成分分解の説明 スペクトラルクラスタリングのアルゴリズムと計算例 関連する話題 を説明します。 スペクトラルクラスタリングとは スペクトラルクラスタリ…
 
続きを読む

最小二乗法と最尤法

こんにちは、データサイエンスチーム tmtkです。 この記事では、回帰分析において誤差項が正規分布に従うと仮定すれば、最小二乗法が最尤法だとみなせることを説明します。 最小二乗法とは 以前の記事で説明したとおり、最小二乗法とは、回帰問題において残差の二乗和を最小化するパラメータを選択する手法です。 線形回帰について復習すると、線形回帰とは、 個のデータが与えられている。 変数の関係がで近似できると仮定する。 の残差 …
 
続きを読む

最小二乗法と平均

こんにちは。データサイエンスチーム tmtkです。 この記事では、最小二乗法と平均の関係について説明します。最小二乗法は標準的には回帰分析で用いられますが、実は平均も最小二乗法で捉えることができます。 また、最小二乗法と平均の間と同じ関係が、“最小一乗法”と中央値の間にもあることを説明します。 最小二乗法と回帰 最小二乗法とは、回帰分析のパラメータとして、残差の二乗和を最小にするパラメータを選択する手法です。 線形回…
 
続きを読む

Apache Beamのオーバーヘッドについて調べてみた

こんにちは。データサイエンスチームのtmtkです。 この記事では、Apache Beamを紹介します。また、Apache Beamを使うことによるオーバーヘッドを簡単に観察してみます。 Apache Beamとは [公式サイト]によると、「Apache Beamとはバッチデータ並列処理パイプラインとストリーミングデータ並列処理パイプラインのどちらも定義するための、オープンソースの統合モデルである」だそうです。具体的に…
 
続きを読む