2017年12月の記事一覧

Pythonで、時系列データをクラスタリングしてみよう

こんにちは。データサイエンスチームのHan-Cheolです。 この記事は、DataScience Advent Calendarの12日目の記事です。 1. はじめに 実世界のデータの多くは時間と共に変化する情報、つまり時系列データです。私たちの周辺に目を向けてみると、ウェブサイトに訪れるユーザーの行動データや消費電力データなど、身近なところでもすぐ見つけることが可能です。 今回は、「クラスタリング」手法を利用して「…
 
続きを読む

AWS S3 + Athena + QuickSightで始めるデータ分析入門

こんにちは。データサイエンスチームのhongsです。 この記事は、DataScience Advent Calendarの11日目の記事です。 この記事では、AWS S3のデータをAthenaとQuickSightを活用して分析する方法について紹介したいと思います。 AWS上のシステム構成及びデータの流れは下記の図のようになります。   今回、紹介するAthenaはS3のデータに対して標準SQLで分析が出来…
 
続きを読む

「21世紀の相関係数」を超える

この記事は#DataScience by DATAHOTEL Tech blog Advent Calendar 2017の10日目の記事です. はじめに 我々のチームでは,データを分析するために色々な機械学習の手法を使っています. この記事では教師無し機械学習と呼ばれるデータマイニング手法を取り上げます.すなわち,教師データ(ラベル付きデータ)が無くても,データから何かのパターンや特徴を読み取る手法で,クラスタリン…
 
続きを読む

Amazon Rekognition Videoを使ってみた(AWS CLI/SDK版もあるよ!)

 こんにちは。データサイエンスチーム tmtk です。  この記事では、先日のAWS re:Invent 2017で発表された、Amazon Rekognition Videoの使い方をご紹介します。  この記事は、#DataScience by NHN Techorus DATAHOTEL Tech Blog Advent Calendar 2017 9日目の記事です。 Amazon Rekognition Vid…
 
続きを読む

Rで実践!欠損データ分析入門【1】

こんにちは。データサイエンスチームの t2sy です。 この記事は DataScience by DATAHOTEL tech blog Advent Calendar 2017 の8日目の記事です。 2回に渡り、欠損データの可視化・検定・代入に関するCRANパッケージをご紹介します。 今回、ご紹介するCRANパッケージは以下になります。 VIM BaylorEdPsych imputeMissings mice 実…
 
続きを読む

口コミデータを活用したレコメンドシステムの可能性

はじめに アマゾンや楽天をはじめとするネット通販は現代人の生活にとって欠かせない存在になってきました。このようなe-コマースサービスでは、顧客満足度の向上と売上の増加という2つの目標を達成するために「 レコメンドシステム」を活用することが一般的です。 レコメンドシステムはその手法によって下記の2種類に分類することが可能です。 購買パターンが類似する顧客の情報を利用する「協調フィルタリング」 商品の情報を利用する「コン…
 
続きを読む

ディープラーニング入門:Kerasで簡単画像認識

 こんにちは。データサイエンスチーム tmtkです。  この記事では、ディープラーニングを使ってみる手順を紹介します。  この記事は、DataScience Advent Calendar 6日目の記事です。 この記事でやること  この記事では、次の写真に何が写っているのかディープラーニングで判定し、 と出力させてみる手順を紹介します。 環境構築  まず、Ubuntu 16.04をインストールしたコンピュータを用意し…
 
続きを読む

Rを使って対戦ゲームLoLで、イロレーティング(Elo rating)を測定してみた

こんにちは。データサイエンスチームのjwsです。 この記事は、DataScience Advent Calendarの5日目の記事です。   League of Legends(以下LoL)というPCゲームを聞いたことありますか? 私は、最近はプレイしなくなったものの 重要な「e-sportsの試合」は日程をチェックして視聴しています。 特に、今年はWorld Championshipが中国で開催されて時差…
 
続きを読む

ビッグデータの人気イベントCloudera World Tokyo 2017に行ってきた

はじめまして、NHNテコラス データサイエンスチームのtocci3です。 音楽(クラシック、チェロ、HR/HM)と健康関連(筋トレ、糖質制限)と開発全般と機械学習・ビッグデータ界隈に興味があります。 先日行ってきた、ビッグデータの人気イベント Cloudera World Tokyo 2017 についての参加レポートです。 内容が多いため、基本的に参加したセッションの箇条書きのメモと、その他スライドとなります。 雰囲…
 
続きを読む

統計でデータを活用!Japan Rに参加して

こんにちは。データサイエンスチーム 山川です。 この記事は、DataScience Advent Calendar の3日目の記事です。 Japan.R2017に参加してしてきました。 Japan.Rは毎年11月~12月頃開催されているR言語の勉強会です。普段R勉強会は日本各地で開催されていますが、この日ばかりは日本中からRユーザーが集まります。2010年から開催されていて、今年は8回目、初回は40人規模だったJap…
 
続きを読む