前回までで、 サイトをクロールして 子育て情報を収集し、 タグを自動生成して データベースに保存する ところまで終わりました。 次は このクローラーをherokuというサービスを利用して 定期的に実行させようと思い、 herokuの使い方について調べていました…

前回の続きになります。 前回の記事投稿後、 @dkfjさんよりご指導頂きました。ありがとうございます。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディ…

今回は、 クローラーで収集したデータにタグ情報を追加していきます。 で、前々から使ってみたいと思っていた Mecabという形態素解析器を使いたいと思います。 形態素解析というのは、 簡単に言うと文章を品詞単位に分解してくれるものです。 詳しく言うと・…

今回はYamlファイルを使って クローラーの検索キーワードを読み込めるようにします。 多分、ヤムルと呼びます。 Yamlについては http://magazine.rubyist.net/?0009-YAML#l2 に詳しく書かれています。 今回の目標 Yamlを理解する Yamlファイルを読み込む 1. …

前回、クローラーで収集したデータを データベースへ保存する所まで実装しました。 しかしながら、前回のプログラムだと クローラーを実行する度に同じデータをデータベースに保存してしまいます。 そこで、今回は同じデータを保存しないように 重複チェック…

今回はクローラーが収集したデータを データベースに保存していきたいと思います。 データベースにはPostgreSQLを使っていきます。 PostgreSQLを使う理由は、 Herokuというサービスと連携するのに都合が良さそうだからです。 Herokuについては実際に使う時に…

今回はクローラーを作るのは一旦やめて、 ソースコードの見直しを行います。 今回の目標 構造を見直す 1. 構造を見直す 今までのファイル構成は、 こんな感じでした。 これでも問題なく動いているのですが、 いくつか気になる点が。 * movie-site.rbやcook-s…

今回はヤフー知恵袋のクローラーを作っていきます。 子育ての悩みって尽きないですよね。 そんな時にヤフー知恵袋を見ると同じ悩みを持った人って結構います。 なので、そういった情報を収集する事で 少しでも悩みを解決しようという目的です。 今回の目標 …

今回は、 子育てと言えば、赤ちゃん！ 赤ちゃんと言えば、離乳食！ ということで、 クックパッド（cook pad）のサイトから 料理の情報を取ってくるクローラーを作っていきます。 今回の目標 cookpadから料理情報を取得する 1. cookpadから料理情報を取得する…

前回からかなり時間が経ってしまいました。 言い訳すると、 仕事が忙しかったり、 子育てでいっぱいいっぱいだったり、 お盆休みだったからです。 すみません… 今回は、Youtubeから子育て動画を取得してみたいと思います。 今回の目標 簡単に全体を設計する …

今回は、実際にアプリを作るために必要な前準備をしていきます。 今回の目標 gemを管理する環境を作る 1. gemを管理する環境を作る (1) まず初めに、bundlerをインストールします。 $ gem install bundler (2) 次に、前回クローンしてきたリポジトリのフォル…

まずは、子育てアプリのプロジェクト(リポジトリ)を作成していきます。 完全に、１人プロジェクトですが、 資産管理目的で、GitHubを使っていきたいと思います。 今回の目標 GitHubでリポジトリを作成する ローカルにクローンする 1. GitHubでリポジトリを作…

前回、書籍「Rubyによるクローラー開発技法」(以下クロ本)を一気読みしました。 で、今回から クローラー技術を使ったオリジナルアプリを作っていこうと思います その名も 子育て情報アプリ です。 簡単に言うと、 子育てに関係する情報(食事、遊び、病気、…