今回はYamlファイルを使って クローラーの検索キーワードを読み込めるようにします。 多分、ヤムルと呼びます。 Yamlについては http://magazine.rubyist.net/?0009-YAML#l2 に詳しく書かれています。 今回の目標 Yamlを理解する Yamlファイルを読み込む 1. …

前回、クローラーで収集したデータを データベースへ保存する所まで実装しました。 しかしながら、前回のプログラムだと クローラーを実行する度に同じデータをデータベースに保存してしまいます。 そこで、今回は同じデータを保存しないように 重複チェック…

今回はクローラーが収集したデータを データベースに保存していきたいと思います。 データベースにはPostgreSQLを使っていきます。 PostgreSQLを使う理由は、 Herokuというサービスと連携するのに都合が良さそうだからです。 Herokuについては実際に使う時に…

今回はクローラーを作るのは一旦やめて、 ソースコードの見直しを行います。 今回の目標 構造を見直す 1. 構造を見直す 今までのファイル構成は、 こんな感じでした。 これでも問題なく動いているのですが、 いくつか気になる点が。 * movie-site.rbやcook-s…