인덱싱 클래스 ATIndexer

인덱싱 데이터는 트위터에서 수집한 status 데이터를 별도 저장한 텍스트 파일을 사용하였으며, 

한건의 트윗글에 대해  status_id(글번호), text(내용), user_id(사용자번호), user_name(사용자이름)  

데이터만 사용하였다. 

루씬이 제공하는  필드에 따라 인덱싱하는 방법을 표현하기 각 데이터에 대해 다음과 같은 필드생성 옵션을 주었다. 

status_id : Field.UnStored 를 사용. 분석과 검색을 수행하지만, 저장되지 않기 때문에 검색결과에서 보여줄 수는 없음 

text : Field.Text 를 사용. 분석과 검색, 저장을 허용하여, 검색결과로 원문을 보여줄 수 있다. 
user_id : Field.UnIndexed 를 사용. 검색어로 사용할 수 없지만, 다른 필드의 검색결과에서 같이 보여질 수 있다. 

user_name : Field.Keyword 를 사용. 분석을 하지 않지만, 검색과 저장을 한다. 검색시 이 필드는 분석되면 않되기 

때문에 직접 텀쿼리를 만들어 IndexSearcher의 search 메소드에 전달해야한다. 

인데싱에 사용한 파일(crawled_text.data)의 포맷  

...

status_id:2147483648
text:@NicoleLapin so many buttons
user_id:12
user_name:Jack Dorsey

status_id:2147483648
text:In alaska for the longest day of the year with Delphine and eWee. Seaplanes. Sunshine.
user_id:14
user_name:noah glass

...

소스 :  ATIndexer.java

      lucene-1.4.3.jar

       log4j-1.2.8.jar

package net.game.lucene.study;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

import org.apache.log4j.BasicConfigurator;
import org.apache.log4j.Logger;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.Term;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.RangeQuery;
import org.apache.lucene.search.TermQuery;

// IndexSearcher
// Term
// Query
// TermQuery, RangeQuery, PrefixQuery, BooleanQuery, PharaseQuery, WildcardQuery, FuzzyQuery 
// Hits

public class ATSearcher {
        
        private String indexDir;
        private IndexSearcher indexSearcher;
        private Analyzer analyzer;
        
        private Logger log = Logger.getLogger(ATSearcher.class);
        
        public ATSearcher(String indexDir, Analyzer analyzer) throws IOException {
                BasicConfigurator.configure();
                
                this.indexDir = indexDir;
                this.analyzer = analyzer;
                this.indexSearcher = new IndexSearcher(this.indexDir);
        }
        
        public Hits search(String field, String searchWord) throws Exception {
                Hits hits;
                // user_name필드는 직접 텀쿼리를 생성하여 전달해야 올바른 검색결과를 얻을 수 있음 
                if (field.equals("user_name")) {
                        hits = this.indexSearcher.search(new TermQuery(new Term(field, searchWord)));
                } else {
                        Query query = QueryParser.parse(searchWord, field, this.analyzer);
                        hits = this.indexSearcher.search(query);
                }
                
                return hits;
        }
        
        public static void main(String[] args) throws Exception {
                BasicConfigurator.configure();
                
                ATSearcher searcher = new ATSearcher("/Users/hiddenviewer/index_lucene", new StandardAnalyzer());
                
                String line;
                BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
                
                System.out.println("<검색필드:검색어> 입력! (종료: quit)");
                
                while ((line = br.readLine()) !=  null) {
                        if (line.startsWith("quit")) {
                                System.out.println("ATIndexer Test 프로그램 종료!");
                                break;
                        } 
                        int delimIndex = line.indexOf(":");
                        if (delimIndex == -1) {
                                System.out.println("<검색필드:검색어> 포맷으로 입력해주세요");
                                continue;
                        }
                        
                        Hits hits = searcher.search(line.substring(0, delimIndex), line.substring(delimIndex+1));
                        
                        System.out.println("------------------------------------------");
                        System.out.format("검색결과 개수: %d \n", hits.length());
                        System.out.println("------------------------------------------");
                        
                        for (int i = 0; i < hits.length(); i++) {
                                Document d = hits.doc(i);
                                System.out.format("%20s: %s \n", "status_id", d.get("status_id"));
                                System.out.format("%20s: %s \n", "text", d.get("text"));
                                System.out.format("%20s: %s \n", "user_id", d.get("user_id"));
                                System.out.format("%20s: %s \n", "user_name", d.get("user_name"));
                        }
                }
                
        }
}

검색 클래스 ATSearcher

ATIndexer 가 인덱싱한 색인파일에서 검색을 하기 위해서 필드명:검색어 형태로 입력을 받는다. 필드명에 해당하는 필드에서

검색어가 포함된 도큐먼트를 찾아 검색결과를 출력해준다. 이때 중요한 것은 인덱싱 과정에서 Field.UnIndexed 로 지정한 user_id 필드는

검색어를 통해 검색할 수 없으며, 다른 필드를 통한 검색결과에만 포함되어 나온다. 또 Field.UnStored로 지정한 status_id 는 글번호로 검색은
가능하지만, 원문을 저장하고 있지 않기 때문에 결과에는 원문이 출력되지 않는다. Field.Keyword 로 지정한 user_name은 인덱싱과정에서

분석이 되지 않기 때문에, 검색과정에서도 분석기에 의해서 분석되면 안된다. 검색필드가 user_name 인 경우에는 텀쿼리를 직접생성하여

IndexSearcher의 search 메소드에 전달해줘야 올바른 결과를 얻을 수 있다.

소스 : ATSearcher.java

package net.game.lucene.study;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

import org.apache.log4j.BasicConfigurator;
import org.apache.log4j.Logger;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.Term;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.RangeQuery;
import org.apache.lucene.search.TermQuery;

// IndexSearcher
// Term
// Query
// TermQuery, RangeQuery, PrefixQuery, BooleanQuery, PharaseQuery, WildcardQuery, FuzzyQuery 
// Hits

public class ATSearcher {
        
        private String indexDir;
        private IndexSearcher indexSearcher;
        private Analyzer analyzer;
        
        private Logger log = Logger.getLogger(ATSearcher.class);
        
        public ATSearcher(String indexDir, Analyzer analyzer) throws IOException {
                BasicConfigurator.configure();
                
                this.indexDir = indexDir;
                this.analyzer = analyzer;
                this.indexSearcher = new IndexSearcher(this.indexDir);
        }
        
        public Hits search(String field, String searchWord) throws Exception {
                Hits hits;
                // user_name필드는 직접 텀쿼리를 생성하여 전달해야 올바른 검색결과를 얻을 수 있음 
                if (field.equals("user_name")) {
                        hits = this.indexSearcher.search(new TermQuery(new Term(field, searchWord)));
                } else {
                        Query query = QueryParser.parse(searchWord, field, this.analyzer);
                        hits = this.indexSearcher.search(query);
                }
                
                return hits;
        }
        
        public static void main(String[] args) throws Exception {
                BasicConfigurator.configure();
                
                ATSearcher searcher = new ATSearcher("/Users/hiddenviewer/index_lucene", new StandardAnalyzer());
                
                String line;
                BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
                
                System.out.println("<검색필드:검색어> 입력! (종료: quit)");
                
                while ((line = br.readLine()) !=  null) {
                        if (line.startsWith("quit")) {
                                System.out.println("ATIndexer Test 프로그램 종료!");
                                break;
                        } 
                        int delimIndex = line.indexOf(":");
                        if (delimIndex == -1) {
                                System.out.println("<검색필드:검색어> 포맷으로 입력해주세요");
                                continue;
                        }
                        
                        Hits hits = searcher.search(line.substring(0, delimIndex), line.substring(delimIndex+1));
                        
                        System.out.println("------------------------------------------");
                        System.out.format("검색결과 개수: %d \n", hits.length());
                        System.out.println("------------------------------------------");
                        
                        for (int i = 0; i < hits.length(); i++) {
                                Document d = hits.doc(i);
                                System.out.format("%20s: %s \n", "status_id", d.get("status_id"));
                                System.out.format("%20s: %s \n", "text", d.get("text"));
                                System.out.format("%20s: %s \n", "user_id", d.get("user_id"));
                                System.out.format("%20s: %s \n", "user_name", d.get("user_name"));
                        }
                }
                
        }
}

ATSearcher 실행결과

결과를 보면 Field.UnStored로 지정된 필드 status_id는 원문이 출력되지 않는 걸 알수 잇다.

 Apache OpenSource Project인 Lucene 을 구성하는 색인과 검색과 관련된 주요 클래스를 알아보자. 

색인 주요 클래스

색인과정 중에 사용되는 주요 클래스는 다음과 같다. 

색인은 양질의 검색결과를 얻을 수 있도록 하는 근본이 되는 과정이다.  도큐먼트는 색인과 검색과정에서 정보의 저장과 검색의 단위가 되기 때문에, 어떠한 데이터들을 하나의 도큐먼트로 구성할지가 중요한 요소가 된다. 

도규먼트를 구성하는 필드들은 다음과 같은 값들 일 수 있다. 

검색 주요 클래스 

검색과정 중에 사용되는 주요 클래스는 다음과 같다. 

1. 로봇 배제파일과 로봇 프로토콜이란?

로봇 프로토콜은  표준은 아니지만  구글 크롤러만 인식할 수 있는 Allow 항목을 지원한다. 

사용하지 않는 것이 좋다. 

  3. 로봇 메타태그

(no)index는 크롤러에게 페이지 인덱싱을 허용할 지 말지를 결정한다.   noindex 또는 index 값을 갖을 수 있다. 

(no)follow는 크롤러에게 페이지 상에 존재하는 링크를 따라가서 수집하게 할지 말지를 결정한다.  nofollow 또는 follow 값을 갖는다.

4. 몇가지 잘 알려진 로봇 식별자들

핵심클래스 확장(Core Class)

Java에서는 SDK와 같은 Language Runtime의 핵심클래스에 메서드를 추가할 수 없기 때문에 확장메서드들을

다른 클래스의 정적메서드로 모아두는 방식을 선택함 (공백문자열인지 검사하는 StringUtils의  isBlank 메소드)

루비의 클래스들은 개방되어 있어서, 언제든지 수정 가능함

class String
    def blank?
        empty? || strip.empty?
    end
end

루비의  nil은 자바의  null 에 해당하지만, 객체이며, 메소드 호출 및 추가가 가능

class NilClass 
    def blank?
        true
    end
end

불변객체의 장점

스레드 안정성 - 객체를 변경할 수 없기 때문에 스레드 충돌이 없음

캡슐화 용이

효율적인 해시키 생성 - 해시코드가 변경되지 않기 때문

가변(Mutable) 객체와 불변(Immutable) 객체

자바는 가변과 불변 2가지 버전의 클래스들이 존재하며, final 키워드를 사용해 불변성을 지원함

루비는 클래스가 아닌 인스턴스 수준에서 가변성이 이루어지는데, freeze 메서드를 호출하면 불변이됨

자바의 불변클래스에 변경메소드 호출은 변경된 새로운 객체를 리턴함

루비문자열은 자동 불변속성은 아니지만, 변경메소드에 대해 새로운 객체를 리턴함

루비 메소드기호 관례

Boolean 값을 반환하는 메소드는 ?로 끝남

객체의 값을 바꾸는 메소드는 !로 끝남

대입문에 사용되는 메소드는 =로 끝남

패키지와 네임스페이스

자바는  package 키워드를 사용해 네임스페이스를 생성

루비는 module을 사용하여 네임스페이스 생성. 참조하는 모듈다음에 범위연산자 :: 사용

module Relevance
    class User
        def initialize(name)
            @name = name
        end
        attr_accessor : name
    end
end

module Codecite
    class User
        def initialize(name)
            @name = name;  
            attr_accessor : name
        end
    end
end

u1 = Relevance::User.new("Justin")
u2 = Codecite::User.new("Stu")

include Relevance
u3 = User.new("Jared")
puts "u3 is a #{u3.class}"

코드배포

• 로드패스(Load Path)

자바는 클래스패스 및 클래스 풀네임을 통해 클래스 단위로 로딩함

루비는 :$ 라는 이름을 가진 로드패스를 가지고 있으며,  소스파일 단위로 코드를 로딩함 

(한 소스에 여러개의 클래스가 있을 수 있고, 아에 클래스 정의가 없을 수도 있기 때문 )

require 'super_widget'
w = new SuperWidget('phlange")

• 루비젬(RubyGems)

루비젬은 소스파일의 덩어리를 가리키는 말로, 자바에서의 jar 라고 생각할 수 있다. 

 gem 커맨드를 사용하여, 젬으로 그룹핑하고, 문서파일 생성, 웹을 통해 다운받고, 버전을 관리할 수 있다

require 'rubygems'// 젬을 로딩하기 위한 사전정의어 정도...   
require_gem 'pdf-writer'

애플리케이션을 특정 버전의 레일스에 바인딩하는 것을 동결(freezing)이라고 함!

레일스는 동결 지정/해제를 위한 freeze란 레이크 태스크를 포함하고 있음

위임

레일스에서 확장한 delegate라는 메소드를 사용하여 위임을 쉽게 사용할 수 있다.

require 'rails'

class Manager
    attr_accessor : programmer, :tester
    delegate :code, :debug, :to=> :programmer
    delegate :write_test_plans, :run_tests, :to=>:tester
end

다형성과 인터페이스

루비에는 컴파일 타임이 없기 때문에, 자바의 다형성과는 다르게 작동함

루비의 타입 안전성은 인터페이스 차원이 아닌 메서드 차원에서 보장됨. 런타임에 실제 구현되지 않은 메소드를
호출하면  NoMethodError 예외를 던짐

자바에서는 컴파일 타임에 객체가 특정 인터페이스 타입이 아니면 에러를 발생시켜 주지만, 루비는 실행시에 실제로 

해당 메소드가 구현되외 있는지 확인하고 예외를 발생시켜준다는 의미이다.

루비 메타프로그래밍

• 리플렉션

루비의 Object클래스도 자바처럼 객체의 상태와 내용을 볼수 있는 기능을 제공함

리플렉션 메서드로 Object#respond_to?, Object#instance_of?,  Object#instance_variables, Object#kind_of  가 있음

• 메시지 전달

Object클래스의 send메서드를 통해 동적으로 객체의 메소드를 호출 할 수 있으며, 매개변수로 블록전달도 가능

실행할 메서드의 이름을 동적으로 조합해서 지정할 수 있기 때문에 다양한 형태의 메소드 호출, 전달이 가능

• 없는 메서드 처리(method missing)

존재하지 않는 메서들을 처리해주는 Object#method_missing 메서드를 재정의해서 사용할 수 있음

오리 타이핑(Duck Typing)

객체의 타입이 클래스(Object#class)가 아닌, 실제 그일을 수행하는 메서드를 가지고 있는지를 기준으로 판단

(오리처럼 걷고, 오리처럼 말하면, 인터프리터 입장에서 오리로 취급해줄게~)

• 오리타이핑의 장점

단위테스트 스텁객체 작성이 용이 - 필요한 메서드만 구현해주면 됨

반복적으로 사용하는 코드에 대해 인위적인 경계를 허물어뜨림 - 유연성?

객체 간의 관계 리팩터링이 쉬움

• 오리타이핑의 단점

자동화 도구들이 변수와 메서드 추측을 어렵게 만들어, 좋은 품질의 코드완성과 리팩터링 제공이 힘듬

믹스인

한번 작성한 코드를 믹스인으로  몇 개의 클래스나 모듈과 혼합할 수 있는 방식

위임을 믹스인으로 쉽게 구현할 수 있음

module Employer
    def employees
        @employees ||= []
    end
    def add_employee(employee)
        ...
    end

    def remove_employee(employee)
        ...
    end
end

class BusinessPerson < Person
    include Employer, Employee
end

특정 객체의 인스턴스를 생성하고 extend를 사용하여 특정 인스턴스에만 적용되게 할수도 있다

p = Persion.new("Stu", "Halloway")
p.extend Employer

함수(Functions)

 함수형 언어에서의 함수를 의미한다.  c, c++, 자바같은 절자지향 또는 객체지향 언어들은  명령형 프로그래밍의

개념들을 따르고 있다.  이들 프로그래밍에서 함수는 객체의 상태를 변경시키는 작업을 한다.

함수형 언어에서의 함수는 특정 입력값에 대해 항상 동일한 결과값을 반환하는 동작만을 한다.

 

루비에는 이런 함수와 유사한 블럭(block)이 존재한다. 자바에서도  인터페이스와 익명클래스를 사용하여  블럭 또는
클로저를 구현할 수 있다. 

자바

public interface Comparator {
    int compare(Object o, Object o1);
}

Collectons.sort(al, new Comparator() {
    public int compare(Object o, Object o1) {
        return ((String)o).length() - ((String)o1).length();
    }
});

루비

sorted = readlines.sort { |x, y| x.length - y.length }
puts "sorted:\n #{sorted.join}

블록은 특정 작업에 대한 래퍼(Wrapper)를 구현할 때 유용함 

def expect_exception(type)
    begin
        yield// 전달받은 블록을 호출함, 없으면 무시    
        rescue type=>e      // 해당하는 타입의 예외이면 정상종료        
        return
    end
    raise "Excpected exception: #{type}"// 다른타입의 예외이면 예외를 발생시킴
end

expect_exception(ZeroDivisionError) {10/0}

&를 사용하여, 명시적으로 블록을 인자로 전달 받을 수 있다.  block_given?를 호출해서 블록전달 유무도 알수 있다.

def expect_exception(type, &blk)
    begin
        blk.call if block_given?    // 전달받은 블록을 호출함, 없으면 무시    
        rescue type=>e      // 해당하는 타입의 예외이면 정상종료        
        return
    end
    raise "Excpected exception: #{type}"// 다른타입의 예외이면 예외를 발생시킴
end

expect_exception(ZeroDivisionError) {10/0}

Roo를 설치하는 방법을 알아봅시다.   Roo는 자바프레임웍이기 때문에 당연히  JDK를 설치되 있어야 합니다. 

Maven을 빌드툴로 사용하기 때문에 Maven이 설치되 있어야 되며,  Spring 프레임웍은 Roo에 포함되어 있습니다.   

1. 시스템 요구사항 

2. 다운로드 사이트에서 루 애플리케이션 다운받기 

3. Roo쉘이 설치된 경로를 ROO_HOME 환경변수로 설정합니다.

4. Roo 쉘명령 링크를 생성합니다. 

4. Roo 셀 명령을 사용하여 제대로 설치됐는지 확인합니다. 

1. 아키텍처 개요

1)  JMS큐에서 메시지를 수신받고, JMS 또는 SMTP로 응답을 전송하는 경우

2) 서비스 레이어를 작성하거나 (Spring의 @Service 스테레오 타입 어노테이션 사용),  리모팅 프로토콜을 사용하여                                 서비스 레이어를 rich client에 공개 (스프링의 remoting services) 하는 경우

3) 스프링의 새로운 @Scheduled 또는 @Aync 어노테이션을 사용하여 데이터베이스에 일련에 사전 정의된 액션을                                   실행하는 경우 

4) 최소한의 시간투자로 최신의 스프링,  AspectJ의 특징을 사용하려는 경우 

2. Roo 와 기존 애플리케이션과의 차이점

3. 핵심기술

3.1 AspectJ

 ITD 가 어떻게 동작하는지 알아보자. 아래와 같이 새로운 프로젝트를 만들고 엔티티를 추가하자.

Hello.java  파일 외에도, 일련의 Hello_Roo_*.aj 파일들이 생성되었다.  *_Roo_*.aj 형태를 갖는 파일들이 Aspect ITD 

파일들이며, Roo에 의해 관리된다. 이 파일들을 직접 편집해서는 안된다. 

Hello.java 파일은 다음과 같은 단순한 형태를 갖는다.

몇몇 어노테이션들이 추가되었는데, 이런 Roo 어노테이션들은 소스 수준에서 유지되며, .class 파일로 컴파일되지 않는다.

Roo 어노테이션들은 항상 @Roo*로 시작하며, 코드 어시스트 기능을 사용할 수 있다.  

IDT파일들 중의 Hello_ROO_ToString.aj 을 보자 

ITD는 자바코드와 매우 유사하다. 큰 차이점은 priviledged aspect 로 선언되어있으며, 각 멤버들은 특정한 타겟타입을 

식별한다.  Hello.toString은  Hello 타입에 toString 메서드를 추가하라는 의미이다. 

javap 명령을 사용해 생성된 클래스 파일을 확인한 결과이다.

Roo가 AspectJ ITP를 통해 java 파일에 위 그림과 같은 멤버들을 추가하였다. toString 메소드 뿐만아니라, 

스프링의 ConfigurableObject 인터페이스를 구현하고 있으며,  JPA EntityManager에 대한 접근자, 몇몇 퍼시스턴스 메소드, 

getter, setter 들이 추가 되었다.  이런 유용한 특징들이 round-trip 방식으로  자동적으로 관리된다. 

java 파일에  toString 메소드를 정의하거나, 프로그래머가 직접 toString 메소드를 정의하면, 더 높은 우선순위를 갖게되어

자동으로 Hello_Roo_ToString.aj 파일이 삭제된다. 

또한 루 애플리케이션은 AspectJ의 뛰어난 AOP 특징을 사용하여, 싱글턴 객체를 사용하여 의존성을 주입하고, 

메소드 호출의 일부로 트랜잭션 서비스가 사용된다. 

3.2 Spring

3.3 Entity Layer

Roo 프로젝트에서 entity와 field는 문제 domain을 표현하는 첫번째 진입점이 된다.  entity는 데이터베이스에 저장되는 

특별한 형태의 domain object로,  일반적으로 하나의 entity는 하나의 table을  field 는 하나의 column을 표현하지만, 루쉘을

통해 쉽게 커스터마이징 할 수 있어서, 해당하는 어노테이션을 알 필요도 없다. 

@RooToString, @RooJavaBean 어노테이션을 사용할 수 있는데, 이러한 방법은 저장될 필요가 없는(엔티티가 아닌)

많은 도메인 객체를 가지고 있을 때 특히 유용하다 

3.4 Web Layer

Roo 1.0.0은 선택적으로 자동생성된 웹 컨트롤러 레이어를 사용할 수 있도록 제공한다. 이 레이어는 요청이 REST 관례를 

따르도록 보장하는 많은 URL rewriting 규칙을 포함하고 있다.  또한 Apache Tiles, Spring JavaScript 외에도 단일 명령으로 

쉽게 Spring Security를 설정할 수 있게 해준다.  이 컨트롤러들은 항상 요청을 @RooEntitiy 클래스에서 제공하는 메소드로 

직접적으로 위임하는데, 호환성을 위해서  @RooEntity 구현에 의해 제공되는 디폴트 식별자와 버전 관례를 준수하는게 좋다. 

대부분의 Roo 애플리케이션들은 비지니스 로직을 엔티티와 웹 컨트롤러 사이에 놓으며, 가끔은 서비스레이어에 놓기도 한다. 

3.5 Goodbye DAOs

그렇다면  Roo를 사용하는 이유는? 

스프링 사이트를 방문했다가, 스프링 루 프로젝트를 보게 되었다. 스프링 루가 무엇일까? 궁금하여 프로젝트 사이트에서

제공하는 메뉴얼을 읽어보았는데, 일부 내용을 번역하여 적어보았다.  

Spring Roo

루에 대한 잘못된 생각들을 알아보면....

• 루는 런타임이 아니다