`
hsmyy198712
  • 浏览: 14806 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Nutch中纠结我的classpath

阅读更多
最近在改写nutch的过程中遇到了多个classpath方面的问题,一时间暴露了我java基本功的缺乏,同时也暴露出了依赖eclipse所造成的恶果。下面将我遇到的问题总结出来,如果大家遇到了也可以尽快脱困。

(1)在nutch中本来存在的类,在eclipse运行时报错说找不到。

这个可能性还是比较大的。我当时的解决方法正如那篇在eclipse上编译nutch的文章,把工程项目设置成用ant编译,同时对每次编译运行“jar”工作。

(2)扩展nutch,编写了自己的类,但是在eclipse运行中报错说找不到类。

我遇到了的问题,也是很纠结。后来发现采用(1)中的解决方案,会将结果的nutch-1.0.jar生成在build的目录下,而在根目录上还有一个nutch-1.0.jar,系统在从它找不到响应类的情况下,可能会声称自己找不到类。

我当时的方法就是将它删除,然后将classpath设置为build目录下的那个jar。

(3)扩展了的类,打好包,放到Nutch的执行工程中,在shell下运行报错说找不到类。

这个问题经过分析,发现是因为nutch貌似没有将nutch-1.0.jar包含在内,我当时的简单解决方法就是把nutch-1.0.jar放在lib文件夹里面,这样在运行nutch.shell的时候,就会将Lib下的所有jar包作为classpath可搜寻的路径。

这样一来它又可以工作了。

(4)在原本类中进行修改,打好包,放到utch的执行工程中,在shell下运行发现修改没有效果。

在nutch的根目录下,有一个叫做Nutch-1.0.job,注意这个家伙。它其实是一个包含配置文件的jar包,简单的方法就是把它拿出工程中,这样就又可以运行了。

(5)在原本类中进行修改,在eclipse中运行发现修改没有效果。

这个原因比较纠结。在传统的编译过程中(class编译),eclipse会为我们建立一个bin目录,并把src的源文件生成的class文件按同样的结构放入bin中。然而在采用jar之前,我用传统的编译方法,导致系统中存在了这样的文件。而它不出现在工程视图中,我们无法直观地搜索到他。因此,可以从文件系统中将它删除,这样便能恢复正常了。


总结:

使用eclipse为我们管理工程是一件好事,但是如果不能理解其中错综复杂的classpath关系,可能会让我们栽大跟头。所以要多多学习实践这方面的知识,这些问题不易查找,不易在网上搜寻答案,编程多年的牛人有的也不一定能把这个搞清楚,所以这个也算是程序员的一个软实力!
分享到:
评论

相关推荐

    nutch中文分词

    nutch应用,nutch中文分词,nutch中文乱码

    Nutch中文分词插件的编写与配置

    Nutch中文分词插件的编写与配置,由于Internet的迅猛发展,使得用户查找信息犹如大海捞针,而搜索引擎则能帮用户很好的解决这个问题。 Nutch是用java语言开发的,基于Lucene的完整的网络搜索引擎,并采用插件机制进行...

    Nutch中文教程nutcher.zip

    nutcher 是 Apache Nutch 的中文教程,在github上托管。nutch社区目前缺少教程和文档,而且教程对应版本号较为落后。nutcher致力于为nutch提供一个较新的中文教程和文档,供开发者学习。 github地址: ...

    基于Nutch中文分词的研究与实现

    作为舆情监测系统的一部分,本文的目标是基于Nutch,同时,结合目前最常用中文分词技术,根据不同的中文分词方法,实验并得出不同分词方法在性能以及使用环境上的优缺点,以此为舆情监测系统选择合适的中文分词方法...

    nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据

    nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据nutch 爬虫数据

    nutch 初学文档教材

    Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 目 录 1. nutch简介...1 1.1什么是nutch..1 1.2研究nutch的原因...1 1.3 nutch的目标..1 1.4 nutch VS lucene.....2 2....

    基于Java的搜索引擎Nutch中文搜索技术研究

    摘要:Nutch是一个优秀的基于Java的开放源码搜索引擎,为了使它能够支持中文搜索,本文在分析了Nutch结构的基础上,采用词表分词技术和前向匹配分词算法对中文信息进行分词,以JavaCC脚本实现上下文相关文法中文分析...

    Nutch相关框架视频教程

    资源名称:Nutch相关框架视频教程资源目录:【】Nutch相关框架视频教程1_杨尚川【】Nutch相关框架视频教程2_杨尚川【】Nutch相关框架视频教程3_杨尚川【】Nutch相关框架视频教程4_杨尚川【】Nutch相关框架视频教程5_...

    eclipse配置nutch,eclipse配置nutch

    eclipse配置nutch,eclipse配置nutch

    基于Nutch的中文搜索引擎的构建

    对自己写搜索引擎的人来说很有帮助,大家一起学习,多多交流,为了赚点分,不好意思要了两分

    nutch的源码解读和nutch入门

    学习nutch 源码解读 轻松入门 搭建自己的nutch搜索引擎

    Apache Nutch v1.15

    在Nutch的进化过程中,产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速,极其火爆,尤其是Hadoop,其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析...

    如何通过java程序获得Nutch中网页的详细信息

    如何通过java程序获得Nutch中网页的详细信息

    Eclipse中编译Nutch-1.0

    Eclipse 中编译 Nutch-1.0 运行源代码

    nutch使用&Nutch;入门教程

    nutch使用&Nutch;入门教程 pdf

    Linux下Nutch分布式配置和使用

    Linux下Nutch分布式配置 使用:分布式爬虫、索引、Nutch搜索本地数据、Nutch搜索HDFS数据。

    Nutch搜索引擎·Nutch浅入分析(第5期)

    1.1 Nutch 基本原理 1.1.1 Nutch 基本组成 1.1.2 Nutch 工作流程 1.2 Nutch 流程详解 1.2.1 Nutch 数据流程 1.2.2 Nutch 流程分析

    Nutch入门教程.pdf

    Nutch入门教程,对搜索引擎有兴趣的同学,可以好好学习下,

    Nutch搜索引擎·Nutch简单应用(第3期)

    Nutch搜索引擎·Nutch简单应用(第3期) 1.1 Nutch 命令详解 1.2 Nutch 简单应用

    开发基于 Nutch 的集群式搜索引擎

    在该示例中,首先带领读者开发一个作为 Nutch 爬虫抓取的目标网站,目标网站将被部署在域名为 myNutch.com 的服务器上。然后示例说明 Nutch 爬虫如何抓取目标网站内容,产生片断和索引,并将结果存放在集群的2个节点...

Global site tag (gtag.js) - Google Analytics