区块链技术博客
www.b2bchain.cn

快速解析来自http://bit.ly链接的方法 – java程序员分享

D0b2wT.gif

本文介绍了快速解析来自http://bit.ly链接的方法 – java程序员分享,有助于帮助完成毕业设计以及求职,是一篇很好的资料。

对技术面试,学习经验等有一些体会,在此分享。

给定来自流的一系列URL,其中可能有数百万个bit.ly,google或tinyurl缩短了链接,那么解析这些URL以获得最终URL的最可扩展的方法是什么?

一个多线程爬虫在每个短链接上执行HEAD请求,同时缓存已经解决的请求?是否已经有提供此服务的服务?

还要考虑到不会被url缩短服务阻止。
假设规模是每天缩短2000万个网址。

java大神给出的解决方案

Google provides an API。 bit.ly也是如此(并且bit.ly要求被通知频繁使用,并指定它们的轻度使用含义)。我不知道有一个适用于tinyurl的API(用于解码),但是可能有一个。

然后,您必须每秒获取230个URL的数量,才能跟上所需的速率。我将测量每种服务的典型延迟,并根据需要创建一个主角色和多个工作角色,以便这些角色可以阻止查找。 (我将为此使用Akka,而不是默认的Scala actor,并确保每个worker actor都有自己的线程!)

您还应该在本地缓存答案;查找已知答案要比向这些服务索要答案要快得多。 (演员应该照顾好这一点。)

此后,如果由于例如站点限制而仍不能跟上步伐,则最好与站点进行对话,否则您将不得不做一些相当可疑的事情(租用一堆便宜的服务器不同的网站并向他们提供请求)。

bulit-in gradle插件的版本号是多少? – java

在我的gradle构建文件中,我有以下插件块plugins { `java-library` jacoco checkstyle } 这些都没有指定版本,但是一切正常。假定一个项目正在使用gradle 6.0和gradle包装器,但是系统已安装gradle 5.0。问题:如果我运行gradle wrapper ./gradlew build,将会执行grad…

“公共静态最终长USER_ACCOUNT = 32L”是什么意思?后缀L在long变量中意味着什么? – java

我在这里找到了代码片段public static final long USER_ACCOUNT = 32L; 32L在这里是什么意思?这是否意味着仅具有数字值long的32变量还是意味着long将需要32位值?如果我不提供后面的L数字32结尾怎么办? java大神给出的解决方案 在Java中编写长文字时,需要使用“ L”后缀。 (您可以使用小写的“ l”,…

DataSourceTransactionManager和JndiObjectFactoryBean和JdbcTemplate的用途是什么? – java

以下的用途是什么:org.springframework.jdbc.core.JdbcTemplate org.springframework.jdbc.datasource.DataSourceTransactionManager org.springframework.jndi.JndiObjectFactoryBean <tx:annotatio…

Java API中是否有等效于.Net框架的Random.Next(Int32,Int32)? – random

我正在将现有的VB.Net应用程序移植到Java,找不到与Random.Next(Int32,Int32)等效的文件。我在Java API中只能找到java.util.Random.next(int val)。Java API中是否有等效于.Net框架的Random.Next(Int32,Int32)? random大神给出的解决方案 正如Marc所说,只需…

无法获取Jedis连接,无法从池中获取资源 – java

我正在创建一个Web应用程序,并使用Redis进行数据存储。我已经使用JedisPoolConfig(redis client-jedis版本2.9.0)。因此,当我在具有以下配置的Apache Jmeter的帮助下测试我的应用程序时:Number of threads(Users): 30 Ramp-Up period(in seconds) : 0 Lo…

部分转自互联网,侵权删除联系

赞(0) 打赏
部分文章转自网络,侵权联系删除b2bchain区块链学习技术社区 » 快速解析来自http://bit.ly链接的方法 – java程序员分享
分享到: 更多 (0)
D0b2wT.gif

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

b2b链

联系我们联系我们