关于博客的总结

本年度博客数量有所降低，原因是下半年从主要开发 A 切换到主要开发 B 。而 B 的核心是人工智能，由于领域过于窄，不方便分享一些通用的心得；另一方面写博客的时间变少，有几篇总结性的博客想放到新的一年吧。以下是有一点价值的博文：

关于 Drupal

1. What is new in Drupal 7
2. Drupal Views PHP Code Validator
3. [Drupal] 错误执行MYSQL命令之后如何挽救
4. Add a custom tab menu in profile edit page in Drupal 7
5. Why Drupal is not popular in China

Drupal 仍然是快速原型，甚至是生产系统的首选。当然现在更多的人推崇 Rails 或者 Django， NodeJS ，个人也在 2011 对这 3 中技术堆栈进行了认真比较，发现 Drupal 仍然是不二选择。当然 Drupal 只能用在 WEB 的 UI 界面和业务逻辑部分，对性能要求高的地方或者通讯层可以考虑用 NodeJS 或者 Erlang 。假如能自己定主要开发框架，我倒是愿意尝试 Django ，它看起来还是比较完善的。

关于前端开发

1. JSON JSON-RPC 和 JSONP
2. JSONP Library In Plain JavaScript With Timeout
3. Backbone JS框架指南
4. CoffeeScript – 未来可以取代 JavaScript 的语言
5. Javascript 设计模式入门

前端部分这年尝试了基于 Backbone 开发，发现它也是个学习曲线比较高的东西，但是一旦熟悉还是很通用的。CoffeeScript 建议不要用，无论如何还是离不开 JS 。2011 前端部分研究比较多，发现 WEB 开发最靠谱的还是纯文本+超链接的方式，将计算分散到客户端是比较不靠谱的想法，尝试各种花哨的前端技术也是不靠谱的，毕竟用户体验才是王道。

关于 WEB 架构

1. 谈一谈 Scalability 和可扩展的架构设计模式
2. WEB Development Rookie – NodeJS
3. Enter Django Development
4. 细数跨语言通信的选择

NodeJS 可能是 2011 最热门的话题，目前已经在项目 B 用到了生产环境。

其他

1. What tools and software used for development
2. XML 文件处理利器 VTD-XML
3. Encrypt your files or content on cloud services
4. 如何停止Windows服务器上僵死进程

2011的个人计划完成

1. 深入IOS , Android开发 未完成
2. 关注产品的网络营销 完成
3. 项目1,2,3的开发和营销的0突破 未完成
4. Improve Algorithm and Linux C DELETED
5. 继续关注 Marketing, Social information, BI 完成
6. 换一个拥有大数据量的环境? DELETED

Oh, shit!  好像 2011 并没有按计划进行，但是仍然很充实，有很多收获。

2012个人目标

1. 进入 IOS , Android 开发
2. 继续关注市场和营销趋势
3. 项目方向改进和营销
4. 构建基于人工智能的解析器
5. 写更多质量比较好的总结博客
6. 尝试新的模式

I have developed based on Drupal stack for more than 4 years. In my opinion:

• The learning curve of Drupal is higher than other stacks, since It’s flexibility. 
• Server environment in China is very poor. Drupal can works well at least installed in VPS.
• The requirement is very simple in China, you can just install something like DZ forum or DEDE cms to accomplish the goal. Since the feature requirement is not comes from business requirement, they just want a simple web page to display there company profile etc.
• Lots of teams want to build there own framework. (I disagree with this idea, it is wasting resource and time.)
• The traffic of the website in China almost 100x larger than EU or US, but the value of the traffic is very low. So you need do more performance optimization for the Drupal site in China.
• Most developers in China works on a Windows PC. So no drush, varnish, memcache, cron, etc.
• Lots of developers installed Drupal and thought that Drupal is a blog :)

Introduction:

Django is the modern base stack for web development. Compared with Ruby on Rails, I think I like Django better:

• Build-in ready to use admin interface
• Written in Python, with better performance
• Simpler and reasonable project struct
• Smaller base stack, but you can add what you want (ajax, south, REST, oauth …)

Essential tools for Django development:

virtualenv

We use this to manage the library for the project. You can have different environments (different python modules, different python versions) for every projects.

Create new clean environment foobar

virtualenv –no-site-packages foobar

Active the environment foobar

source foobar/bin/activate

Then install library in the environment foobar

pip …

At the end leave the environment foobar

deactivate

pip or easy_install

To install python libraries.

Django south

Database migration tool. Alertanative tool for syncdb

Create migration for your app

./manage.py schemamigration myapp –initial

Apply the migration

./manage.py migrate myapp

Then change the model myapp, and make a new migratation

./manage.py schemamigration myapp –auto

And apply it

./manage.py migrate myapp django-annoying

Useful decorators:

rederto ajaxrequest JSONField getobjectorNone

django-compressor

Compresses linked and inline javascript or CSS into a single cached file. And support coffeescript and less css framework.

django-pagination

pagination tools

django-piston

A mini-framework for Django for creating RESTful APIs.

django-celery

Celery integration for Django.

Celery is a task queue/job queue based on distributed message passing.

django-mongodb

MongoDB backend

django-admin-tools

Custom user interface, customizable dashboard

django-socialauth

oauth for social sites, login with twitter account, facebook account or gmail account

django-storages

Amazon S3, MogileFS file storage

django-grappelli

A jazzy skin for the Django Admin-Interface

django-profiles

A simple application which provides basic features for working with custom user profiles in Django projects.

django-registration

User registration and login

simplejson

JSON encoding and decoding

django-imagekit

Image process, support S3.

Beautiful Soup

Web Scrapping tool

django-workflows

django-workflows provides a generic workflow engine for Django.

The Django development environment steps:

How to install the virtualenv & django:

sudo apt-get install python-virtualenv

virtualenv –no-site-packages env_nm

source env_nm/bin/activate

pip install django

… ( install other modules )

deactivate

Export the libraries of the environment to a configuration file

pip freeze > requirements.txt

Install the environment in a clean environment

pip install -r requirements.txt

The missing part of Django settings.py

import os

ROOT_PATH = os.path.dirname(file)

MEDIAROOT = os.path.join(ROOTPATH, ‘static’)

TEMPLATE_DIRS = (

os.path.join(ROOT_PATH, ‘templates’)

)

Django Signals – You should pay attentation to this

This is the ECA (Aka: Event Condition Action) part of Django. 

ECA is the essentail part of modern web appliactions.

Other useful modules:

SQLAlchemy – use this when the django ORM is not enough.

Haystack – Modular search for Django.

Django-mptt – Preorder tree management

所以遇到了如何出租自己的房子的问题

我具备的条件是一台可以上网的电脑，一部手机。希望用这简单而有限的资源完成将自己房子出租的目标。

目标是：

1. 将自己的房子出租

2. 尽量少的时间消耗

3. 尽量少的资源消耗，包括体力，精力

这是个如何发布信息和获取信息的问题或者典型的 Marketing 问题

想到的发布方法基本有以下几类：

1. 到活跃的社区相关论坛，小组发布信息

2. 到专业租房信息网发布信息

3. 微博发布信息

4. 找中介发布信息

5. 向认识的朋友发布信息

除此之外，逆向思维，假如我需要租房会这么办？

6. 在活跃的社区相关论坛寻找需要租房的信息

7. 到专业的租房信息网寻找需要租房的信息

8. 微博寻找需要租房的信息

9. 找中介获取信息

10. 向认识的朋友获取信息

然后逐个尝试以上的方法

在开始之前，首先排除了 5 和 9 。

为什么首先排除房屋中介呢？

不得不承认找房屋中介可以很快的将房子租出去。假如你不想耗费很多时间和精力，单纯从出租房的角度，找房屋中介应该是个不错的选择，虽然这种方法也有很多问题。

房屋中介是个看似合理的行业。和很多商业一样，帮助客户解决一些问题，拿到一定的报酬。一般都是收取一月的房租作为中介费，在美国租房也类似。

中介的商业模式是利用的信息的不对称。这在信息不发达的年代应该是非常合理的。但是在信息如此发达的今天，几乎所有需要租房的人和需要出租房的人都会想到上网发布信息。仍然存在那么多房屋中介就不那么合理了。

但他就是存在了，原因就是中介的商业模式从利用信息的不对称向制造信息不对称进行了转变。这造成了很大的资源浪费。好吧，扯远了，社会问题不是我们该关心的。

假如真的通过中介出租房屋会有哪些问题呢，或者会带来哪些损失？

1. 大量的干扰信息，很多需要租房的人来看房，而不是租

原因在于，中介会尽力想办法促成交易拿到中介费。一方面，向需要租房的人掩藏一些必要和关键的信息，比如租金，房屋的缺点等等。另一方面，向出租房的人掩藏部分信息。比如需要租房人可以承受的租金，租期等等。这样做可以稳定出租房的人和需要租房的人两方面的客户。

2. 大量的骚扰电话

在网络化的今天，其实中介和我们自己获取信息的方式没有任何差别。基本也就是前边所列的几种方式。( 登门采集信息？他们和你一样不会那么做。中介也需要降低成本。)

但为什么中介仍然可以通过所有人都可以拿到的信息来赚钱呢？就是靠不停的浏览所有相关的信息渠道，和电话联系租房和需要租房的双方。以非常低廉的打电话的成本，来大规模的联系客户。

即使通过打电话的转化率只有 0.1% ：

直接成本： 1000 *0.1 CNY + ( 2min * 1000 ) / 60 / 8  = 100 CNY + 4 Day

收入：1000  - 5000 CNY ( 一月房租 )

当然中介实际操作中，还会有其他的很多方式，来制造信息的不对称：到信息网站的发大量的虚假信息来获取客户； 联系信息网站，付费屏蔽真实信息等等。

减去其他成本和中介竞争造成的成本上升，房屋中介这种轻资产的商业模式仍然有非常高的利润率。

3. 时间和精力的浪费

实施 2 到专业租房信息网发布信息

登记了房屋的信息，为了避免中介联系，专门注明：1. 中介勿扰 2. 只可以短信联系。这样做希望能屏蔽我不希望的到的干扰信息。

在半天内获取的结果，截止到写这篇博客为止

真实租房人  - 1

中介电话 – 48 ( 看了中介根本不在意你的需求和想法，唯一目的就是赚钱，这个干扰没法屏蔽 )

中介短信 – 5 ( 部分中介还是比较认真看说明的 )

中介假冒租房人的短信 – 1 ( 无语了，短信强调自己不是中介，但是手机号码从Google一下就能找，以中介身份发布过信息)

实施 1 到活跃的社区发布信息

半天的结果

真实租房人 – 2 ( Social 社区的好处就是很容易将中介区分出来 )

实施 3 到微博客发布信息

1天结果

真实租房人 0

看了微博的受众还是太少了，只有600多粉丝可以在有限的一点时间内看到那条出租房的信息

实施 5 向认识的朋友发布信息

半天的结果

真实租房人 0

朋友中遇到要租房的概率还是非常小，简单而言仍然是受众太少。

6, 7,  8,  9,  10 很难找到需要的信息

商业上结论

纯粹利益驱动而没有监管的市场只能走向恶化。房屋中介就是个典型的例子。

有效的获取客户的方法仍然是利用成熟的信息平台。

在所有平台上发布广告或者信息寻找客户的同时一定会遇到损失，来自竞争对手和干扰。

出租房的结论

中介看起来虽好但难以让人相信。

以后遇到发布公众信息的时候，一定要买一张临时的手机卡。减少之后的骚扰。

租房的结论

假如不想通过中介，可以定期及时关注那些信息发布平台。

在网上查询发布人的手机号。

其他

房屋中介更换手机号的成本还是比较高的。固定电话自然不用说。手机号的更换意味着之前很多客户的损失。

另外，来着固定电话的 100% 都是中介。看来固定电话在个人使用上几乎已经淘汰了。

The design process can see at http://www.d7ux.org/

Drupal 7 UX design principles:

1. Make the most frequent tasks easy and less frequent tasks achievable.

2. Design for the 80%

3. Privilege the Content Creator

4. Make the default settings smart

Learned from D7 AI:

Less clicks is not nessarlly better.

Few options show = more decision made.

Order by frequency use

Dashboard module provide the simple way to organizing administrative tasks and tracking information within your site.

Database layer

New database API

1. New in D7 is the placeholder and placeholder array

$node = db_query(“SELECT * FROM {node} WHERE nid = :nid“, array(‘:nid’ => $nid))->fetchObject();

$title = db_query(“SELECT title FROM {node} WHERE nid = :nid“, array(‘:nid’ => $nid))->fetchField();

2. New result set loop functions

$result = db_query(“SELECT nid, title FROM {node}”);

foreach ($result as $record) {
$record = $result->fetch();            // Use the default fetch mode.
//$record = $result->fetchObject();  // Fetch as a stdClass object.
//$record = $result->fetchAssoc();   // Fetch as an associative array.
}

see more: http://drupal.org/node/310072

3. Dynamic queries

This is the big change in D7, see from http://drupal.org/node/310075

Support for master/slave replication

$result = db_query(“SELECT nid, title FROM {node}”, array(), array(
‘target’ => ‘slave’,
‘fetch’ => PDO::FETCH_ASSOC,
));

Support for Transactions

A function simply calls “$txn = db_transaction();” as its first (or nearly first) operation to make itself transactional.

Nosql (Mongodb) support

D7 has a mongodb module provide the mongodb API.

Other

Default to InnoDB engine

Semantic Web support

Support RDF

More

More secure password system, MD5 is no longer used.

More can see from http://drupal.org/about/new-in-drupal-7

I have done the A/B testing of nodeJS vs Erlang mochiweb, Erlang misultin, Nginx static page on my poor VM machine, and got the following result:

Nodejs helloworld:                     724 qps

Erlang mochiweb helloworld:     430 qps

Erlang misultin helloworld:         690 qps

Nginx static page:                    1045 qps

You can see that nodeJS is bloody fast thanks to the good performance of V8 JavaScript engine.

Talk about server side javascript, you should say Rhino, but nodejs is 20x faster than Rhino. NodeJS is stable, and not seen a bug of the code, like Nginx. You can build asynchronous system based on nodeJS and drop Tornado. What is important is that you can reuse your code both on client side and server side.

NodeJS is good at heavy IO usage, but not heavy CPU usage. And you should not change your current web system to nodeJS since it is too young.You can build your JSON interface by NodeJS, construct JSON from data fetched from database or remote web service, output the JSON format result.

Nodejs library:

npm — A node package manager that uses CommonJS-compatible package.json files, written in asynchronous JavaScript.

Express — A robust feature rich web development framework inspired by Sinatra

nodemachine — A port of WebMachine to Node.js

Connect — A  middleware framework for node

Socket.io — WebSocket-compatible server and client with fallback for legacy browsers

node-mysql — A node.js module implementing the MySQL protocol

redis2json — Easily loads data from Redis into structured JS object

See more:

https://github.com/joyent/node/wiki/modules

扩展性很容易理解，比如开发团队的扩展性：一个程序员扩展为 7 人团队，7 人团队扩展为 20 人团队。比如公司业务的扩展性，从几十万的交易额扩展多几百万几千万的交易额。大家都很推崇互联网商业项目的主要原因即是它有很强的扩展性，同样的业务可以从几万的营业额扩展到几亿的营业额，目标客户可以从一个城市扩展到全国或者全世界，这是传统商业无法快速实现的。

WEB 系统的扩展包括：

纵向扩展

硬件方面可以更换更强劲的服务器，增加 CPU ，内存， 使用高速磁盘。

软件方面可以对现有代码的优化，重构。使用 Non-Blocking 非阻塞 IO 模式，或者异步 IO 模式，使用线程模式或者改用 事件驱动形模式。

目标是提高单机 qps ，连接数，来支持更多的连接，更多的用户，更多的业务量。

横向扩展

使用集群，更多的服务器代替单一服务器。

可扩展系统设计模式

负载均衡

这种模式将请求分发到并行的处理机上。要求程序 无状态 ，请求对于每个处理机都应该是相同的。比如常见的 REST 模式既是 无状态 模式。

分散聚集模式

这种模式将请求分发到多个处理机上，然后收集每个处理机返回的结果，得到整合的结果。比如Map-reduce也可以看做这种模式。

结果缓存

这种模式，首先查看请求是不是发生过，如果发生过则直接返回之前的结果，来节约处理时间。这种模式非常常见比如静态页面的 反向代理 ，各层级的 CACHE。

共享空间

所有的处理机监控共享空间中的未处理信息，处理完后将结果提交到共享空间，直到整个任务完成。

MAP REDUCE

这种模式通常用来解决 IO 密集型的业务，通过并行化的分布式系统来解决 IO 瓶颈。

队列模式

每个处理机从待处理队列提取任务进行处理然后将结果保存到已处理队列，多个处理机可以并行处理队列任务。

可扩展系统设计的要点

1. 快速失效并返回错误

2. 将复杂的大的请求分解成多个小请求

3. 利用 超时

4. 利用 缓存

5. 用队列来做缓冲

6. 精确测量每个步骤，记录详细日志

用 JSON 作为文本通信格式有很多好处：

JSON 就是 Javascript 中的一个对象，很容易把一个 JS 对象转换成 JSON 格式的数据

在JS 中进行对象和 JSON 的转换：

var myJSONText = JSON.stringify(myObject, replacer);
var myObject = eval('(' + myJSONtext + ')');

在 jQuery中进行对象和 JSON 的转换：

var obj = jQuery.parseJSON('{"name":"John"}');
alert( obj.name === "John" );

用 JSON-RPC 替代 XML-RPC 通常会把数据减小到 30% 左右

JSON-RPC 请求的例子

Client: { "method": "echo", "params": ["blog.eood.cn", "Hello JSON-RPC"], "id": 1}
Server: { "result": "Hello JSON-RPC", "error": null, "id": 1}

nodeJS 中对 JSON-RPC 做了支持

见 https://github.com/ericflo/node-jsonrpc

在 nodeJS 中创建 JSON-RPC 的服务端

var rpc = require('jsonrpc');
function add(first, second) {
    return first + second;
}
rpc.expose('add', add);
rpc.listen(8000, 'localhost');

在 nodeJS 中创建 JSON-RPC 的客户端

var rpc = require('jsonrpc');
var sys = require('sys');
var client = rpc.getClient(8000, 'localhost');
client.call('add', [1, 2], function(result) {
sys.puts('1 + 2 = ' + result);
});

PHP 中也有支持 JSON-RPC 的类库

见 http://www.jsonrpcphp.org/?page=example&lang=en

关于 JSONP

JSONP 是跨域 AJAX 通信的方式

jQuery 做 JSONP 请求和普通 AJAX 请求几乎一致

$.ajax({
    url: "http://blog.eood.cn/jsonp.json",
    dataType: 'jsonp',
    success: function(results){
       ...
    }
});

Pricing

Utilization-based pricing.

No charge for up to 1GB of ingres+egress, 25 machine hours, and 1GB storage.

Performance

Average put rate: 70 singleton puts/domain/sec

Netflix staff has forklift 1 billion rows into SimpleDB with a average rate: 10-11K items/sec.

Limits

And not support for joins, full text search.

Query examples:

select itemName() from log where itemName() like “77-11232%”

select * from log where itemName() like “%:1169:%” order by itemName() asc

SELECT * FROM songs WHERE Year BETWEEN ’1980′ AND ’2000′

SELECT * FROM songs WHERE itemName() IS NOT NULL ORDER BY itemName() DESC

SELECT count(*) FROM songs WHERE Year < ’2000′

Firefox SimpleDB management extension:

SDB Tool: http://code.google.com/p/sdbtool/

• Amazon SimpleDB PHP class:  http://sourceforge.net/projects/php-sdb/
• Examples of usage of SimpleDB PHP class: http://webmasterinresidence.ca/simpledb/
• Amazon S3 PHP class: http://undesigned.org.za/2007/10/22/amazon-s3-php-class

Drupal 提供了两种不同的部署方式，你可以通过命令行来部署，或者通过传统的WEB界面来维护。

本文只介绍命令行的方式。Drupal 有命令行维护工具 Drush 。通过Drush来维护系统是Drupal众多优秀的特性之一，它类似于Django中命令行自动生成数据库结构，或者PECL安装PHP的扩展模块，或者yum来维护Linux软件包。只需要一行命令就可以安装系统，或者下载一个模块。

1. Drush的安装：

对于Drupal6.x,下载Drush模块，并且解压即可：

$ cd ~

$ wget http://ftp.drupal.org/files/projects/drush-6.x-3.3.tar.gz

$ tar zxvf drush-6.x-3.3.tar.gz

$ ln -s /path/to/drush/drush /usr/local/bin/drush

这样你可以在任何目录执行drush命令。

2. 用Drush来下载安装Drupal：

你不需要从Drupal网站下载安装包，上传到FTP，再配置数据库，从WEB界面安装：

下载并且解压Drupal包：

$ drush dl

安装Drupal

$ drush is

安装CCK

$ drush dl cck

$ drush en cck

清空cache可能是开发中最常用的功能：

$ drush cc

查看watchdog信息：

$ drush ws

执行cron

$ drush cron

更多drush命令：http://drush.ws

推荐用Drush来部署和维护Drupal

所有模块的安装维护仅仅需要1-2行命令,不必在忍受WEB界面网速的问题。我们需要用最好最快的方式来节约时间，提高效率。