木匠的微型博客 Charlie Twitter

    follow me on Twitter
    Showing posts with label work. Show all posts
    Showing posts with label work. Show all posts

    Monday, September 26, 2016

    加拿大公民的美国工作税务问题 Canadian work in USA pays tax

    =
    问:加拿大公民在美国工作,可以不用给加拿大交税吗?

    答:如果满足以下任一条件,就必须交。


    • 有房子等不动产在加拿大。
    • 有直系亲属(配偶和孩子)在加拿大生活工作。


    如果都不满足,还要检查其他一些细节。


    ----------

    根据我个人经验,加拿大税务负担更重。加拿大需要补税的额度是美国交税总额的 50%. 还真不少.

    Wednesday, September 30, 2009

    2009 Commit and Oracle-L后面的骨干Tim Gorman

    在亚马逊"老巢"参加两天的DBA内部技术交流会.

    Keynote由Oracle-L后面的骨干Tim Gorman开讲.Tim的主题是如何协调后台的System Admin和前台的UI/Application developer.

    可能国内已经有同行知晓Tim的名气,早上一起在亚马逊登记,然后等候入场,基本是尴尬冷场.

    Tim引用了一个案例,是说数据仓库开发人员不清楚BitMap索引是如何工作的,一个fact表,五个位图索引,使用SQL MERGE加载数据,强制使用并行处理. Tim用分布事物来比喻并行处理,结果BitMap索引是锁上加锁,处理时间漫长无比.

    那么解决方案是什么呢? 鄙人马上脱口而出, exchange partition,
    Tim做了补充, union all源数据和目标数据,使用SQL Anylitic function Row_Number()排重(Dedup),然后INSERT进中间表,最终交换表分区.

    这个处理设计和我们正在重建的库存系统的数据加载策略基本吻合. 只是我们的需求更加复杂一些,需要保留同一分区(书商)里面没有匹配的数据,set qty=0.

    最后,更新问题跟踪系统,给developer留个台阶, 备注是这样的: "DBA的责任,已经解决."

    会后我们想谈甚欢,希望以后从他那里接一些分包合同.

    Tuesday, September 29, 2009

    基本数据库存取 Basic data access

    学习了Tom巡回演讲中的一节, 使用索引:

    下面两种引用简单程序逻辑的比喻,非常贴切,这也是鄙人面试时,经常问到的一个题目.

    a) say out loud - full scans are not evil
    b) say out loud - indexes are not all goodness
    c) goto (a) until you actually believe what you are saying out loud.

    参考: http://asktom.oracle.com/pls/asktom/f?p=100:11:0::::P11_QUESTION_ID:743251200346166176


    Mythology – why isn’t it using my index
    Loop
    Say indexes are not all goodness
    Say full scans are not evil
    Exit when (you really believe it)
    End loop

    参考: Indexing.ppt , 下载: http://asktom.oracle.com/pls/asktom/f?p=100:8:1413269270550111::NO

    Tuesday, September 22, 2009

    Agile 敏捷软件开发学习心得

    上周六在维多利亚IT Club聆听了GuoLei两个小时关于Agile Software Development 的精彩演讲.
    这是维多利亚IT Club挂牌以来不多见的高品质技术交流.
    GuoLei关于Agile Software Design的演讲很成功,内容丰富,观众积极发言,反响热烈. 鄙人也有不小的收获.
    没来的同行一定会后悔的, 读完此文,您一定更后悔, 鄙人就不会后悔.

    这里谈一些鄙人的心得体会.

    . 设计和制造(manufacture)
    GuoLei举了一个宝马制造汽车的例子, 造一辆新汽车, 制造过程占了整个流程的很大比重, 超过50%.
    而软件开发99.9%的时间是在设计, 包括传统的需求分析,设计,编码,测试, 而制造(build)过程在一瞬间就完成了.
    所以鄙人鄙视那些号称软件工人的家伙. 作为软件开发人员,要把自己当作设计师来看待,才能生产出优秀的软件.
    也就是High Available and Scalable application system.

    . Communication over documentation
    代码一定要清晰可读, 多行代码也没有关系, 忌讳使用一个高深的表达式,上午写的,到了下午,自己都看不懂了,窘迫.
    写在代码中间的备注是没有多少人看的,而且很可能已经过期了,说的完全不是代码要做的事.
    尽可能面对面交流, Email/电话 均不提倡. 80%的沟通是通过表情和肢体语言来完成的.比如,当你解释完一个处理模型以后,观众回答听懂了,可是难以掩盖他们木然的表情,依然处在疑惑当中,而打电话时,你是看不到对方表情的.

    . 积累和完善测试案例, TDD(Test Driven Design)
    一开始,不需要覆盖100%的测试案例; 而是使用测试案例帮助设计原型,逐步完善我们的设计方案.
    开发一个新功能,就累积一个新的测试案例,
    发现一个新的bug,就累积一个新的测试案例,逐渐完善测试案例库的涵盖程度.

    . 左脑和右脑
    左脑负责常规约束活动,
    右脑具有创造力,
    也就是为什么工作累了以后,会卡在一个貌似棘手的问题,苦苦找不到解决方案,然后走开喝杯水,上个厕所,散散步,抽根烟,立马就有了解决问题的眉目,好点子不断. 因此,每隔一小时,出去散散步,使用一下右脑,发挥创造力. 即对健康有利,又能提高工作效率,我们出去散步吧.

    . 人是关键
    再好的软件开发流程没有人的积极参与是不行的,而且软件行业人与人之间的差别太大,好的杰出的程序员的开发效率常常高出普通程序员的十倍以上. 点背不能怪社会,只能怪自己天赋不够, 嘻嘻.

    参考: 如何穿越团队协作的五重障碍
    http://hi.baidu.com/sunguangran/blog/item/2ab0e5cce64d121900e9286f.html
    信任缺失
    “第一重机能障碍是团队成员间的信任缺失。这实质上源于他们不愿在团体中轻易受到攻击的心态。团队成员如果不对其失误和弱点真正地开诚布公,就不可能打下信任的基础。”
    惧怕冲突
    承诺不足
    逃避担责
    漠视结果

    未完待续...

    Tuesday, July 07, 2009

    奇怪的Strange PL/SQL complier bug编译臭虫

    今天终于完成了数据上载的智能修改, 就是说只修改数据有变化的列.

    比如我们的库存表, 有50个列, 52% 的UPDATE仅修改"价格/price"一列.

    可是遇到了一个极其古怪的臭虫, 如下所示, 一个简单的Loop循环, 漏掉了End Loop后面的分号";", 程序居然通过了编译,而且运行时也没有报错, 就是 End Loop 后面的语句被当成注释一样给跳过了. 这样的错误太难debug了, 幸好我充分的运用了code instrument技术, 几乎每一行代码都跟了一句debug (类似log4j), 很快找到了错误所在.
    ...

    run_bulk_update;

    FOR i in 1 .. lt_top_pattern.Count
    Loop
    run_bulk_update_tophit(p_hit_cols => lt_top_pattern(i));
    End Loop ;

    run_bulk_insert;
    save_col_upd_pattern;
    ...

    数据库版本是11.1.0.7.0, SunOS 5.10

    Friday, July 03, 2009

    可以少开会吗 Meetings are indispensable?

    鄙人非常讨厌开会, 不过开会的时间是一个很好的打瞌睡休息时间.

    除非你啥都不想干, 就去开会吧.

    "Meetings are indispensable when you don't want to do anything."
    -- John Kenneth Galbraith

    Meetings (usually) suck. The traditional way of doing business includes company meetings throughout the day, taking an hour or more usually. This can eat up half of your day or more. Add to that individual meetings at lunch, or having drinks, or just a one-on-one in the office and you're meeting more than you re producing.

    If you've sat through a lot of meetings, like I have, you know they're almost always useless. Sure, sometimes they're good, but most of the time they're boring, full of chit-chat or useless information, and really can be accomplished through a simple email or phone call. They're a waste of everyone's time, and worse yet, most people know it. And nothing changes.

    有很多情况可以不用开会, 使用有效的替代方案:

    Instead, learn to accomplish the tasks of a meeting through an email, a quick phone call, a quick and focused IM, an online group chat if necessary. Collaborate through online tools, such as those mentioned above. Keep meetings to a bare minimum. Sure, you still need to socialize with people, and have actual conversations, but boring and useless meetings aren't the best way to do that. If you control your company or division, do yourself and your company a favor by eliminating most of your meetings.

    那么啥时候需要开会呢?

    Only meeting after 3 round trip emails and the goal is still not clear.

    以上摘自公司内部Email.

    Friday, May 29, 2009

    PL/SQL代码可以有多大size limit

    PL/SQL程序块的最大尺寸是67108864 (2**26) DIANA节点, 主要是受shared memory pool的限制.
    PL/SQL程序块包括(Package)包头,包体,独立存储过程,或者匿名程序块. eBay好像是统统使用匿名PL/SQL块.

    但是对于DIANA节点,我们只能获取一个大概的数字,通过查询视图USER_OBJECT_SIZE,PARSED_SIZE列里面是"扁平化的flattened" DIANA节点数:


    SQL> SELECT * FROM user_object_size WHERE name = 'PKG1';

    NAME TYPE SOURCE_SIZE PARSED_SIZE CODE_SIZE ERROR_SIZE
    ----------------------------------------------------------------
    PKG1 PACKAGE 46 165 119 0
    PKG1 PACKAGE BODY 82 0 139 0


    根据Tom和Tim(http://oracle-base.com/)的理想境界,去除Java/C/.Net等前端应用代码里面的所有SELECT/INSERT/UPDATE/DELETE/MERGE,把那些丑陋的SQL扔到九霄云外.
    --不是说Java Developer不会写SQL, 而是他们的强项不在数据库. 模块化,专业分工,高效合作,

    鄙人最近三个月奋发图强,努力工作,大力推行Database API, 消灭Java应用里面的SQL代码,书写了很多PL/SQL代码,有一个接近100K,编译一遍耗时数秒, 就开始担心最大尺寸问题. 结果PARSED_SIZE只有6115, 离67108864(64M)还差点远着哩.

    当然鄙人也在认真学习Agile编程里面的Refactoring代码重构, 尽量将重复使用的代码段抽象成子过程,或者工具包.

    参考:
    Oracle® Database PL/SQL Language Reference
    11g Release 1 (11.1)

    Appendix C PL/SQL Program Limits
    .

    Sunday, April 05, 2009

    Talk to COO 合理化建议和沟通

    2009年初,我们公司开始了重新设计和开发库存管理系统,可以用革命(Revolution)来形容,有点背离了Agile提倡的进化(Evolution)主旋律.

    基调比较简单:

    1) 改变Slow-by-slow(row-by-row)慢之又慢的数据处理模式, 启用(bulk loading)打包成批处理.
    2) 合理denormalization,减少不必要的表连接.
    3) BASE第一步: Function split功能拆分 和 Asynchronous process 异步处理.
    异步处理,必然引出数据复制和消息系统, 我们的消息系统数据量一大,就会僵死. 我选择了数据库staging table(数据驿站)来缓存修改的数据,对于staging堆栈表,根据简单处理过的时间键,做列表分区,做到冗余数据的最高效利用 (我一向认为队列消息属于被复制的冗余数据).
    关于设计时间相关的历史数据模型,数据建模宝典(Data Modeling Essentials - Third Edition)推荐了两种方法,一种是Audit Trail(记录数据偏移,从起点累积),一种是Snapshot(历史镜像),我在不同场景都有采用,以后找机会做细节示范.

    有一个业务逻辑的改革遇到了较大的阻力,最后决定直接找COO商议,结果还是很理想的,清除了数据处理设计的最后一道障碍.
    跟产品经理和项目经理谈了很多次,结果是"多一事不如少一事,事不关己,高高挂起",这伙人才懒得从公司盈利的高度考虑问题,所以要转向那些能做决定,能从大局着眼的人士.

    下面简单介绍一下这个高投入低回报的业务功能:

    就是维护书商的产品分类,上传图书数据的时候,捎带检查图书分类表. 每行图书数据里面,包含了图书分类,一个或者多个,如果是新的分类,就在书商图书分类表里增加一行.
    如果删除了某个图书分类包含的所有书籍,就在书商图书分类表里删除掉这个图书分类.

    经常是上传几百万本图书信息,却对书商图书分类未动毫毛,白白浪费掉系统处理能量 来做无谓的检查.

    为啥雅虎没落了,谷歌兴旺了.因为Yahoo在做分类目录,Google再做搜索.
    这个年代,很少有人再通过分类目录一层一层的下钻去找到感兴趣的内容了,一个关键字查询,结果根据相关性排序,一下找到结果.


    有兴趣的产品经理,数据处理设计师和开发人员, 可以看看这个功能的链接:
    http://www.abebooks.com/servlet/BooksBrowse?vendorclientid=65646&page=CLIENT

    Tuesday, March 31, 2009

    另一种方法显示ROWID扩充信息-table function

    TrackBack: http://www.ningoo.net/html/2009/how_to_get_extent_id_from_rowid.html

    NinGoo的把常用工具打包进工具箱的方法很好.
    然而木匠天生缺乏分类和组织能力,一路坚持学习,持续遗忘,自身却没有留下啥积累;好比猴子搬苞谷,抱在怀里的玉米棒永远也不会增多,郁闷.
    所以鄙人决定依靠GTD方法,每周总结学到的新知识,然后放进自己的便携工具箱.

    好了,鉴于本人不喜欢dbms_output.put_line,索性把NinGoo的RowID工具改造成了Table Function.
    通过简单的查询,可以在任何地方使用.

    后面附的PL/SQL Package源代码,包含了许多PL/SQL编程优秀实践,将来找机会慢慢展开来讲.

    用法:

    SQL> select * from table(UTILITY.tb_obj.rowid_info('AAARUtAAEAAABm2AAA'));

    COLUMN_VALUE
    --------------------------------------------------------------------------------
    rowid: AAARUtAAEAAABm2AAA
    file_id: 4
    block_id: 6582
    data_object_id: 70957
    owner: INVDB
    object_name: BOOK_UPLOAD_LOG
    extent_id: 0

    7 rows selected.

    tb_ 是toolbox的缩写.



    工具用户需要的对象权限:

    grant select on dba_objects to utility;
    grant select on dba_extents to utility;

    源代码:

    注意: 如果你还没有安装捕获错误工具包u$err和(instrument)代码跟踪包debug, 可以先用备注屏蔽掉相关的代码.


    CREATE OR REPLACE PACKAGE UTILITY.tb_obj
    /*
    | Copyright Information Here
    |
    | File name:
    |
    | Overview:
    |
    | Author(s):
    |
    | Modification History:
    | Date Who What
    |
    */
    IS

    TYPE print_tab IS TABLE OF varchar2(200);

    FUNCTION rowid_info (p_rowid in varchar2) return print_tab PIPELINED DETERMINISTIC;
    PROCEDURE subprogram_name;

    END tb_obj;
    /

    CREATE OR REPLACE PACKAGE BODY UTILITY.tb_obj
    /*
    | Copyright Information Here
    |
    | File name:
    |
    | Overview:
    Tool box to get object information.

    | Author(s):
    |
    | Modification History:
    | Date Who What
    31-Mar-2009 Charlie (Yi): Create the package.

    It meets user requirements
    It is maintainable
    It runs fast enough to minimize user frustration

    **) Pl/SQL development workflow, Four steps of preparing an application

    - Validate program requirements
    # ask lots of questions
    # what users ask for is not always the easiest way to solve a problem
    # consider other approaches, include business processes and programming algorithms
    - Implement header of the program
    # good name for the program, accurately represent the purpose of the program
    # inputs and outputs
    # overload sub-procedure ?
    - Define the test cases
    # Verify it works
    # how will I know when I am done with this program
    - Build test code

    |
    |
    */
    IS
    PROCEDURE initialize_pkg
    IS
    BEGIN
    DBMS_APPLICATION_INFO.SET_MODULE( 'tb_obj','init' );
    END initialize_pkg;

    FUNCTION rowid_info (p_rowid in varchar2)
    return print_tab PIPELINED DETERMINISTIC
    /*
    | Copyright Information Here
    |
    | File name:
    |
    | Overview: Display extended rowid information.
    |
    | Author(s): Charlie MuJiang
    |
    | Modification History:
    | Date Who What
    31-Mar-2009 Charlie (Yi): Create the function.

    Privilege:

    grant select on dba_objects to utility;
    grant select on dba_extents to utility;

    Call example:

    SQL> select * from table(UTILITY.tb_obj.rowid_info('AAARUtAAEAAABm2AAA'));

    COLUMN_VALUE
    --------------------------------------------------------------------------------
    rowid: AAARUtAAEAAABm2AAA
    file_id: 4
    block_id: 6582
    data_object_id: 70957
    owner: INVDB
    object_name: BOOK_UPLOAD_LOG
    extent_id: 0

    7 rows selected.

    |
    */
    IS

    ln_block_id number;
    ln_file_id number;
    ln_object_id number;
    ln_extent_id number;
    ls_object_name varchar2(30);
    ls_owner varchar2(30);

    PROCEDURE initialize
    IS
    BEGIN
    DBMS_APPLICATION_INFO.SET_ACTION( 'rowid_info' );
    END initialize;

    PROCEDURE cleanup
    IS
    BEGIN
    DBMS_APPLICATION_INFO.SET_MODULE(Null,Null);
    END cleanup;
    BEGIN
    initialize;
    /*
    Main body of program
    */
    debug.f('start by user %s', user);

    select dbms_rowid.ROWID_BLOCK_NUMBER(p_rowid),
    dbms_rowid.ROWID_RELATIVE_FNO(p_rowid),
    dbms_rowid.ROWID_OBJECT(p_rowid)
    into ln_block_id,ln_file_id,ln_object_id
    from dual;

    select owner,object_name
    into ls_owner,ls_object_name
    from dba_objects
    where data_object_id=ln_object_id;

    PIPE ROW(' rowid: '||p_rowid);
    PIPE ROW(' file_id: '||ln_file_id);
    PIPE ROW(' block_id: '||ln_block_id);
    PIPE ROW('data_object_id: '||ln_object_id);

    for c in (
    select extent_id,
    owner, segment_name,partition_name, segment_type,tablespace_name
    from dba_extents
    where
    owner=ls_owner and
    segment_name=ls_object_name and
    file_id=ln_file_id and
    ln_block_id between block_id and block_id + blocks - 1
    )
    loop
    PIPE ROW(' owner: '||c.owner);
    PIPE ROW(' object_name: '||c.segment_name);
    PIPE ROW('partition_name: '||c.partition_name);
    PIPE ROW(' segment_type: '||c.segment_type);
    PIPE ROW(' tbs_name: '||c.tablespace_name);
    PIPE ROW(' extent_id: '||c.extent_id);
    end loop;

    debug.f('process %s rows', SQL%RowCount);

    cleanup;
    EXCEPTION
    WHEN NO_DATA_NEEDED THEN
    cleanup;
    return;
    WHEN OTHERS
    THEN
    /* Don't forget to clean up here, too! */
    cleanup;

    /* Standard error logging mechanism */
    u$err.err;
    RollBack;
    raise;
    END rowid_info;

    PROCEDURE subprogram_name
    /*
    | Copyright Information Here
    |
    | File name:
    |
    | Overview:
    |
    | Author(s):
    |
    | Modification History:
    | Date Who What
    |
    */
    IS
    PROCEDURE initialize
    IS
    BEGIN
    DBMS_APPLICATION_INFO.SET_ACTION( 'subprogram_name' );
    END initialize;

    PROCEDURE cleanup
    IS
    BEGIN
    DBMS_APPLICATION_INFO.SET_MODULE(Null,Null);
    END cleanup;
    BEGIN
    initialize;
    /*
    Main body of program
    */
    debug.f('update %s rows', SQL%RowCount);

    cleanup;
    EXCEPTION
    WHEN OTHERS
    THEN
    /* Don't forget to clean up here, too! */
    cleanup;

    /* Standard error logging mechanism */
    u$err.err;
    --RollBack;
    raise;
    END subprogram_name;

    BEGIN
    initialize_pkg;
    END tb_obj;
    /


    deprecated ROWID hint 废弃的行标识提示

    在Oracle 10g以后,RowID 这个SQL提示就被废弃了.搜索Google也找不到替代方案.
    在一些应用场景里面利用RowID存取路径,还是很有帮助的. 比如回改, 就是在用户界面显示用户感兴趣的数据,数据被修改以后,再更新回数据库.

    那么怎样强制优化器使用存取路径TABLE ACCESS BY ROWID呢? 我暂时发现了两种方法:

    1) 使用No_Index SQL提示
    2) 使用表达式或者运算符禁止索引扫描.

    关于具体的搭建测试环境和演示, 参考文章NO_INDEX hint and deprecated ROWID hint.

    测试结果
    --
    当查询优化器采用TABLE ACCESS BY USER ROWID存取路径时,我们发现逻辑读(Buffer列)由2降到1.

    Monday, March 09, 2009

    Troubleshooting Oracle Performance下载文件更新

    TrackBack: http://antognini.ch/2009/03/troubleshooting-oracle-performance-downloadable-files/

    像我一样的TOP书迷们注意了, TOP脚本文件更新了, 这里是下载地址链接: http://antognini.ch/top/downloadable-files/.

    供参考: 我的学习方法是这样的,先读完整本书(每周100页), 然后到附录A, 顺着每一章的脚本目录(page 552~562) ,做练习,依靠实践加深印象,巩固记忆.不然,过不了两天,学到的知识点就会忘掉大半.


    加拿大西海岸三月份又下雪了,维多利亚市也不例外,预计降雪量是5厘米.
    气温: -4°C~2°C. 注意保暖,行车注意安全.
    今天又开始夏时制了,少睡一个小时, 困哉.
    .

    Thursday, March 05, 2009

    Index space management索引空间管理

    这回咱先问个问题, 啥时候数据库自动回收索引的空闲空间?

    这里是我昨天学到的索引空间管理知识:

    一个UPDATE语句,对索引来说,就是一个DELETE和一个INSERT,删掉旧键值,插入新键值.
    如果是唯一索引(unique index),删掉旧键值的空槽位可以被同一个事务里面接下来的操作重用.
    如果不是唯一索引(unique index),删掉旧键值的空槽位,只有在事务提交以后,才可以被重用.
    索引段上,只有INSERT和DELETE操作.

    如果删除了大部分数据,再没有新的数据插入,用alter index coalesce;释放可重用的空间. coalesce应该不会锁住表,我需要进一步确认.

    参考
    ----
    Oracle® Database SQL Language Reference
    11g Release 1 (11.1)

    ALTER INDEX ... SHRINK SPACE COMPACT 等价于 ALTER INDEX ... COALESCE.

    How does insert and delete use space regarding to indexes?

    查看索引空间: SQL>exec segment_space_a(P_SEGNAME=>'INDEX_Name',p_type=>'INDEX');

    Skip unchanged columns when UPDATE时,如何跳过没有改动的列

    现在很难在 AskTom 提新的问题了.
    只好找个类似的问题,然后跟贴评论,问一个新问题. 但是一定要和原帖主要问题紧密相关,不然,Tom兄会毫不留情的删掉你的评论. 嘻嘻.

    好了,我的问题是:
    http://asktom.oracle.com/pls/asktom/f?p=100:11:0::::P11_QUESTION_ID:1524420700346152252

    先简述一下业务逻辑, 我们的业务模式类似eBay, B2C, 我们的主要商品是图书, table book, 书商每天上传文件更新他们的库存.
    书商不管三七二十一,送上所有图书的信息,无论是要改动的属性,还是不需要改动的属性.
    大部分情况只是改动一两个短列,比如数量,单价,ISBN;少部分情况修改长列,比如书名,作者,出版社,图书简介...等等.
    这就产生了一个重复(冗余)修改的问题,会浪费PGA内存,产生十倍之多的Redo/Undo.

    如何跳过这些没有修改的列呢?

    今天耗费了一整天跟Tom兄切磋.

    我设计的解决方案都在上面链接里面了. 还没有最后成形,处在演变进化(evolution)当中.

    对了, 我的署名是Charlie MuJiang from Victoria, BC Canada, AskTom不能存中文,所以用拼音MuJiang.


    再来一个维多利亚的BC省议会大楼,2005年我刚到维多利亚时,住的公寓走到议会大楼不到十分钟,每周过来散步数次.

    Monday, March 02, 2009

    PATH in 10053 Trace 的存取路径代码和解释

    越来越多的DBA和Developer开始研究CBO相关的10053 Trace.
    可以参考老刘(Lewis)的Cost Based Oracle Fundamentals第14章 - The 10053 Trace File.

    Oracle 11g之前,PATH 用代码表示,阅读起来极不方便, 因此木匠干脆罗列出来有关表扫描的Access PATH代码含义:

    # PATH in 10053 trace
    -- table access path


    0 parallel hint
    1 no access path spec
    2 table scan
    3 index unique
    4 index range
    5 index and-equal
    6 order by using an index
    7 open cluster
    8 hash cluster
    9 rowid lookup
    10 range scan backwards
    11 rowid range scan
    12 driving_site hint
    14 cache hint
    15 nocache hint
    16 partitions hint
    17 nopartitions hint
    18 anti-join
    19 index rowid range scan
    20 bitmap index
    21 parallel_index hint
    22 noparallel_index hint
    23 index fast full scan
    24 swap inputs to join
    25 fact table
    26 not a fact table
    27 merge of this view
    28 do not push join predicate into this view
    29 push join predicate into this view
    30 no_merge of this view
    31 semi-join

    Thursday, February 26, 2009

    虚拟列分区可能返回错误结果Virtual Column-Based Partition-Chris译客

    TrackBack: http://antognini.ch/2009/02/virtual-column-based-partitioning-might-lead-to-wrong-results/

    Oracle 11g(11.1.0.6 和 11.1.0.7),在虚拟列分区表里面,有许多列,当虚拟列或者源数据列排在后面时,修改数据和查询数据会产生意想不到的错误结果.
    出错的情况是随机的, 比如数据被放进了错误的分区, 或者查询数据,返回错误结果

    这里是测试用例:

    SQL>
    drop TABLE t;
    CREATE TABLE t (
    d1 NUMBER,
    d2 NUMBER,
    d3 NUMBER,
    d4 NUMBER,
    d5 NUMBER,
    d6 NUMBER,
    d7 NUMBER,
    n1 NUMBER,
    n2 AS (CASE n1 WHEN 1 THEN 1 WHEN 2 THEN 2 ELSE 0 END) VIRTUAL
    )
    PARTITION BY LIST (n2) (
    PARTITION zero VALUES (0),
    PARTITION one VALUES (1),
    PARTITION two VALUES (2)
    )
    ENABLE ROW MOVEMENT;

    INSERT INTO t (n1) VALUES (1);
    commit;
    UPDATE t SET n1 = 3;
    commit;

    SELECT rowid, n1, n2 FROM t PARTITION (zero);
    SELECT rowid, n1, n2 FROM t PARTITION (one);

    数据被放进了错误的分区.
    SQL> SELECT rowid, n1, n2 FROM t PARTITION (one);

    ROWID N1 N2
    ------------------ ---------- ----------
    AAAd7XAAEAAABXCAAA 3 0


    查询数据,返回错误结果
    SQL> SELECT rowid, n1, n2 FROM t WHERE n2 = 1;

    ROWID N1 N2
    ------------------ ---------- ----------
    AAAd7XAAEAAABXCAAA 3 0



    昨天在内港Delta酒店参加领导能力培训,南望华盛顿州,奥林匹亚山.

    Tuesday, February 24, 2009

    SQL跟踪文件里面哈希值的变化 - 启动TOP作者博客翻译

    TrackBack: http://antognini.ch/2009/01/execution-plan-hash-value-in-sql-trace-files/

    在征得了Christian Antognini的同意后, 木匠准备近乎实时的(near real-time)跟踪报道他的最新研究成果. 附带的好处是极大的增加了我的博客出版频率,完成年初定的每周一篇技术贴的目标.

    在我理解有误的地方,欢迎各位DBA同仁给予指正. 木匠没有出钱买断Christian Antognini博客的中文翻译版权, 所以您也可以同时翻译相同的文章, 不过, 请一定指明原文的TrackBack.

    我只会讲每篇的主旨和总结. 从2009年一月开始,

    第一篇: SQL跟踪文件里面哈希值的变化(Execution Plan Hash Value in SQL Trace Files)

    在Oracle 11.1.0.7版本, 在PARSE, EXEC 和FETCH这些行里边, 新出现了一个"plh"属性, 我猜是 Plan Hash 的缩写. plh是为了配合ACS(Adaptive cursor sharing), ACS就是根据不同的绑定变量(binding variable)产生不同的最优执行计划.

    参见 http://antognini.ch/2008/12/automatic-evolution-of-sql-plan-baselines/ 第7个木匠的注释.

    这里是一个SQL trace file样例,

    SELECT count(pad) FROM t WHERE id < :id

    PARSE #13:c=0,e=0,p=0,cr=0,cu=0, mis=0,r=0,dep=0,og=1,plh=4270555908
    EXEC #13:c=0,e=0,p=0,cr=0,cu=0, mis=1,r=0,dep=0,og=1,plh=2966233522

    当变量取值发生变化后,优化器决定选择一个不同的执行计划. 我们看到mis=1和plh=2966233522 出现在EXEC(执行)这一行,而且的plh数值不同于PARSE一行plh的数值 SQL优化器对游标(cursor)做了一个硬解析(hard parse), 然而PARSE部分没有硬解析.

    由此改变了我们的传统认识, 不但PARSE部分会hard parse,而且EXEC部分也会hard parse.


    去阿拉斯加的邮轮,在维多利亚Ogden Point港停靠.

    Thursday, January 01, 2009

    Salary review in glass_door职业规划

    新的一年开始了, 你定下了什么职业目标?

    2008年初我的目标是年收入增加一倍, 由于客户业务量收缩,我的目标也随着一再调整,最后减到年收入增加25%. ^_^
    今年经济形势差,正好找个借口,今年的目标是持平去年的收入,或者减少20%,不求上进.
    (不能产生价值的技能,不是我追求的技能;参考木匠的座右铭第二条: 实用)

    我三年前登录加拿大的时候,预定目标就是坐满移民监,然后南下.
    估计这个月入籍考试,三月宣誓入籍,就可以走了.
    资本主义经济5到10年一个高低循环, 让我赶上了经济低谷, 或许还要继续卧薪尝胆一年.

    亚马逊有一个内部机会,属于Payments Services部门,
    我就喜欢去最艰苦(critical business)的地方工作,提升技能,提升收入,一举两得.
    先联系试试,看看可不可以远程工作两个月,然后搬过去.

    关于工资调查,我推荐www.glassdoor.com, 一个由用户产生内容的Web2.0网站.
    在如此经济低迷时期,它居然得到了一千万风险投资.

    这里是GlassDoor网站公开的工资调查.
    你注册一个帐号,然后填上你的年收入(现在的或者历史的,都行),就可以看别人的工资和公司评价了.

    Microsoft

    Software Development Engineer base salary: $91,464
    Program Manager base salary: $89,765
    Software Development Engineer In Test base salary: $84,451

    Deloitte

    Consultant base Salarie $73,236
    Senior Consultant base Salarie $96,546
    Consulting Manager base Salarie $127,002

    Cisco Systems

    Software Engineer IV base salary $110,904
    Software Engineer III base salary $93,232
    Software Engineer base salary $90,629

    Accenture

    Consultant base salary $73,741
    Analyst base salary $58,426
    Technology Consulting Analyst base salary $59,460

    Yahoo!

    Software Engineer base salary $97,175
    Senior Software Engineer base salary $121,145
    Senior Product Manager base salary $123,000

    Google

    Software Engineer base salary $95,631
    Senior Software Engineer base salary $123,225
    Software Engineer III base salary $105,022

    Amazon

    QA
    Salary: $84,000 Bonus(Cash+Stock): $20,500 Total $97,667
    Software Engineer I
    Salary: $82,416 Bonus(Cash+Stock): $18,286 Total $97,889
    Software Engineer II
    Salary: $98,686 Bonus(Cash+Stock): $28,140 Total $122,857
    Software Engineer III
    Salary: $113,54 Bonus(Cash+Stock): $58,859 Total $161,311

    Yahoo! DBA
    Salary: $128k~141k Bonus(Cash+Stock): $24k Total $153k~165k

    QA Engineer at Yahoo!
    Salary: $88,880 Bonus(Cash+Stock): $5,500 Total $90,713

    Cisco Systems Software Engineer
    Salary: $90,629 Bonus(Cash+Stock): $12,772 Total $98,223

    eBay Principal DBA
    Salary: $138k~150k Bonus(Cash+Stock): $ 20k Total $158k~171k

    维多利亚的IT同仁,咋样,心动了,南下吧.
    看看下面这张地图,西雅图就在维多利亚南边100公里,收入却高出我们一倍,天理何在. 哈哈.
    备注: 点击看大图.


    Monday, December 29, 2008

    Company benifit package 公司福利

    圣诞节假期过去一多半了, 人越发懒惰,啥正经工作也不想干.
    今天的主要任务就是写博客.

    一大早起来,想到公司福利是个很好的主题,有一大摞素材.

    就说我们公司吧, 2004, 2005, 2006, 2007 & 2008 连续5年 加拿大Top100,
    (North America’s top ecommerce companies) 北美(加拿大,美国,墨西哥)电子商务公司排名70.

    假期: 15天; 3年以后, 18天; 5年以后, 20天. 我是2008年夏天够3年的.
    病假, 一年6天, 事假(Paid Personal Days-off), 一年3天.
    共计: 24~29天, 病假事假用起来和年假一样. ^_^
    灵活工作时间, 作为数据库管理员,这个我用的多.

    公司付3%工资额度,替员工购买退休金(RRSP), 相当于工资增加了3%.

    报销: 每月汽车票或停车位 $75, 每月健身$25, 书籍照实报销.
    股票: 期权大概每人1万股, 最后卖给亚马逊的价格是5块多,扣完税人均1万多;
    反正成不了百万富翁,还得继续工作.
    员工可以按一定百分比额度购买公司股票,Share Purchase Plan.

    保险:
    短期失去工作能力, 前2周 公司付100%工资,后15周 公司付70%工资; 然后交给社会保险.
    牙医: 每年$2000, 就是说, 花费$4,000 乘以 50%.
    公司负责购买100%医疗保险.

    幼儿园: 正在筹建当中.

    办公室娱乐: 桌球,乒乓球,桌上足球,Wii; 另外每周三中午利用上班时间踢一个小时足球.

    小食品(tantalizing perks):
    每周三免费早餐,有我的最爱牛角面包,Muffin(马粪),甜圈(Doughnut),烧饼(Bagel),果仁酥饼,还有各种叫不出名字的食品;
    每周一二四供应水果, 各种饮料无限供应. 可是我主要喝冷水和豆浆.

    还有免费流感疫苗,电动按摩椅...

    左上角图片是我正在和一个菲律宾同事玩桌上足球, 窗户脚坐的是我们公司的二号(美女)在读书.
    这是我工作过的最好的办公室建筑,四面全部是落地玻璃,维多利亚美景一览无余,我的座位可以看到海景,照片随后就到.

    差不多就这些了. 象我门人事部经理说的, 现今20~30岁的年轻人,过两三年换一个工作,
    不是因为工作满意度差,而是依靠换工作来构造他们的简历. 还是有很多人再次回来,有两个QA回来以后升职当了拉长(Team Lead).

    因为目前大学生选修计算机IT专业的越来越少, 加上二战婴儿潮(baby boomers)开始大量退休.
    提高公司福利是吸引和留住IT人才的关键一环.

    附录一些报刊参考文章:

    Victoria's Abebooks fights to retain job-hoppers

    Happily ever after - Abebooks Inc.

    Saturday, December 27, 2008

    LifeHacker top 5生活客工具推荐

    最佳文本编辑器:
    http://lifehacker.com/385929/best-text-editors

    Notepad++ (Windows)
    Emacs (All Platforms)
    UltraEdit ($49.95)
    TextMate (Mac OS X)
    vim
    TextPad(Windows) $32.50, 木匠喜欢用.

    最佳找工作网站
    http://lifehacker.com/5114814/five-best-online-job-search-sites

    Indeed.com
    Craigslist.org 木匠经常使用
    HotJobs.com
    CareerBuilder.com
    LinkedIn.com
    Monster.com

    Sunday, December 21, 2008

    Getting Things Done notes 2008 学习与共享笔记

    两周前在维多利亚IT俱乐部做了一个GTD的知识共享,自己从中又学到了不少东西.
    如果GTD分为5级, 我刚好到InBox 和 Next Action之间的1.5级.

    时间管理:
    Set goal
    Set priority

    执行步骤(原则):
    Collect
    Process
    Organize
    Review
    Do

    计划 --> 一种自然方法:
    Defining the purpose and principles
    Envisioning the outcome
    Brainstorming
    Organizing
    Identifying next actions

    组织任务(文件夹):
    InBox
    Next Action
    Project
    Waiting for/On hold
    Idea/Inspiration/灵感
    Some Day/Maybe
    Reference
    Delegate
    Complete box
    Trash box

    推荐GTD工具:
    Paper and Pen
    Text file
    Spread sheet
    Action Outline
    Monkey GTD (http://monkeygtd.tiddlyspot.com/#MonkeyGTD)

    后续, 下次谈如何做计划.

    不同层次的远景和焦点,
    Current actions
    Current projects
    Areas of responsibility
    Yearly goals
    5 year vision
    Life goals