orczhou.com

Linux

  • 一个有趣的perl函数

    ·

    admin

    入职已经489天了，新鲜事很多，不过更多应该是无趣、枯燥的日常：装很多的数据库、反复的测试、写很多的脚本…… 不过，在这繁忙工作中，还是希望自己能够保持一份趣味。

    下面这个perl函数就是帮你保持脚本有趣的一个办法。

    在你的Perl脚本中下面的函数，并在脚本的第一行调用之。函数会在你的输出前随机的输出一条“名言”，让你在枯燥的调试程序时，仍然保持一份清醒：

    use MIME::Base64;
#######################################################
#  This is a interesting function by orczhou@gmail.com
#  It outputs a random quote
#######################################################      
sub randomQuote{      
        my @quote; 
        push(@quote,"S2VlcCBpdCBzaW1wbGUsIFN0dXBpZA==");
        push(@quote,"VG9tb3Jyb3cgaXMgYW5vdGhlciBkYXk=");
        push(@quote,"TGlmZSBpcyBsaWtlIGEgYm94IG9mY2hvY29sYXRlcw==");
        push(@quote,"VGhlIGFuZ3J5IGlzIHRoYXQgdGFraW5nIHRoZSBvdGhlcidzIG1pc3Rha2UgdG8gcHVuaXNoIG9uZXNlbGY=");
        push(@quote,"VGhlIGhvcGUgb2YgdG9tb3Jyb3cgbGV0cyB1cyBmb3JnZXQgdG9kYXkncyBwYWlu");
        push(@quote,"VGhlIHBsYWNlIHdoaWNoIHRoZSBpZGVhbCBpcyBpbiwgdGhlIGhlbGwgbWF5YmUgYSBoZWF2ZW4=");
        push(@quote,"Rm9yIGhpcyBsb25nIGFuZCBub24tdmlvbGVudCBzdHJ1Z2dsZSBmb3IgZnVuZGFtZW50YWwgaHVtYW4gcmlnaHRzIGluIENoaW5h");
        push(@quote,"V2hhdCBpcyBkb25lIGJ5IG5pZ2h0IGFwcGVhcnMgYnkgZGF5");
        push(@quote,"SWYgeW91IHdhbnQgdG8gaGF2ZSB0aGUgcGVyZmVjdCBmcmllbmRzaGlwLCBwb3NzaWJseSB5b3UgbWF5IGZpbmQgbm8gZnJpZW5kIGZvciBhbGw
gbGlmZXRpbWU=");
        push(@quote,"VGhlIGV4cGVyaWVuY2UgdGFrZXMgb3V0IGJ5IHRoZSBlc3NlbmNlIG9mIHBhaW4=");
        push(@quote,"VGhlIGJpZ2dlc3QgbWlzdGFrZSBpbiBsaWZlIGlzIHRoZSB1bmNlYXNpbmdseSB3b3JyaWVkIGFib3V0IG1ha2luZyBtaXN0YWtl");
        push(@quote,"TGF6aW5lc3Mgd2lsbCBjYXVzZSB5b3UgcGFpbg==");
        push(@quote,"S2VlcCB0aGUgcGFzc2lvbiBmb3IgeW91ciBqb2I=");
        push(@quote,"VGhlcmUgaXMgb2Z0ZW4gbGVzcyBkYW5nZXIgaW4gdGhlIHRoaW5ncyB3ZSBmZWFyIHRoYW4gaW4gdGhlIHRoaW5ncyB3ZSBkZXNpcmU=");
        push(@quote,"WW91IGNhbiB1c2Ugc2NyaXB0IGRvIG1vcmUgd29yayxidXQgc2FkZGx5IGl0IG1ha2UgbW9yZSBqb2JzIGNvbWUgdG8gdQ==");
        push(@quote,"TXkgbmFtZSBpcyBteXNxbGRhdXRvLkkgd2FzIGNyZWF0ZWQgYnkgb3JjemhvdQ==");
        #push(@quote,"");
        my $count = scalar(@quote);
        my $rand_num = int(rand($count));
        print decode_base64($quote[$rand_num])."\n";
}

randomQuote();

    如果觉得上面的代码，破坏了脚本的输出，可以使用参数控制其是否输出。

  • Flashcace安装 How-to

    ·

    orczhou

    Flashcache的安装在其README和README-CentOS5.4已经有一个很详细的说明了，但是实际操作并不是很顺利，而且有些同事表示在编译过程中仍遇到了一些问题，这里详细的记录一下自己的编译、安装过程。

    1. 环境说明

    使用的是RHEL5.4的系统：

    $cat /etc/issue
    Red Hat Enterprise Linux Server release 5.4 (Tikanga)
    $uname -a
    Linux myhost 2.6.18-164.el5 #1 SMP Tue Aug 18 15:51:48 EDT 2009 x86_64 x86_64 x86_64 GNU/Linux

    (more…)

  • Flachcache初探

    ·

    orczhou

    Flashcache是Facebook技术团队的又一力作，最初是为加速MySQL设计的。Flashcache是在Linux层面的，所以任何受磁盘IO困绕的软件或应用都可以方便的使用之。

    1. Why Flashcache

    随着时间的流逝，网站上的数据一直在不停的积累。如果你经营的只是一个博客的话，这不会是问题，因为10G的空间，大概就够你写一辈子了（如果放在硬盘上，其实一辈子很短）。如果你恰巧在一个快速增长的公司，数据会越来越多，从MB，到GB，再到TB。

    如果将这些数据全部放在大容量的SATA、SAS盘上时，会发现性能（响应时间）不够；如果全放在SSD上时，又会发现成本很高。即使公司能够大气到都放到SSD上，你会发现1TB的数据里面可能只有200G是经常被访问的，300G可能偶尔被访问到，最后剩下的500G可能已经成为历史数据了，几乎不被访问到，如果全部都放在SSD上有略有浪费。于是就有了Flashcache。

    Flashcache一个非常不错的软件（准确的说是一个Linux的模块），可以动态加载。Flashcache通过在文件系统（VFS）和设备驱动之间新增了一次缓存层，来实现对热门的缓存。Flashcache是另一种缓存，一般用SSD作为介质的缓存（一般的缓存用的是内存），通过将传统硬盘上的热门数据缓存到SSD上，然后利用SSD优秀的读性能，来加速系统。这个方法较之内存缓存，没有内存快，但是空间可以比内存大很多。

    本文是一个关于Flashcache的初步介绍。 (more…)

  • Linux下使用od查看文件

    ·

    orczhou

            "不积跬步，无以至千里"
                                 《劝学》

    查看文本文件使用vim/less就足够了，但如果想要查看一些其他二进制文件（例如DB的数据文件、程序的二进制代码）则借助于od/hexdump这些工具会很方便，这里会通过一些实例来详细介绍od命令的相关参数。

    1. od参数详解
    $od -j 49152 -N 38 -w4 -A d -t x1 -v tmp_test.ibd
0049152 fd 6f fb 70
0049156 00 00 00 03
0049160 ff ff ff ff
0049164 ff ff ff ff
0049168 00 00 00 03
0049172 ba 92 ac 0c
0049176 45 bf 00 00
0049180 00 00 00 00
0049184 00 00 00 00

    (more…)

  • Linux下使用screen工作How-to

    ·

    admin

    通过ssh在Linux终端下工作，有一个很烦的事情就是，如果需要执行一个长时间的命令（例如拷贝一个大文件，或者做DDL）时，如果终端意外断开（网络或者别的原因），一般命令就会终止，当然你可以使用nohup命令，这里提供另一个办法：使用screen。

    Updates

    修改Bash提示符@2024-09

    每次去执行echo $TERM也挺麻烦的，所以，另一个办法就是在Bash的提示符中，将变量$TERM展示出来：

    vim ~/.bash_profile
...
export PS1="[\u@$TERM \W]\$ "
...

    此外，还需要再 .screenrc文件中新增如下代码：

    shell -$SHELL

    关于该代码的说明：How to tell GNU screen to run .bash_profile in each new window?@ServerFault

    更进一步的，可以使用如下的PS1：

    export PS1="[\u@${TERM}-${STY#[0-9]*.} \W]\$ "

    这里说明一下${STY#[0-9]*.}这部分内容：

    • ${STY} 是一个screen下的环境变量，在screen运行时可以获取当前session的名称（“Alternate socket name”）
    • ${STY#[0-9]*.} 这里的 #后面的部分，则是Bash的string操作符号，这里的删除后面的匹配的子串（Substring Removal）。更多详细说明，参考：Manipulating Strings@Advanced Bash-Scripting Guide

    如何判断当前是不是在screen下@2024-05

    只需要在终端尝试输出$TERM即可：

    echo $TERM
screen

    如果是非screen下，可能会看到如下输出：

    echo $TERM
xterm-256color

    初次使用vim按ctrl+s锁屏@2024-05

    同样是发送了XOFF导致的锁屏问题。

    在现代的开发者中，如果初次使用vim，还不习惯使用:w进行保存时，比较容易遇到这个问题，因为现在软件中，ctrl+s已经默认是保存操作了。

    这也是同样的原因，可以使用ctrl+q进行解锁操作。这与screen是类似的，同样是发送了XOFF命令字符导致的。

    关于ctrl+a,S锁屏的问题@2024-05

    在刚开始使用screen的时候，经常会误触ctrl+a，S(ctrl+a，后面跟一个命令键S)导致屏幕锁定，这时候可以通过ctrl+a，Q来解除锁定。

    如果被这个困扰的比较厉害，可以考虑禁用ctrl+a，S命令。禁用的方法是在~/.screenrc中新增如下命令内容（参考）：

    bind s

    为什么ctrl+a，S会锁定屏幕@2024-05

    经过一段时间的搜索挖掘，大致确认，这是一个早期屏幕输出设备的一个指令之一，可以控制屏幕输出流。ctrl+a，S更多的时候是ctrl+s，会发送XOFF命令字符（ASCII码编号是19）告诉服务器不要在发送输出内容，也就是我们感受到的“锁定屏幕”，可以使用ctrl+a，q或ctrl+q再次发送XON命令字符（ASCII码编号是17）实现解锁。

    关于更多底层原理可以参考如下文章：

    Update(2010-10-08) ：screen -ls查看列表

    [supu@host u01]$ screen -ls
There is a screen on:
9348.supu (Detached)
1 Socket in /var/run/screen/S-supu.

    可以通过kill -9 9348杀死该会话，然后通过screen -wipe清理被杀死的会话。

    概述

    一般，我们创建一个screen会话，然后连接会话并在会话下工作，这时候，我们可以随时挂起会话，去做别的事情，而且这个挂起的会话会一直在后台执行。而后又可以重新连接会话。下面是一个简单的How-to：

    1. How-to

    1.1 创建一个screen会话

    screen -dmS supu

    该命令，创建一个名为supu的会话，当时并不立刻进入会话。

    (more…)

  • How to kill an `uninterruptible sleep` process

    ·

    orczhou

    很早之前就遇到一次这个故障，当时是一台主机故障，这次是上百台主机故障。当时是使用mysqldump向NFS备份时，写数据时大概是NFS出现故障，使得mysqldump进程进入uninterruptible sleep（man ps）状态：

    $ps axu|grep mysqldump
    mysql 2718 0.0 0.0 51088 672 pts/0 S+ 13:30 0:00 grep mysqldump
    mysql 14916 1.4 0.0 0 0 ? D 02:03 10:03 [mysqldump]

    进入该状态的进程，会一直等待NFS，不接受任何信号，当然也就无法被杀死（kill/fuser -k）。因为进程一直在运行队列（running queue）中，所以还会导致主机的Load上升（虽然主机并不繁忙）。如果由于这个原因被卡住的进程很多的话，主机的Load可能会看起来非常高。 (more…)