Welcome to Neilpang's Blog!

记录生活,分享知识,传播乐趣

Mac和 iOS 下的对称和非对称加密算法的使用

2015-04-04

Neil

系统编程
分享在Mac 和 iOS 上使用到的对称和非对称加密算法. 包括RSA,DSA, AES, DES, 3DES 和 blowfish 等等.
因为要实现ssh协议, 所以用到了这些算法, 这些算法在mac和ios上的接口比较难用, 我在这折腾了好长时间, 这里分享出来, 希望对大家有帮助.
(这里不提 openssl 在 apple 上的接口了)

主要参考了apple的文档:

Cryptographic Services Guide

Apple Encrypting and Hashing Data

先大致概括一下整体情况:
基本上这两个平台上的加密解密都和 keychain service 密不可分. keychain是mac和ios上用来保存证书,密码,key 等等敏感信息的存储区. 有专门的api访问这些接口. 有时候我们为了获得一个 key 的实例,必须想办法把数据导入到keychain中,然后才能通过keychain获得一个key的实例. 后面再说.

在mac 上, 有三个方式实现加密解密签名服务:
1. Security Transforms API —a Core-Foundation-level API that provides support for signing and verifying, symmetric cryptography, and Base64 encoding and decoding.
  是 CoreFoundation 级别的api, 提供了, 最全的功能和算法支持. 包括对称,非对称算法. 实现加密,签名功能. 但遗憾的是这个接口只在mac上有效. iOS上没有. 但有些功能必须要用到, 所以要实现跨平台的代码,需要一些补丁.
2. Common Crypto—a C-level API that can perform most symmetric encryption and decryption tasks
  这是一个 C 风格的接口. 好消息是它在mac和ios上都有, 可以跨平台. 但坏消息是, 它只包含了, 对称加密算法, 却没有非对称算法. 因此只能加密解密,而不能签名和验证. 其实之前 Apple上还有一个 ComonCryptoRSA 模块, 但后来不知为何消失了.
3. CDSA/CSSM —a legacy API that should be used only to perform tasks not supported by the other two APIs, such as asymmetric encryption
  这个名字比较吓人, Common Data Security Architecture (CDSA) 通用数据安全架构. 很奇怪,它被apple接受后不久, 就被废弃了. 现在已经不建议使用了. 所以就不提它了.
在 iOS 上, 基本上有两种方式:
1. Common Crypto. 这个在上面已经说过了. 对称算法接口.
2. 使用系统提供的特有api实现加密,解密, 签名和验证:
系统提供了下面4个函数:
```
SecKeyEncrypt—encrypts a block of data using the specified key.

SecKeyDecrypt—decrypts a block of data using the specified key.

SecKeyRawSign—signs a block of data using the specified key.

SecKeyRawVerify—verifies a signature against a block of data and a specified key.
```
基于上面的分析, 我们秉着尽可能减少代码重复, 跨平台开发的原则: 对称算法就使用 "Common Crypto" 模块了. 因为两个平台都有. 而非对称则需要分别实现了.

下面详细分享一些细节:

一, 非对称加密算法, 签名和验证.(RSA/DSA signature and verity)

这需要在两个平台独立开发.
1. Mac 平台.
在 mac 平台上, 我们使用它的 Security Transforms API.

参考这里: Security Transforms Programming Guide-Signing and Verifying

上面有很好的代码片段. 需要注意的是如何把 RSA 的参数变成 api 需要的 SecKeyRef 对象.

这是它的导入片段.
```
    params.keyUsage = NULL;
    params.keyAttributes = NULL;

    SecExternalItemType itemType = kSecItemTypeCertificate;
    SecExternalFormat externalFormat = kSecFormatPEMSequence;
    int flags = 0;

 oserr = SecItemImport(cfdataprivatekey,
        NULL, // filename or extension
        &externalFormat, // See SecExternalFormat for details
        &itemType, // item type
        flags, // See SecItemImportExportFlags for details
        &params,
        NULL, // Don't import into a keychain
        &temparray);
    if (oserr) {
        fprintf(stderr, "SecItemImport failed (oserr=%d)\n", oserr);
        CFShow(temparray);
        exit(-1);
    }

    privatekey = (SecKeyRef)CFArrayGetValueAtIndex(temparray, 0);
```
这里是为了创建 SecKeyRef 实例. 通过 SecItemImport 把数据导入.变成SecKeyRef实例. 数据放在 cfdataprivatekey 中. 这个数据必须是 Pem格式的证书. 因为这个case下需要私钥, 所以这个证书需要包含私钥, 都是pem格式.

这里特别介绍一下, 如何从ssh 的公钥格式导入. 以RSA为例, RSA的公钥其实是一个底数e, 和一个大整数 m ,
```
e = [int32(len), bytes(value)]
m = [int32(len), bytes(value)]
```
e 和 m 的结构一样. 先是4个字节的长度, 然后紧跟上字节序列. len是大端在前的, 跟通常的小端是有区别的.
完整的机构大概是这个样子的:
```
Binary = [0x00, 0x00, 0x00, 0x07, 'ssh-rsa', e, m]

keydata = 'ssh-rsa' + Base64Encode(Binary)
```
这个keydata 就可以用来构建上面用到的参数cfdataprivatekey了.

对于DSA, 结构跟上面类似:
```
p = [int32(len), bytes(value)]
q = [int32(len), bytes(value)]
g = [int32(len), bytes(value)]
y = [int32(len), bytes(value)]


Binary = [0x00, 0x00, 0x00, 0x07, 'ssh-dss', p, q, g, y]

keydata = 'ssh-dss' + Base64Encode(Binary)
```
1. 对于 iOS, 平台, 我们使用上面说的两个函数来签名和验证:
```
SecKeyRawSign—signs a block of data using the specified key.

SecKeyRawVerify—verifies a signature against a block of data and a specified key.
```
这两个函数要命的是都需要一个 SecKeyRef 参数, iOS 上还真没有直接的方式可以通过大整数直接创建 SecKeyRef的实例.

要么通过 keychain 读取. 或者通过 SecPKCS12Import() 函数导入 pkcs12 格式的包含私钥的证书, 然后获得 SecIdentityRef 实例. 然后再通过 SecIdentityCopyPrivateKey() 函数把其中的私钥导出成 SecKeyRef实例.
```
OSStatus extractIdentityAndTrust(CFDataRef inPKCS12Data,
                                 SecIdentityRef *outIdentity,
                                 SecTrustRef *outTrust,
                                 CFStringRef keyPassword)
{
    OSStatus securityError = errSecSuccess;


    const void *keys[] =   { kSecImportExportPassphrase };
    const void *values[] = { keyPassword };
    CFDictionaryRef optionsDictionary = NULL;

    /* Create a dictionary containing the passphrase if one
       was specified.  Otherwise, create an empty dictionary. */
    optionsDictionary = CFDictionaryCreate(
                                                  NULL, keys,
                                                  values, (keyPassword ? 1 : 0),
                                                  NULL, NULL);  // 1

    CFArrayRef items = NULL;
    securityError = SecPKCS12Import(inPKCS12Data,
                                    optionsDictionary,
                                    &items);                    // 2


    //
    if (securityError == 0) {                                   // 3
        CFDictionaryRef myIdentityAndTrust = CFArrayGetValueAtIndex (items, 0);
        const void *tempIdentity = NULL;
        tempIdentity = CFDictionaryGetValue (myIdentityAndTrust,
                                                       kSecImportItemIdentity);
        CFRetain(tempIdentity);
        *outIdentity = (SecIdentityRef)tempIdentity;
        const void *tempTrust = NULL;
        tempTrust = CFDictionaryGetValue (myIdentityAndTrust, kSecImportItemTrust);

        CFRetain(tempTrust);
        *outTrust = (SecTrustRef)tempTrust;
    }

    if (optionsDictionary)                                      // 4
        CFRelease(optionsDictionary);

    if (items)
        CFRelease(items);

    return securityError;
}
```
另外一个方法是, 苹果官方给的示例代码, 强制拼凑 SecKeyRef示例.
这里有 SecKeyWrapper 的实例代码: SecKeyWrapper 的实例代码

并且可以在这里直接下载到源码: SecKeyWrapper 源码

这个源码里面有很多苹果写的例子. 非常好. 对剑使用这里面的代码实现.

二, 对于对称加密算法.
这个比较简单了, 我们直接使用 Common Crypto 模块. 在mac 和ios上可以跨平台.

请参考这里: Apple Common Crypto library
1. 使用 CCCryptorCreate 或者 CCCryptorCreateWithMode 创建 CCCryptorRef 对象.
  然后不断的调用 CCCryptorUpdate. 进行加密/解密.
  最后调用:CCCryptorFinal. 获取最后一块加密方法.
建议使用 CCCryptorCreateWithMode 方法.因为它能指定更多的参数. 比如加密算法的padding 和ciphermode.

最后再顺便分享一下Mac 和iOS上生成密码学安全的随机数的方法: Generating Random Numbers

简单的来说. 在mac上, 可以通过 fopen 读取 /dev/random 设备获得密码学安全的随机数.
```
FILE *fp = fopen("/dev/random", "r");

if (!fp) {
    perror("randgetter");
    exit(-1);
}

uint64_t value = 0;
int i;
for (i=0; i<sizeof(value); i++) {
    value <<= 8;
    value |= fgetc(fp);
}

fclose(fp);
```
而在 iOS 上, 由于不能读取设备, 它提供了专门的方法: SecRandomCopyBytes , 用起来非常简单.

欢迎访问我的独立博客 https://blog.byneil.com
Read All
Radius 认证协议介绍

2014-12-20

Neil

系统编程
老规矩, 先看维基: 远端用户拨入验证服务（RADIUS, Remote Authentication Dial In User Service）是一个AAA协议，意思就是同时兼顾验证（authentication）、授权（authorization）及计费（accounting）三种服务的一种网络传输协议（protocol），通常用于网络存取、或流动IP服务，适用于局域网及漫游服务。
https://zh.wikipedia.org/wiki/RADIUS

上面的介绍来自维基百科. 说的权威,但是不太好懂. 我们这里再详细介绍以下几个问题, 希望能给初次接触radius的小伙伴有所帮助:

1) Radius 到底是什么.
2) Radius 应用和工作方式.
3) Radius 的协议细节.

一. Radius 到底是什么.

上面维基百科说的很具体了, Radius 远程拨入服务, 它集成了认证, 授权和计费功能. 怎么理解这个问题呢. 举个不是十分贴切的栗子, 宽带 ADSL 拨号上网的后台认证和计费系统就可以用radius, 或者 V-P-N 系统的后台验证计费系统就是radius 的使用场景.

当然, 并不能把 radius 的概念限制在 "拨号", 实际上, 不光是这种 "拨号" 服务, 其他几乎任何服务, 都可以使用 radius 来进行认证,授权和计费服务.

二. Radius 的工作方式.

我们以搭建 V-P-N 为例, 介绍radius的工作方式.

图中有三个角色, v-p-n(下面简称XXX服务器)服务器, 客户端和radius 服务器.

Radius 主要工作在 xxx 服务器和 Radius 服务器之间, 客户几乎直接接触不到.

对于radius 协议来说, xxx 服务器实际上是一个client, 而 radius 服务器是真正提供服务的server.
(如果看英文文档的话, rfc有专门解释 client 和server 的章节.)

这样看起来, radius 更像是 C/S 模式的协议.

所以后面的讨论主要集中在 xxx 服务器和 radius 服务器之间, 请自行脑补.

三. Radius 的协议细节.
这里还是介绍一下大体的细节, 重点介绍如何阅读rfc. 有了方向,再读rfc就容易多了. 不会详细介绍每个字节如何生成, 这是rfc的责任.

作为参考, 这是 radius 的rfc : https://tools.ietf.org/html/rfc2865

1) 首先, radius 是基于udp的协议, 所有数据包都是封装在udp协议中.
至于为什么是udp,而不是tcp, 请参看 rfc 的解释: Why udp?

2) radius 协议包的格式.
基本上, radius 协议有四种包:
```
Access-Request
Access-Accept
Access-Reject
Access-Challenge
```
这四种包都有统一的格式: https://tools.ietf.org/html/rfc2865#page-13

这四种包在 xxx服务器和radius 服务器之间通信,来完成整个过程.

上图中, 前面三个交互是必须的, 后面两个绿色的带星号的交互不是必须的.

首先, xxx 服务器向radius发送 Access-Request 数据包, 包含用户信息和密码哈希等等信息用于认证.
此时服务器有四个选择:
第一, 如果认证通过,就返回一个 "Access-Accept" 数据包, 认证完成.
第二, 如果认证不通过,则返回 "Access-Reject",认证失败.
第三, 如果服务器认为必要, 可以返回一个"Access-Challenge" 数据包, 让用户提供更多的附加信息以完成认证. 而xxx服务器在收到 "Access-Challenge" 消息之后, 需要向用户索要必须的附加信息,然后组成一个新的 " Access-Request" 数据包发给radius服务器来继续认证. 此时服务器可以重复第一,或第二.
第四, 如果 "Access-Request" 数据包有问题, 服务器还可以采取 "静默丢弃"(silently discard) 的方式, 不做任何反应.

这就是主要的通信流程了.

一般来讲, 作为 radius 的客户端, "Access-Request" 数据包的格式比较重要. 他负责将认证信息加密传输给radius 服务器.
我们再介绍一下 "Access-Request" 数据包的格式:
https://tools.ietf.org/html/rfc2865#page-17
```
  0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |     Code      |  Identifier   |            Length             |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                                                               |
   |                     Request Authenticator                     |
   |                                                               |
   |                                                               |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |  Attributes ...
   +-+-+-+-+-+-+-+-+-+-+-+-+-
```
我们现在介绍后面的 "Attributes" 数据区. 这里包含了用户的密码信息.
radius 协议将用户名,密码等等身份信息都封装成一个一个的 attribute.
举个栗子, 可能最少需要两个 attribute, 一个是用户名, 另一个是password hash. 这是最简单的方式了.

https://tools.ietf.org/html/rfc2865#page-22

目前, radius 的密码封装方式有两种,
一种是: User-Password, https://tools.ietf.org/html/rfc2865#page-27
另一种是: CHAP-Password, https://tools.ietf.org/html/rfc2865#page-28

两种方式只是密码的hash计算方法不一样而已. 具体生成方法比较明确. rfc 写的很明显,就不多说了.

到这里, radius 认证协议的客户端过程基本完成了. 至于服务端, 一般不用自己来写. 可以使用开源的现成服务端.

欢迎访问我的个人独立博客: https://blog.byNeil.com
Read All
Windows 以及 Xcode下编译调试 libcurl 源码

2014-12-13

Neil

系统编程
curl 这个工具大家都很熟悉. 前几天因为要跟踪curl的实现细节, 不得不设法搭建curl的调试工程. 我们分别在windows visual studio 和 mac 上的 xcode 下搭建调试. 这里记录一些细节,分享出来.

curl 可以在数十个平台上编译运行.
这是官网地址: http://curl.haxx.se

请在这里下载源码: http://curl.haxx.se/download.html

下载解压.

一. Windows 调试:
在 windows 上调试比较简单. 自带工程文件.
直接用 VS2012 打开 \projects\Windows\VC11 里面的工程文件就可以了。
务必用vs2012 打开。

直接 F10 就可以单步到 main 函数。

二. Mac Xcode 调试.
我们主要说说 xcode 调试.
大概是因为 *nix 上的编译比较方便, 所以都是使用 makefile 编译. 所以没有自带工程文件.

所幸的是, 开源项目 cmake 可以根据 makefile 和配置文件逆向生成工程文件. 而更好的消息是 curl 早期是支持 cmake 的. 所以我们需要修改一下 curl 的配置文件, 并结合 cmake 来逆向生成它在 xcode 上的工程文件.

开工.

1) 需要先安装cmake

下载 cmake 源码， http://www.cmake.org/files/v3.1/cmake-3.1.0-rc1.tar.gz
然后解压，进去： ./configure && make && make install
一切顺利的话，应该就能成功了。

2) 生成 makefile

第二步, 我们需要生成curl 的 makefile. 进入curl的源码目录:
```
./configure  --without-libssh2  --with-darwinssl
make
```
说明一下, 我们这里指定了两个参数, 我们不需要 curl 支持 ssh, 所以把"--without-libssh2 " 排除. 而且"--with-darwinssl" 指定使用 mac 上的 ssl 实现, 而不需要 openssl.

这样可以减少出错的可能性, 而且, 我们就需要 darwinssl.

3) 生成 xcode 工程.

前面几步都没什么特别的, 这一步是关键, 使用 cnamke 逆向生成工程.

在 curl 的源码根目录中, 有一个文件 "CMakeLists.txt" 这个是逆向生成所必须的配置文件. 这是curl 官方提供的, 但是已经很旧了, 年久失修, 不能工作了.

我们可以先尝试一下:
```
mkdir -p build/xcode
cd build/xcode
cmake ../../$CURL -G Xcode
```
说明一下, 创建一个子目录保存工程. 然后使用命令:
```
cmake ../../$CURL -G Xcode
```
来生成工程.

这一步会报大量的错误在"CMakeLists.txt" 中.

请使用附件中这个我修改过的版本代替源码中的版本, 然后再重复执行上面的命令生成.
CMakeLists.txt

工程文件已经生成了.

但是此时打开工程编译不过. 需要先对工程文件做一些修改:
具体请查看下面的命令.
```
sed -i "" "s/OTHER_LDFLAGS = \"/OTHER_LDFLAGS = \"-framework Cocoa -framework CoreFoundation -framework CoreServices -framework Security -fobjc-link-runtime -framework LDAP/"  CURL.xcodeproj/project.pbxproj
```
在工程中添加了一些 link target. 比较简单. 不多说了.

现在设置一下调试工程, 就可以调试了.

然后选中 curl 这个target:

然后找到 main 函数. 就可以单步调试了:

欢迎访问我的个人独立博客: http://byNeil.com
Read All
排除不受信任的根证书列表:cnnic, alibaba

2014-12-06

Neil

其他分类
今天心血来潮, 检查一下我的根证书列表:
```
certmgr.msc
```
排除了一些垃圾流氓证书到不受信任的列表, 以下是我的列表:

其中 'CNNIC ROOT' 自不必多说.

其中有三个证书值得一说:
1. 首先说说前两个, 一个是 'Alibaba.com Corporation Root CA', 另一个是: 'ALIPAY_ROOT'. 作为一个第三方的电子商务公司, 我实在想不通他为什么要在我的机器里面装入根证书. 而且可以看到这两个根证书的用途都是 "所有". 就是权限最大的根证书. 不光可以做普通证书做的事,比如签名,加密,时间戳等等. 甚至还能签发次级CA.
首先, alibaba 网站上使用的证书都是来自第三方的verisign的. 这没有任何问题. 那他还要给我装权限如此之高的根证书的目的是什么? 除了耍流氓还有什么解释. 你当用户的电脑是韭菜园子吗? 你视用户的安全如空气吗? 有一天要逼我在虚拟机中使用支付宝吗? 去年买了个包. 流氓.
1. 再说说另一个, 就是图中的'ROOTCA', 名字看起来很唬人. 以为是正规的根证书.
  但是我们点开详细信息看看:
发现他的 C=CN

原来, 这货和 CNNIC 是一路货色.果断禁用之.

最后分享一下禁用方法.
在"受信任的根证书颁发机构"中找到他们之后, 不能直接删除, 删除之后,有些会自动安装比如alibaba, 有些会通过windows自动更新重新装入, 比如CNNICroot. 正确的做法是, 用鼠标把他们拖到下面的 "不信任的证书" 分支里面.
这样就算重新安装了, 他们仍然是不受信的.

我很喜欢淘宝, alibaba, 支付宝, 也是马云的粉丝. 但是,无论是谁,耍流氓就不行. 让流氓证书滚粗.
Read All
php 操作数组 add_assoc_string 导致崩溃

2014-11-11

Neil

PHP_Mysql
使用php内核的方法操作数组时导致 php崩溃。
```
int add_assoc_string ( zval* $arg, char* $key, char* $str, int $duplicate )*
```
http://php.undmedlibrary.org/manual/en/zend-api.add-assoc-string.php

原因是：第三个参数，添加的字符串不能使NULL。

添加之前要先判。如果是NULL，应该使用专门加NULL的api：
```
int add_assoc_null ( zval* $arg, char* $key )
```
http://php.undmedlibrary.org/manual/en/zend-api.add-assoc-null.php
Read All
解决：fatal error C1902: Program database manager mismatch; please check your installation

2014-10-13

Neil

Windows
重装系统后，VS2008编译出现错误。
```
fatal error C1902: Program database manager mismatch; please check your installation
```
可能是多版本共存引起的问题。

找到这篇文章：http://wordrump.com/how-to-fix-the-error-fatal-error-c1902-program-database-manager-mismatch-please-check-your-installation/

简单暴力， copy 这三个文件：
```
mspdb80.dll
mspdbcore.dll
mspdbsrv.exe
```
从
C:\Program Files (x86)\Microsoft Visual Studio 9.0\Common7\IDE
到
c:\windows

解决。
Read All