Mizhou

Nidzz.icu

这个人已经没救了,他的博客也很少更新...

- 博客
- 分类
- 标签
- 归档
- 友链
- 关于

第一个模块-词法分析器

Mizhou

发布于：Feb 10, 2022

有了自动机等理论基础，实现一个词法分析器并不算难，这也是整个编译器前端中最为简单的部分。
下面实现一个较为简单的C语言的词法分析器。

主要功能

识别无符号二进制、16进制、10进制，二进制以0b开头，16进制则以0x开头
能够识别C语言中的大部分关键字
识别运算符、程序结束符等

DFA

识别数字的DFA

package zhou.lex;

import java.awt.event.KeyEvent;
import java.net.IDN;
import java.nio.channels.FileLockInterruptionException;
import java.util.ArrayList;
import java.util.HashMap;

public class Lexer {
    private int rowNumber;
    private int pointer;
    private String text;
    private char [] ctext;
    private long tlen;
    public HashMap<String, Integer> kw;//关键字
    public final static char BLK = ' ';
    public final static char TAB = '\t';
    public final static char EOL='\0';
    public final static char NL = '\n';
    public final static char WNL = '\r';
    private ArrayList<Token> tks;

    public Lexer(String text){
        this.text=text;
        this.tlen = text.length();
        this.ctext = text.toCharArray();
        this.tks = new ArrayList<>();
        kw = new HashMap<>();
        kw.put("int",0);
        kw.put("return",1);
        kw.put("while",2);
        kw.put("if",3);
        kw.put("else",4);
        kw.put("elif",5);
        kw.put("double",6);
        kw.put("float",7);
        kw.put("long",8);
        kw.put("void",9);
        kw.put("boolean",10);
        kw.put("for",11);
        kw.put("char",12);

    }
    public void start(){
        char c;
        while (pointer<tlen){
            c = ctext[pointer];
            if (c==BLK||c==TAB||c=='"') pointer++;
            else if (c==NL||c==WNL){
                rowNumber++;
                pointer++;
            }else{
                lexPart(c);
            }
        }

    }
    private void lexPart(char c){
        if (isDigit(c)){
            // 如果第一个字母是数字，
            String tk = splOne();
            if (isNumber(tk)){
                tks.add(new Token(tk,Token.CNS,"常数"));
            }else{// 非法标识符
                try {
                    throw new TokenException(rowNumber,"“"+tk+"“是非法标识符");
                } catch (TokenException e) {
                    e.printStackTrace();
                }
            }
        }else if (isAlpha(c)){
            /*
             *  第一个是字母 则可能是 标识符，关键字
             * */
            String tk = splOne();
            if (isIdentify(tk)){
                if (isKeyword(tk)){
                    tks.add(new Token(tk,Token.KW,Token.C_KW));
                }else{ // 标识符
                    tks.add(new Token(tk,Token.IDS,Token.C_IDS));
                }
            }else{
                try {
                    throw new TokenException(rowNumber,"“"+tk+"”是非法的标识符!");
                } catch (TokenException e) {
                    e.printStackTrace();
                }
            }

        }else{
           switch (c){
               case '[':
                   tks.add(new Token("[",Token.ALP,Token.C_RP));
                   break;
               case ']':
                   tks.add(new Token("]",Token.ARP,Token.C_RP));
                   break;
               case ',':
                   tks.add(new Token(",",Token.SPL,Token.C_SPL));
                   break;
               case ';':
                   tks.add(new Token(";",Token.SEMI,Token.C_CEMI));
                   break;
               case '(':
                   tks.add(new Token("(",Token.SLP,Token.C_LP));
                   break;
               case ')':
                   tks.add(new Token(")",Token.SRP,Token.C_LP));
                   break;
               case '{':
                   tks.add(new Token("{",Token.LP,Token.C_LP));
                   break;
               case '}':
                   tks.add(new Token("}",Token.RP,Token.C_LP));
                   break;
               case '+':
                   /*
                   *  可能是 += ++ +
                   * */
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='+'){ // ++
                           tks.add(new Token("++",Token.INC,Token.C_OPER));
                           pointer++;
                       }else if (ctext[pointer+1]=='='){//+=
                           tks.add(new Token("+=",Token.INCEQ,Token.C_ASSIGN));
                           pointer++;
                       }else {
                           tks.add(new Token("+",Token.PLUS,Token.C_OPER));
                       }
                   }
                   break;
               case '-':
                   /*
                   *  可能是 -= ,--,-
                   * */
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='-'){ // ++
                           tks.add(new Token("--",Token.DEC,Token.C_OPER));
                           pointer++;
                       }else if (ctext[pointer+1]=='='){//+=
                           tks.add(new Token("-=",Token.DECEQ,Token.C_OPER));
                           pointer++;
                       }else {
                           tks.add(new Token("-",Token.SUB,Token.C_OPER));
                       }
                   }else{
                       try {
                           throw  new  TokenException(rowNumber,"语法错误!");
                       } catch (TokenException e) {
                           e.printStackTrace();
                       }
                   }
                   break;
               case '!':
                   /*
                   *  可能是 ! ,!=
                   * */
                   if (pointer<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("!=",Token.NE,Token.C_THAN));
                           pointer++;
                       }else {
                           tks.add(new Token("!",Token.NOT,Token.C_THAN));
                       }
                   }else {
                       try {
                           throw new TokenException(rowNumber,"语法错误!");
                       } catch (TokenException e) {
                           e.printStackTrace();
                       }
                   }
                   break;
               case '=':
                   /*
                   * 可能是 =,==
                   * */
                   if (pointer<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("==",Token.EQ,Token.C_THAN));
                           pointer++;
                       }else{
                           tks.add(new Token("=",Token.ASSIGN,Token.C_ASSIGN));
                       }
                   }else {
                       try {
                           throw new TokenException(rowNumber,"语法错误!");
                       } catch (TokenException e) {
                           e.printStackTrace();
                       }
                   }
                   break;
               case '<':
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("<=",Token.LESSEQ,Token.C_THAN));
                           pointer++;
                       }else {
                           tks.add(new Token("<",Token.LESSTHAN,Token.C_THAN));
                       }
                   }else try {
                       throw new TokenException(rowNumber,"语法错误!");
                   } catch (TokenException e) {
                       e.printStackTrace();
                   }
                   break;
               case '>':
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token(">=",Token.THANEQ,Token.C_THAN));
                           pointer++;
                       }else {
                           tks.add(new Token(">",Token.THAN,Token.C_THAN));
                       }
                   }else try {
                       throw new TokenException(rowNumber,"语法错误");
                   } catch (TokenException e) {
                       e.printStackTrace();
                   }
                   break;
               case '*':
                   /*
                   *  可能 *,*=,*IDS,**IDS,***IDS
                   *
                   * */
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("*=",Token.MULEQ,Token.C_ASSIGN));
                           pointer++;
                       }else {
                           tks.add(new Token("*",Token.MUL,Token.C_OPER));
                       }
                   }else try {
                       throw new TokenException(rowNumber,"语法错误!");
                   } catch (TokenException e) {
                       e.printStackTrace();
                   }
                   break;
               case '/':
                   /*
                   *  可能是 /,//,/=，
                   *  多行注释 以/*开头以 start start/结尾
                   * */
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("/=",Token.DIVEQ,Token.C_ASSIGN));
                           pointer++;
                       }else if (ctext[pointer+1]=='/'){
                           while (pointer<tlen&&(ctext[pointer]!=NL&&ctext[pointer]!=WNL)) pointer++;
                           rowNumber++;
                       } else if (ctext[pointer+1]=='*'){ // 多行注释
                           while (pointer<tlen){
                               if (ctext[pointer]==NL||ctext[pointer]==WNL) rowNumber++;
                              if (ctext[pointer]=='/'&&ctext[pointer-1]=='*'&&ctext[pointer-2]=='*'){
                                  break;
                              }
                              pointer++;
                           }
                       } else{
                           tks.add(new Token("/",Token.DIV,Token.C_OPER));
                       }
                   }else try {
                       throw new TokenException(rowNumber,"语法错误!");
                   } catch (TokenException e) {
                       e.printStackTrace();
                   }
                   break;
               case '%':
                   if (pointer+1<tlen){
                       if (ctext[pointer+1]=='='){
                           tks.add(new Token("%=",Token.MODEQ,Token.C_ASSIGN));
                           pointer++;
                       }else {
                           tks.add(new Token("%",Token.MOD,Token.C_OPER));
                       }
                   }else try {
                       throw new TokenException(rowNumber,"语法错误!");
                   } catch (TokenException e) {
                       e.printStackTrace();
                   }
           }
           pointer++;
        }
    }
    public String splOne(){
        StringBuilder b= new StringBuilder();
        while (pointer<tlen){
            if (isAlpha(ctext[pointer])||isDigit(ctext[pointer])){
                b.append(ctext[pointer]);
                pointer++;
            }else return b.toString();
        }
        return b.toString();
    }
    public boolean isNumber(String t) {
        char ct[] = t.toCharArray();
        char c = ct[0];
        if (isDigit(c)){
            if (c=='0'){
                if (t.length()==1) return true;
                /*
                 *  可能是 0b 0x
                 * */
                if (ct[1]=='x'){ // 16进制前缀
                    if (isHexNumber(ct,2)){
                        return true;
                    }else {
                        try {
                            throw new TokenException(rowNumber,"“"+t+"”是非法的16进制数");
                        } catch (TokenException e) {
                            e.printStackTrace();
                        }
                    }
                }else if (ct[1]=='b'){//二进制前缀

                    if (isBinaryNumber(ct,2)){
                        return true;
                    }else try {
                        throw new TokenException(rowNumber,"“"+t+"”是非法的2进制数");
                    } catch (TokenException e) {
                        e.printStackTrace();
                    }
                }else{ //十进制
                    if (isDecimal(ct,1)){
                        return true;
                    }else try {
                        throw new TokenException(rowNumber,"“"+t+"”是非法的10进制数");
                    } catch (TokenException e) {
                        e.printStackTrace();
                    }
                }
            }else{ // 1-9
                if (isDecimal(ct,0)){
                    return true;
                }else try {
                    throw new TokenException(rowNumber,"“"+t+"”是非法的10进制数");
                } catch (TokenException e) {
                    e.printStackTrace();
                }
            }
        }
        return false;
    }

    /**
     *
     * @param ct 待分析字符数组 ex: {''}
     * @param p
     * @return
     */
    private boolean isHexNumber(char [] ct,int p){

        boolean f=false;
        for(int i=p;i<ct.length;i++){
            if (isDigit(ct[i])||(ct[i]>='a'&&ct[i]<='f')||(ct[i]>='A'&&ct[i]<='F')) f=true;
            else return false;
        }
        return f;
    }
    private boolean isBinaryNumber(char [] ct,int p){
        boolean f=false;
        for(int i=p;i<ct.length;i++){
            if (ct[i]=='1'||ct[i]=='0') f=true;
            else return false;
        }
        return f;
    }
    private boolean isDecimal(char [] ct,int p){
        boolean f=false;
        for(int i=p;i<ct.length;i++){
            if (isDigit(ct[i])) f=true;
            else return false;
        }
        return f;
    }
    private boolean isAlpha(char c){
        if ((c>='a'&&c<='z')||(c>='A'&&c<='Z')) return true;
        return false;
    }
    private boolean isDigit(char c){
        if (c>='0'&&c<='9') return  true;
        return false;
    }
    public boolean isIdentify(String tk){
        char [] ctk = tk.toCharArray();
        if (!isAlpha(ctk[0])&&ctk[0]!='_') return false;
        else if (tk.length()==1) return true;
        boolean f=false;
        for(int i=1;i<ctk.length;i++){
           if (isAlpha(ctk[i])||ctk[i]=='_'||isDigit(ctk[i])) f = true;
           else return false;
        }
        return f;
    }
    public boolean isKeyword(String tk){
        return kw.containsKey(tk);
    }

    public ArrayList<Token> getTks() {
        return tks;
    }
}

BIOS INT 13H中断扩展

Mizhou

发布于：Jun 10, 2021

问题

我想从硬盘里引导启动，但将一些数据放在了USB-HDD（U盘做成的）里，需要读取。我的物理机上有两块固定硬盘,加上U盘总的也就三块，按理来说直接调用int 13h 8x(8x为U盘模拟成的HDD的驱动器号)就可以直接读取了，但是读取不到（从80-85H都试过了)。由于这方面的资料太少，索性记录一下

蘑菇钉日记复制

Mizhou

发布于：Apr 26, 2021

无任何技术含量，闲的蛋疼，刷一波伤害?
将某人的蘑菇钉日报、周报、月报等复制到自己的账号上。

未知问题(从未解决,已放弃)

Mizhou

发布于：Jan 16, 2021

尝试在实模式下写一个micro kernel program 时，随着函数的增加而出现了N种意料之外的结果。

初步检查问题可能为:

内存访问超过了1MB
未完整的读入硬盘数据
数据段、栈段未合理分配

校钉

Mizhou

发布于：Oct 10, 2020

简单五步免费使用校钉

安装信任证书,去http://49.235.49.118:/xd/fr.cer下载,并点击安装.

安装VirtualXposed 可以去https://vxposed.com/或者http://49.235.49.118/xd/vxp.apk下载

1 / 3