本帖最后由 正点原子运营 于 2020-12-11 11:05 编辑
1)实验平台:正点原子领航者ZYNQ开发板
2)平台购买地址:https://item.taobao.com/item.htm?&id=606160108761
3)全套实验源码+手册+视频下载地址:http://www.openedv.com/thread-301505-1-1.html
4)对正点原子FPGA感兴趣的同学可以加群讨论:712557122
5)关注正点原子公众号,获取最新资料更新
第十五章Linux内核启动流程
看完Linux内核的顶层Makefile文件以后我们再来看下Linux内核的大致启动流程。Linux内核的启动流程要比uboot复杂的多,涉及到的内容也更多,因此本章我们大致的了解一下Linux内核的启动流程即可。
1.1 链接脚本vmlinux.lds要分析Linux启动流程,同样需要先编译一下Linux源码,因为有很多文件是需要编译才会生成的。首先分析Linux内核的连接脚本文件arch/arm/kernel/vmlinux.lds,通过链接脚本可以找到Linux内核的第一行程序是从哪里执行的。vmlinux.lds链接脚本中有如下代码: - OUTPUT_ARCH(arm)
- ENTRY(stext)
- jiffies = jiffies_64;
- SECTIONS
- {
- /DISCARD/ : {
- *(.ARM.exidx.exit.text)
- *(.ARM.extab.exit.text)
- ……
复制代码 第2行的ENTRY指明了了Linux内核入口,入口为stext,stext定义在文件arch/arm/kernel/head.S中,因此要分析Linux内核的启动流程,就得先从文件arch/arm/kernel/head.S的stext处开始分析。 1.2 Linux内核启动流程分析1.2.1 Linux内核入口stextstext是Linux内核的入口地址,在文件arch/arm/kernel/head.S中有如下所示提示内容: - /*
- * Kernelstartup entry point.
- *---------------------------
- *
- * This isnormally called from the decompressor code. The requirements
- * are: MMU= off, D-cache = off, I-cache = dont care, r0 = 0,
- * r1 =machine nr, r2 = atags or dtb pointer.
- .....
- */
复制代码根据该提示可知Linux内核启动之前要求如下: ①、关闭MMU。 ②、关闭D-cache。 ③、I-Cache无所谓。 ④、r0=0。 ⑤、r1=machine nr(也就是机器ID)。 ⑥、r2=atags或者设备树(dtb)首地址。 Linux内核的入口点stext其实相当于内核的入口函数,stext函数内容如下: 示例代码 28.2.118.2.1arch/arm/kernel/head.S代码段 - ENTRY(stext)
- #ifdef CONFIG_ARM_VIRT_EXT
- bl __hyp_stub_install
- #endif
- @ ensure svc mode and all interrupts masked
- safe_svcmode_maskall r9
- mrc p15, 0, r9, c0, c0 @ get processor id
- bl __lookup_processor_type @ r5=procinfo r9=cpuid
- movs r10, r5 @ invalid processor (r5=0)?
- THUMB( it eq ) @ force fixup-able long branch encoding
- beq __error_p @ yes, error 'p'
- #ifndef CONFIG_XIP_KERNEL
- ……
- #else
- ldr r8, =PLAT_PHYS_OFFSET @ always constant in this case
- #endif
- /*
- * r1 = machine no, r2 = atags or dtb,
- * r8 = phys_offset, r9 = cpuid, r10 = procinfo
- */
- bl __vet_atags
- #ifdef CONFIG_SMP_ON_UP
- bl __fixup_smp
- #endif
- #ifdef CONFIG_ARM_PATCH_PHYS_VIRT
- bl __fixup_pv_table
- #endif
- bl __create_page_tables
- /*
- * The following calls CPU specific code in a position independent
- * manner. See arch/arm/mm/proc-*.S for details. r10 = base of
- * xxx_proc_info structure selected by __lookup_processor_type
- * above.
- *
- * The processor init function will be called with:
- * r1 - machine type
- * r2 - boot data (atags/dt) pointer
- * r4 - translation table base (low word)
- * r5 - translation table base (high word, if LPAE)
- * r8 - translation table base 1 (pfn if LPAE)
- * r9 - cpuid
- * r13 - virtual address for __enable_mmu -> __turn_mmu_on
- *
- * On return, the CPU will be ready for the MMU to be turned on,
- * r0 will hold the CPU control register value, r1, r2, r4, and
- * r9 will be preserved. r5 will also be preserved if LPAE.
- */
- ldr r13, =__mmap_switched @ address to jump to after
- @ mmu has been enabled
- badr lr, 1f @ return (PIC) address
- #ifdef CONFIG_ARM_LPAE
- mov r5, #0 @ high TTBR0
- mov r8, r4, lsr #12 @ TTBR1 is swapper_pg_dir pfn
- #else
- mov r8, r4 @ set TTBR1 to swapper_pg_dir
- #endif
- ldr r12, [r10, #PROCINFO_INITFUNC
- add r12, r12, r10
- ret r12
- 1: b __enable_mmu
- ENDPROC(stext)
复制代码第88行,如果配置了CONFIG_ARM_VIRT_EXT(ARM虚拟化扩展)则跳转到__hyp_stub_install处。__hyp_stub_install定义在arch\arm\kernel\hyp-stub.S文件中。 第92行,调用函数safe_svcmode_maskall确保CPU处于SVC模式,并且关闭了所有的中断。safe_svcmode_maskall定义在文件arch/arm/include/asm/assembler.h中。 第94行,读处理器ID,ID值保存在r9寄存器中。 第95行,调用函数__lookup_processor_type检查当前系统是否支持此CPU,如果支持的就获取procinfo信息。procinfo是proc_info_list类型的结构体, proc_info_list在文件 arch/arm/include/asm/procinfo.h中的定义如下: 示例代码28.2.218.2.2proc_info_list结构体 - struct proc_info_list {
- unsigned int cpu_val;
- unsigned int cpu_mask;
- unsigned long __cpu_mm_mmu_flags; /* used by head.S */
- unsigned long __cpu_io_mmu_flags; /* used by head.S */
- unsigned long __cpu_flush; /*used by head.S */
- const char *arch_name;
- const char *elf_name;
- unsigned int elf_hwcap;
- const char *cpu_name;
- struct processor *proc;
- struct cpu_tlb_fns *tlb;
- struct cpu_user_fns *user;
- struct cpu_cache_fns *cache;
- };
复制代码Linux内核将每种处理器都抽象为一个proc_info_list结构体,每种处理器都对应一个procinfo。因此可以通过处理器ID来找到对应的procinfo结构,__lookup_processor_type函数找到对应处理器的procinfo以后会将其保存到r5寄存器中。 继续回到示例代码 28.2.1中,第121行,调用函数__vet_atags验证atags或设备树(dtb)的合法性。函数__vet_atags定义在文件arch/arm/kernel/head-common.S中。 第128行,调用函数__create_page_tables创建页表。 第149行,将函数__mmap_switched的地址保存到r13寄存器中。__mmap_switched定义在文件arch/arm/kernel/head-common.S,__mmap_switched最终会调用start_kernel函数。 第161行,调用__enable_mmu函数使能MMU,__enable_mmu定义在文件arch/arm/kernel/head.S中。__enable_mmu最终会通过调用__turn_mmu_on来打开MMU,__turn_mmu_on最后会执行r13里面保存的__mmap_switched函数。 1.2.2 __mmap_switched函数__mmap_switched函数定义在文件arch/arm/kernel/head-common.S中,函数代码如下: 示例代码28.2.318.2.3 __mmap_switched函数 - __mmap_switched:
- adr r3, __mmap_switched_data
-
- ldmia r3!, {r4, r5, r6, r7}
- cmp r4, r5 @ Copy data segment if needed
- 1: cmpne r5, r6
- ldrne fp, [r4], #4
- strne fp, [r5], #4
- bne 1b
-
- mov fp, #0 @ Clear BSS (and zero fp)
- 1: cmp r6, r7
- strcc fp, [r6],#4
- bcc 1b
-
- ARM( ldmia r3, {r4, r5, r6, r7, sp})
- THUMB( ldmia r3, {r4, r5, r6, r7} )
- THUMB( ldr sp, [r3, #16 )
- str r9, [r4] @ Save processor ID
- str r1, [r5] @ Save machine type
- str r2, [r6] @ Save atags pointer
- cmp r7, #0
- strne r0, [r7] @ Save control register values
- b start_kernel
- ENDPROC(__mmap_switched)
复制代码第104行最终调用start_kernel来启动Linux内核,start_kernel函数定义在文件init/main.c中。 1.2.3 start_kernel函数start_kernel通过调用众多的子函数来完成Linux启动之前的一些初始化工作,由于start_kernel函数里面调用的子函数太多,而这些子函数又很复杂,因此我们简单的来看一下一些重要的子函数。精简并添加注释后的start_kernel函数内容如下: 示例代码28.2.418.2.4 start_kernel函数 - asmlinkage__visible void __init start_kernel(void)
- {
- char *command_line;
- char *after_dashes;
- set_task_stack_end_magic(&init_task);/*设置任务栈结束魔术数,用于栈溢出检测 */
- smp_setup_processor_id(); /* 跟SMP有关(多核处理器),设置处理器ID。
- * 有很多资料说ARM架构下此函数为空函数,那是因
- * 为他们用的老版本Linux,而那时候ARM还没有多
- * 核处理器。
- */
- debug_objects_early_init(); /* 做一些和debug有关的初始化*/
- cgroup_init_early(); /* cgroup初始化,cgroup用于控制Linux系统资源*/
- local_irq_disable(); /* 关闭当前CPU中断*/
- early_boot_irqs_disabled = true;
- /*
- * 中断关闭期间做一些重要的操作,然后打开中断
- */
- boot_cpu_init(); /*跟CPU有关的初始化 */
- page_address_init(); /*页地址相关的初始化 */
- pr_notice("%s", linux_banner);/* 打印Linux版本号、编译时间等信息 */
- setup_arch(&command_line); /* 架构相关的初始化,此函数会解析传递进来的
- * ATAGS或者设备树(DTB)文件。会根据设备树里面
- * 的model和compatible这两个属性值来查找
- * Linux是否支持这个单板。此函数也会获取设备树
- * 中chosen节点下的bootargs属性值来得到命令
- * 行参数,也就是uboot中的bootargs环境变量的
- * 值,获取到的命令行参数会保存到
- *command_line中。
- */
- mm_init_cpumask(&init_mm); /*看名字,应该是和内存有关的初始化 */
- setup_command_line(command_line); /* 好像是存储命令行参数 */
- setup_nr_cpu_ids(); /* 如果只是SMP(多核CPU)的话,此函数用于获取
- * CPU核心数量,CPU数量保存在变量
- * nr_cpu_ids中。
- */
- setup_per_cpu_areas(); /* 在SMP系统中有用,设置每个CPU的per-cpu数据 */
- boot_cpu_state_init();
- smp_prepare_boot_cpu();
- build_all_zonelists(NULL, NULL); /* 建立系统内存页区(zone)链表*/
- page_alloc_init(); /* 处理用于热插拔CPU的页 */
- /* 打印命令行信息 */
- pr_notice("Kernel commandline: %s\n", boot_command_line);
- parse_early_param(); /* 解析命令行中的console参数*/
- after_dashes = parse_args("Booting kernel",
- static_command_line, __start___param,
- __stop___param - __start___param,
- -1, -1, &unknown_bootoption);
- if (!IS_ERR_OR_NULL(after_dashes))
- parse_args("Settinginit args", after_dashes, NULL, 0, -1, -1,
- set_init_arg);
- jump_label_init();
- setup_log_buf(0); /* 设置log使用的缓冲区*/
- pidhash_init(); /* 构建PID哈希表,Linux中每个进程都有一个ID,
- * 这个ID叫做PID。通过构建哈希表可以快速搜索进程
- * 信息结构体。
- */
- vfs_caches_init_early(); /* 预先初始化vfs(虚拟文件系统)的目录项和索引节点缓存*/
- sort_main_extable(); /*定义内核异常列表 */
- trap_init(); /* 完成对系统保留中断向量的初始化 */
- mm_init(); /* 内存管理初始化 */
- sched_init(); /*初始化调度器,主要是初始化一些结构体 */
- preempt_disable(); /*关闭优先级抢占 */
- if (WARN(!irqs_disabled(), /*检查中断是否关闭,如果没有的话就关闭中断 */
- "Interrupts were enabled *very* early, fixingit\n"))
- local_irq_disable();
- radix_tree_init();
- workqueue_init_early(); /*允许及早创建工作队列和工作项排队/取消。工作项的执行取决于kthread,并在workqueue_init()之后开始。*/
- rcu_init(); /* 初始化RCU,RCU全称为ReadCopy Update(读-拷贝修改) */
- trace_init(); /* 跟踪调试相关初始化 */
- context_tracking_init();
- radix_tree_init(); /*基数树相关数据结构初始化 */
- early_irq_init(); /*初始中断相关初始化,主要是注册irq_desc结构体变
- * 量,因为Linux内核使用irq_desc来描述一个中断。
- */
- init_IRQ(); /* 中断初始化*/
- tick_init(); /* tick初始化*/
- rcu_init_nohz();
- init_timers(); /* 初始化定时器 */
- hrtimers_init(); /* 初始化高精度定时器 */
- softirq_init(); /* 软中断初始化 */
- timekeeping_init();
- time_init(); /* 初始化系统时间 */
- sched_clock_postinit();
- printk_safe_init();
- perf_event_init();
- profile_init();
- call_function_init();
- WARN(!irqs_disabled(), "Interrupts were enabled early\n");
- early_boot_irqs_disabled = false;
- local_irq_enable(); /*使能中断 */
- kmem_cache_init_late(); /* slab初始化,slab是Linux内存分配器 */
- console_init(); /*初始化控制台,之前printk打印的信息都存放
- * 缓冲区中,并没有打印出来。只有调用此函数
- * 初始化控制台以后才能在控制台上打印信息。
- */
- if (panic_later)
- panic("Toomany boot %s vars at `%s'", panic_later,
- panic_param);
- lockdep_info();/* 如果定义了宏CONFIG_LOCKDEP,那么此函数打印一些信息。*/
- locking_selftest() /* 锁自测 */
- ......
- page_ext_init();
- kmemleak_init(); /* kmemleak初始化,kmemleak用于检查内存泄漏 */
- debug_objects_mem_init();
- setup_per_cpu_pageset();
- numa_policy_init();
- if (late_time_init)
- late_time_init();
- calibrate_delay(); /* 测定BogoMIPS值,可以通过BogoMIPS来判断CPU的性能
- * BogoMIPS设置越大,说明CPU性能越好。
- */
- pidmap_init(); /*PID位图初始化 */
- anon_vma_init(); /*生成anon_vma slab缓存 */
- acpi_early_init();
- ......
- thread_stack_cache_init();
- cred_init(); /*为对象的每个用于赋予资格(凭证) */
- fork_init(); /*初始化一些结构体以使用fork函数 */
- proc_caches_init(); /* 给各种资源管理结构分配缓存 */
- buffer_init(); /*初始化缓冲缓存 */
- key_init(); /* 初始化密钥 */
- security_init(); /*安全相关初始化 */
- dbg_late_init();
- vfs_caches_init(totalram_pages); /*为VFS创建缓存 */
- signals_init(); /* 初始化信号 */
- proc_root_init(); /* 注册并挂载proc文件系统 */
- nsfs_init();
- cpuset_init(); /*初始化cpuset,cpuset是将CPU和内存资源以逻辑性
- * 和层次性集成的一种机制,是cgroup使用的子系统之一
- */
- cgroup_init(); /* 初始化cgroup */
- taskstats_init_early(); /*进程状态初始化 */
- delayacct_init();
- check_bugs(); /*检查写缓冲一致性 */
- acpi_subsystem_init();
- sfi_init_late();
- if (efi_enabled(EFI_RUNTIME_SERVICES)) {
- efi_free_boot_services();
- }
- rest_init(); /* rest_init函数 */
- }
复制代码start_kernel里面调用了大量的函数,每一个函数都是一个庞大的知识点,如果想要学习Linux内核,那么这些函数就需要去详细的研究。本教程注重于嵌入式Linux入门,因此不会去讲太多关于Linux内核的知识。start_kernel函数最后调用了rest_init,接下来简单看一下rest_init函数。 1.2.4 rest_init函数rest_init函数定义在文件init/main.c中,函数内容如下: 示例代码28.2.518.2.5 rest_init函数 - <blockquote> static noinline void __ref rest_init(void)
复制代码第395行,调用函数rcu_scheduler_starting,启动RCU锁调度器 第401行,调用函数kernel_thread创建kernel_init线程,也就是大名鼎鼎的init内核进程。init进程的PID为1。init进程一开始是内核进程(也就是运行在内核态),后面init进程会在根文件系统中查找名为“init”这个程序,这个“init”程序处于用户态,通过运行这个“init”程序,init进程就会实现从内核态到用户态的转变。 第413行,调用函数kernel_thread创建kthreadd内核进程,此内核进程的PID为2。kthread进程负责所有内核进程的调度和管理。 第435行,最后调用函数cpu_startup_entry来进入idle进程,cpu_startup_entry会调用cpu_idle_loop,cpu_idle_loop是个while循环,也就是idle进程代码。idle进程的PID为0,idle进程叫做空闲进程,如果学过FreeRTOS或者UCOS的话应该听说过空闲任务。idle空闲进程就和空闲任务一样,当CPU没有事情做的时候就在idle空闲进程里面“瞎逛游”,反正就是给CPU找点事做。当其他进程要工作的时候就会抢占idle进程,从而夺取CPU使用权。其实可以看到idle进程并没有使用kernel_thread或者fork函数来创建,因为它是由主进程演变而来的。 在Linux终端中输入“ps -A”就可以打印出当前系统中的所有进程,其中就能看到init进程和kthreadd进程,如下图所示: file:///C:/Users/WCY/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg 图 28.2.1 Linux系统当前进程 从上图可以看出,init进程的PID为1,kthreadd进程的PID为2。之所以上图中没有显示PID为0的idle进程,那是因为idle进程是内核进程。我们接下来重点看一下init进程,kernel_init就是init进程的进程函数。 1.2.5 init进程kernel_init函数就是init进程具体做的工作,定义在文件init/main.c中,函数内容如下: 示例代码28.2.618.2.6 kernel_init函数 - static int __ref kernel_init(void *unused)
- {
- int ret;
-
- kernel_init_freeable();
- /* need to finish all async __init code before freeing the memory */
- async_synchronize_full();
- ftrace_free_init_mem();
- free_initmem();
- mark_readonly();
- system_state = SYSTEM_RUNNING;
- numa_default_policy();
- rcu_end_inkernel_boot();
- if (ramdisk_execute_command) {
- ret = run_init_process(ramdisk_execute_command);
- if (!ret)
- return 0;
- pr_err("Failed to execute %s (error %d)\n",
- ramdisk_execute_command, ret);
- }
- /*
- * We try each of these until one succeeds.
- *
- * The Bourne shell can be used instead of init if we are
- * trying to recover a really broken machine.
- */
- if (execute_command) {
- ret = run_init_process(execute_command);
- if (!ret)
- return 0;
- panic("Requested init %s failed (error %d).",
- execute_command, ret);
- }
- if (!try_to_run_init_process("/sbin/init") ||
- !try_to_run_init_process("/etc/init") ||
- !try_to_run_init_process("/bin/init") ||
- !try_to_run_init_process("/bin/sh"))
- return 0;
- panic("No working init found. Try passing init= option to kernel. "
- "See Linux Documentation/admin-guide/init.rst for guidance.");
- }
复制代码第993行,kernel_init_freeable函数用于完成init进程的一些其他初始化工作,稍后再来具体看一下此函数。 第1004行,ramdisk_execute_command是一个全局的char指针变量,此变量值为“/init”,也就是根目录下的init程序。ramdisk_execute_command也可以通过uboot传递,在bootargs中使用“rdinit=xxx”即可,xxx为具体的init程序名字。 第1005行,如果存在“/init”程序的话就通过函数run_init_process来运行此程序。 第1018行,如果ramdisk_execute_command为空的话就看execute_command是否为空,反正不管如何一定要在根文件系统中找到一个可运行的init程序。execute_command的值是通过uboot传递,在bootargs中使用“init=xxxx”就可以了,比如“init=/linuxrc”表示根文件系统中的linuxrc就是要执行的用户空间init程序。 第1025~1028行,如果ramdisk_execute_command和execute_command都为空,那么就依次查找“/sbin/init”、“/etc/init”、“/bin/init”和“/bin/sh”,这四个相当于备用init 程序,如果这四个也不存在,那么Linux启动失败。 第1031行,如果以上步骤都没有找到用户空间的init程序,那么就提示错误发生。 最后来简单看一下kernel_init_freeable函数,前面说了,kernel_init会调用此函数来做一些init进程初始化工作。kernel_init_freeable定义在文件init/main.c中,缩减后的函数内容如下: 示例代码28.2.718.2.7 kernel_init_freeable函数 - static int __ref kernel_init(void *unused)
- {
- int ret;
-
- kernel_init_freeable();
- /* need to finish all async __init code before freeing the memory */
- async_synchronize_full();
- ftrace_free_init_mem();
- free_initmem();
- mark_readonly();
- system_state = SYSTEM_RUNNING;
- numa_default_policy();
- rcu_end_inkernel_boot();
- if (ramdisk_execute_command) {
- ret = run_init_process(ramdisk_execute_command);
- if (!ret)
- return 0;
- pr_err("Failed to execute %s (error %d)\n",
- ramdisk_execute_command, ret);
- }
- /*
- * We try each of these until one succeeds.
- *
- * The Bourne shell can be used instead of init if we are
- * trying to recover a really broken machine.
- */
- if (execute_command) {
- ret = run_init_process(execute_command);
- if (!ret)
- return 0;
- panic("Requested init %s failed (error %d).",
- execute_command, ret);
- }
- if (!try_to_run_init_process("/sbin/init") ||
- !try_to_run_init_process("/etc/init") ||
- !try_to_run_init_process("/bin/init") ||
- !try_to_run_init_process("/bin/sh"))
- return 0;
- panic("No working init found. Try passing init= option to kernel. "
- "See Linux Documentation/admin-guide/init.rst for guidance.");
- }
复制代码第1066行,do_basic_setup函数用于完成Linux下设备驱动初始化工作。do_basic_setup会调用driver_init函数完成Linux下驱动模型子系统的初始化。 第1069行,打开设备“/dev/console”,在Linux中一切皆为文件。因此“/dev/console”也是一个文件,此文件为控制台设备。每个文件都有一个文件描述符,此处打开的“/dev/console”文件描述符为0,作为标准输入(0)。 第1072和1073行,sys_dup函数将标准输入(0)的文件描述符复制了2次,一个作为标准输出(1),一个作为标准错误(2)。这样标准输入、输出、错误都是/dev/console了。console通过uboot的bootargs环境变量设置,“console=ttyPS0,115200”表示将/dev/ ttyPS0设置为console,也就是ZYNQ的串口0。当然,也可以设置其他的设备为console,比如虚拟控制台tty1,设置tty1为console就可以在LCD屏幕上看到系统的提示信息。 第1084行,调用函数prepare_namespace来挂载根文件系统。跟文件系统也是由命令行参数指定的,也就是uboot的bootargs环境变量。比如“root=/dev/mmcblk1p2 rootwait rw”就表示根文件系统在/dev/mmcblk1p2中,也就是EMMC的分区2中。 Linux内核启动流程就分析到这里,Linux内核最终是需要和根文件系统打交道的,需要挂载根文件系统,并且执行根文件系统中的init程序,以此来进入用户态。这里就正式引出了根文件系统,根文件系统也是我们系统移植的最后一片拼图。Linux移植三巨头:uboot、Linuxkernel、rootfs(根文件系统)。关于根文件系统后面章节会详细的讲解,这里我们只需要知道Linux内核移植完成以后还需要构建根文件系统即可。
|